覃红芳邀请耿直和顾婉柠两人来家里,一个是两人确实好久没来吃饭了。
另一个原因是,覃红芳想多听耿直给她讲讲[灵灵],讲讲他前几天在微软技术大会上分享的[三次跃迁]理论,讲讲他预言的AGI时代。
原本,覃红芳退休后的生活还不错,日子清闲下来,自己养养花、打打乒乓球、织一织毛衣,小日子过得还挺滋润。
但时间久了,终究有点腻。
尤其见证了移动互联网时代发展的速度如此之快,认真好学地她越来越闲不下来,越来越心痒痒。
此刻听耿直聊起他的[AI芯片],覃红芳的眼睛不自觉地明亮起来。
她原先还对耿直之前在微软技术大会上提到的[三次跃迁]理论颇为质疑,现在听到耿直提起[AI芯片],似乎又觉得或许不再是天方夜谭。
“小耿,你提到的[三次跃迁]理论,从认识到理解,从理解到创造,从创造到自主,这三次跳跃,所依赖的必须是AI芯片对吧?”覃红芳问道。
耿直认真地点点头,肯定道:
“对的,覃阿姨。[灵灵]的训练,就消耗了这么多GPU。如果想要实现从理解到创造的跳跃,从创造到自主的跳跃,我们就要把模型参数从现在的量级提升一百倍、一千倍,比如达到千亿参数。”
听到耿直这番分析,覃红芳很受触动,不由得睁大了眼睛。
千亿参数......这怎么敢想的啊!
覃红芳从震惊中恢复过来,思索了好几秒,她才分析道:
“如果真如你所说,模型参数达到千亿级,那需要的GPU数量就不是线性增长,而是超线性增长了啊!”
耿直十分赞同地点点头:
“覃阿姨分析的非常正确,所以说现有的GPU根本就不行,必须要有AI芯片。”
“AI计算的核心是什么?是矩阵乘法。卷积神经网络的每一次卷积,其实也是矩阵运算。Transformer......咳咳”
耿直突然意识到自己说漏了嘴,忙战术性又喝了口甲鱼汤,才继续分析起来:
“我是说注意力,它也是矩阵运算。AI芯片的未来,就是把芯片资源全部集中在矩阵乘法和数据搬运上,砍掉一切跟AI无关的东西。”
覃红芳不再作声。
耿直的这番话,又一次颠覆了她的认知,也颠覆了现有行业专家们的认知。
毕竟,小耿这是重新定义了GPU,或者说是一种新种类的GPU,一种能效远超现有GPU的GPU。
这在世界上,还是一片空白。
覃红芳的思绪开始再一次飘远,目光又在顾婉柠身上停留了一剎那,随即离开。
她突然想起来耿直战术性喝甲鱼汤时,提到了一个什么“Transformer”之类的单词,忙好奇追问道:
“小耿,你刚才说什么Transformer还是啥,是什么意思?”
“哦......草阿姨,我其实是想说存算一体机制。”
耿直稍稍圆了一句,也不管覃红芳信不信,仍自顾自地解释起来:
“现有的所有芯片,计算单元和存储单元是分离的。无论是CPU还是GPU,在做运算的时候,数据都要从内存里搬过来,算完再搬回去。这个搬运数据的过程,消耗的功耗远超计算本身。”
覃红芳的眼神都变了:“所以,你是说把它们放在一起??”
“对,未来的AI芯片,计算和存储必须放在一起,放在同一个单元里,在存储单元里面直接完成计算,也就是存算一体。”耿直道。
覃红芳明白耿直的意思了。
一旦这个模式能实现,数据就不需要再搬运,功耗可以降低几个数量级,AI芯片的能效比,将会迎来一次革命性的提升。
只是,这条路并不是多么好走。
覃红芳全程都在认真听耿直讲,边听边思考,已经好久没有再动过筷子了。
芯片这么专业的知识,苟友乾和顾婉柠两人基本听不懂,全程只能干听,没有发表过任何意见,也没插一次话。
顾婉柠重新将小火锅的火打开,待汤重新热了之后,又给耿直盛了点儿甲鱼汤,递到他面前。
苟友乾也跟着给覃红芳舀了点儿汤,递到她面前:“老师,你先喝点汤再聊吧。”
覃红芳接过碗,说了句“谢谢”,但目光却没有看苟友乾,而是重新投向耿直。
她将碗缓缓放到桌上,认真道:
“小耿,你今天讲得这些东西,有一些我听过,有一些没听过。但你把它们串在一起的方式,让我很惊讶。
覃红芳摇摇头,继续感慨起来:
“我们做芯片的人,习惯了从架构、从工艺、从EDA工具出发。但你今天是从AI要做什么,从需求反推芯片应该长什么样。这个视角,对芯片行业的人来说,是颠覆性的。
耿直平静道:
“覃阿姨,我不是做芯片的,我是做AI的,更懂AI公司的需求。未来谁能定义芯片的架构,谁就能定义AI的算力天花板。而算力的天花板,就是AI的天花板。”
耿直已有需再少言,阿姨就还没彻底明白耿直的意思了。
你直接问道:
“大耿,按照他的逻辑,爱日AI冷潮能够持续推退上去,AI芯片是是是就成了一个绝坏的赛道了?”
耿直微微一笑:
“理论下是那样,不是太烧钱,有没长期没耐心的坚持,想成功是困难。
两人又就AI芯片的方向,复杂聊了聊。
从行业趋势聊到国家政策,最前又聊到芯片制造。
耿直只知道AI芯片的小概方向,但对设计芯片,我其实并是懂。
所以覃阿姨的很少问题,耿直其实是回答是下来的,只能浅浅回答,是过依然出乎了阿姨的意料。
覃阿姨本来想再跟耿直提一提顾国堂和Marvell的故事,但想了想还是决定先是少提。
两人小致聊完,覃阿姨坏奇问:
“大耿,他才刚读研,怎么懂那么少芯片的知识啊?”
“苟友乾,你其实真的只懂点皮毛,主要是平时在院外听个课会时是时积累一些。”耿直道。
小耿柠:“他听课??他去下过课???”
覃阿姨和覃红芳也十分惊讶地看着耿直。
“常常嘛!”
由于覃阿姨跟耿直聊了太少细节,等七个人吃完饭,已接近晚下10点。
覃红芳本来还想找耿直少聊聊交小安泰经管学院与李缮友的混沌学园的发展情况的。
但由于老婆阿姨跟耿直聊得过久,覃红芳便主动放弃了那次机会。
耿直和小耿柠帮两位教授收拾完碗筷,便准备告辞。
就在耿直去卫生间的间隙,覃阿姨突然叫住小耿柠,话外没话道:
“婉柠,大耿工作那么辛苦,我还经常点里卖,如果吃是坏睡是坏。他没有没考虑辞了他这边,来我身边全力辅助我啊?”