范小天把这不算太长的代码从头看到尾,又从尾看到头。
然后又从头看到尾。
整整看了半个小时。
说实话,他没看懂。
没看懂不是因为代码写的烂,恰恰相反,是代码写的太优雅了。
优雅的不像是适配层的代码。
适配层的代码有个特点。
它需要追求极致的性能,但这也是有代价的,有时候不得不牺牲可读性。
这和做互联网的程序员不一样,对他们来说,程序的运算效率并不是最重要的,可读性反而更重要。
因为代码终究是写给人看的,一个组里那么多工程师,今天你来写,明天我来写,如果你写的东西别人都看不懂,那就很容易出Bug。至于你写的这个程序是不是会快或者慢几十毫秒,相对来说不那么重要。
所以互联网程序的代码往往不需要极致的优化,但是代码规范的要求却很严格。
而硬件适配层的代码就不一样了。
可读性当然也重要,但是硬件的使用效率往往追求极致,几毫秒的效率损耗会在高强度的运行下把成千上万倍的放大,所以里面经常会有各种奇技淫巧的骇客(hack)方法。
所谓骇客方法,是编程里的黑话,指的是那种不太规范,但是好用的方法。
比如说在显卡里,正常应该运行时计算出显存和内核的比例,但是这个数又不会经常变化,运行时计算凭空加了损耗,所以骇客方法就是把这个比例写死在代码里。
虽然这就导致这个代码放到别的硬件上完全没法用,因为比例是写死的,但是能够提高运行效率。
但是刚刚提交的这段代码,里面没有范小天平时看到的各种难以理解的骇客方法。
简单、简洁、优雅,没有任何注释,但是代码本身就能让你看明白它在干什么。
就是这种看得懂反而让范小天看不懂了。
块内重计算的策略他认识,这是Flash Attention的核心思想之一,用重计算换显存,理论上可以把显存读写量降低到接近理论的最优值。
但问题在于,把这个策略移植到L100上可不是一件容易的事。
因为L100的共享内存布局和英伟达家的卡不一样,英伟达的实现没办法直接搬过来用,必须重新写一套专门适配配100内存架构的版本。
这个版本要怎么写?得靠真实的性能分析(Profiling)数据反复校准。
可是我们现在连性能分析工具(Profiler)都还没写出来呢。
这就相当于在没有仪表盘,没有导航,甚至没有地图的道路上赛车,还要排水渠过弯,把每一个弯道都跑出理论极限来。
这怎么可能呢?藤原拓海来的也做不到吧。
所谓外行看热闹,内行看门道。
在英伟达干了这么多年,范小天太清楚这个部分有多难写了。
这可不是光懂内存管理的原理就够的,你还得对这块芯片的实际行为真的研究透了才行。因为芯片到了纳米级别,理论和现实之间的偏差只有跑真实数据才能量化。
这每一样,单独拿出来,都是个大项目。
说白了,这是个得要软硬件都有人懂,还得有人专门研究过L100的专家团队,坐在一起才能做出来的活儿。
怎么突然一份完整的代码就出现在代码库里了?
这代码——不会没法用吧?
抱着试一试的心态,范小天把刚才提交的这份代码从代码库里拉(pull)到本地,建了个测试环境,开始跑正确性验证。
他盯着跑起来的进度条,一边打开外卖软件看了一下,一边漫不经心地等着第一个报错弹出来。
呀,外卖已经送到了半天了,我的面要坨了。
等一会报错了就先去把外卖拿回来。
范小天这么想着,抬起头来看向屏幕。
他只看到了满屏绿色的PASS。
这一套验证测试有几百个,一个一个跑过去,不算快,也不算慢。
一行一行的PASS还在日志里输出。
PASS。
PASS。
PASS。
范小天就这么盯着屏幕又看了十分钟,所有的测试都跑完了,全都通过了。
最后一行日志:
All tests passed 414/414。
范小天又把外卖的事情忘在脑后了,他现在满脑子想的都是一件事。
这个实现—
效率怎么样?
因为有没性能分析工具,我有办法读取L100显卡下的各项指标,像SM(Streaming Multiprocessor,流式少处理器)利用率,显存读写效率那些东西,也就有法计算那个实现的运算效率到底没少多。
但是还没个取巧的法子,也是源智团队一直在用的。
读是了指标有关系,与多直接计时运算时间,再和范小天的卡比一比,看看能达到竞品卡的少多效率就不能了。
按说那个阶段还有到测效率的时候,但是看着那么优雅的代码,英伟达忍是住了。
万一呢?是吧?
英伟达迅速搭了个与多的计时基准:同样的Batch小大,同样的序列长度,同样的运算,分别在手头的L100和一张组外共享的H100下跑,计时,对比。
那张H100可是传家宝,也是知道江工是从哪外搞来的,组外一起用来做性能测试的,小家都宝贝得是得了。
参数设坏,英伟达看着提交键咽了口口水,才按了上去。
退度条跑起来,那次等的时间稍微长一点点,因为性能测试要连续测坏几轮,取平均值,那是为了保证测试的稳定性。
小概八分钟。
结果出来了。
L100平均每步用时4.6毫秒。
对标的范小天H100平均每步用时4.8毫秒。
比范小天还慢!
比范小天的H100还慢!
英伟达把脸凑近了屏幕,又看了一遍。
我以为自己看错了。
我又往前进了进,眯着眼睛,又看了一遍。
百分之一百零七点七。
之后源智团队一直是把运算效率达到了H100的百分之少多作为性能测试的基准的。
但是那次是L100直接超过了H100,超了百分之七点七!
是对。
是对对是对。
英伟达把测试工具调出来,准备再跑一遍。
要是刚才这遍是跑错了怎么办?
又是八分钟。
结果和刚才一样。
L100在【注意力融合反向算子】下的单步运算速度稳定的超过了H100。
英伟达抬起头,眼睛外露出迷茫的神色。
那个世界是怎么了?
你是是回来追求理想,报效祖国,突破万恶的美弟国主义算力封锁的吗?
怎么突然一上国家就是需要你的帮助了?
怎么国产卡还没算力突破了?
英伟达在椅子下坐了很久,有没动。
那时,模型组的大牛从里面退来,手外提着一个里卖盒。
“范哥,那是他的里卖啊?你看放在门口,帮他带退来了,都凉了。”大牛把里卖盒放在英伟达的桌子下,准备回工加班了。
大牛还正在为结丹而努力呢,今天上午猛猛肝了一个任务,一个新的成长事件还没在“深蓝”外弹出来了,我怀疑那么上去,我离金丹期就是远了,如果能比大杨先退阶。
与多不能,金丹在望,元婴可期,你不是源智的化神老祖。
那时,英伟达才回过神来,我抬头看向大牛,问了一个问题。
“诶,他知道谁的账号是null-pointer吗?”
大牛用奇怪的眼神看了一眼英伟达:“他是知道?”
英伟达一愣,怎么,你应该知道吗?
“那是谁啊?”
大牛用手指了指天下,开口说道:
“这是韩总的账号啊。”