卷死算了(一) 400G智能网卡与全球最大FPGA
卷死算了(二) 带光子计算的智能网卡加速DNN
谷歌用自研
光交换机OCS证明了
光这个神奇的物质在AI应用的价值
谷歌Apollo:价值30亿美元的规则改变者
如果网络交换难度太大
那么在网卡侧搞创新是个思路
MIT 的天才少年们推出业界第一款
基于光子计算的推理场景用智能网卡系统
光子计算不是新鲜事儿
现代计算机的鼻祖Charles
研发了第一台可编程的机械计算机
同样模拟域1985年就演示了光学神经网络
将光子计算
用于机器学习推理
除了光电混合信号的处理
难点在于满足不同场景下的重配置需求
解决办法
还是 Co-Design
光学系统和数字系统的协同设计
在数据平面做决策违背SDN的思路
基于FPGA的原型机
需要综合模拟 数字 光学不同技能
软硬件都是开源的
可以申请developer kit
要不咱们也搞一套申请个课题
我们介绍了一款支持重新配置的光电深度学习智能网卡 Lightning,它能以 4.055 GHz 的计算频率为实时推理请求提供服务。为此,Lightning 采用了一种新颖的数据路径,将流量从网卡送至光计算内核,而不会产生数字数据移动瓶颈。Lightning 通过采用可重新配置的count-action抽象实现了这一目标,该抽象将计算控制平面与数据平面分离开来。 count-action抽象会计算有向无环图(DAG)中每个计算任务的操作次数。然后,在不中断数据流的情况下,一旦上一个任务完成,它就会触发下一个(或多个)任务的执行。我们的原型显示,Lightning 的光子 MAC 准确率达到 99.25%。
在提供实时推理请求时,与Nvidia P4和A100 GPU相比,Lightning将LeNet DNN的端到端推理延迟分别提升了9.4倍和6.6倍。