卷死算了,业界首款带光子计算的智能网卡!

卷死算了(一) 400G智能网卡与全球最大FPGA

卷死算了(二) 带光子计算的智能网卡加速DNN

谷歌用自研

光交换机OCS证明了

光这个神奇的物质在AI应用的价值

谷歌Apollo:价值30亿美元的规则改变者

如果网络交换难度太大

那么在网卡侧搞创新是个思路

MIT 的天才少年们推出业界第一款

基于光子计算的推理场景用智能网卡系统

光子计算不是新鲜事儿

现代计算机的鼻祖Charles

研发了第一台可编程的机械计算机

同样模拟域1985年就演示了光学神经网络

将光子计算

用于机器学习推理

除了光电混合信号的处理

难点在于满足不同场景下的重配置需求

解决办法

还是 Co-Design

光学系统和数字系统的协同设计

在数据平面做决策违背SDN的思路

基于FPGA的原型机

需要综合模拟 数字 光学不同技能

软硬件都是开源的

可以申请developer kit

要不咱们也搞一套申请个课题

我们介绍了一款支持重新配置的光电深度学习智能网卡 Lightning,它能以 4.055 GHz 的计算频率为实时推理请求提供服务。为此,Lightning 采用了一种新颖的数据路径,将流量从网卡送至光计算内核,而不会产生数字数据移动瓶颈。Lightning 通过采用可重新配置的count-action抽象实现了这一目标,该抽象将计算控制平面与数据平面分离开来。 count-action抽象会计算有向无环图(DAG)中每个计算任务的操作次数。然后,在不中断数据流的情况下,一旦上一个任务完成,它就会触发下一个(或多个)任务的执行。我们的原型显示,Lightning 的光子 MAC 准确率达到 99.25%。

在提供实时推理请求时,与Nvidia P4和A100 GPU相比,Lightning将LeNet DNN的端到端推理延迟分别提升了9.4倍和6.6倍。