据外媒报道,DSP芯片和高性能硅知识产权(IP)解决方案供应商VSORA宣布推出其用于生成AI推理的处理器平台Jotunn。
Jotunn预计将于2024年推出,旨在克服“内存墙(memory wall)”,其中内存墙使当前处理器在生成AI软件中等待数据时大部分时间处于空闲状态。
图片来源:VSORA
据报道,近日推出的生成式AI GPT-3.5需要1750亿个参数,而GPT-4需要近2万亿个参数。使用传统的分层内存模型延迟会增加。VSORA声称,运行GPT-4的效率下降至3%左右,因此数千个处理器在97%的时间内都处于闲置状态。
Jotunn是一种可扩展芯片架构,配有主机处理器和高带宽内存(HBM)接口。Jotunn-4实施方案具有四个处理器内核,将提供192GB片上内存,并能够根据数据类型提供12至3,200 TFLOPS的性能。此外,该架构采用45mm x 45mm封装时,额定功耗为100W峰值。
ChatGPT基于GPT-3.5,可以由Jotunn4完全在片上处理,与竞品相比,功耗降低了一个数量级以上。Jotunn4使GPT-3.5和GPT-4的效率提高了50%以上。
Jotunn最初旨在降低L3至L5自动驾驶车辆的功耗和成本,并搭载高性能芯片架构(参见VSORA推出用于自动驾驶的Tyr芯片)。VSORA扩展了该架构以加速GenAI应用。
利用VSORA高级语言和图形编译器开发流程,算法应用可更加快速和简单。面向未来的VSORA架构不受算法限制,允许现有算法和新算法在各种VSORA芯片上运行。VSORA创始人兼首席执行官Khaled Maalej表示:“生成式人工智能需要专门设计的硬件来支持。”
VSORA成立于2015年,在法国默东拉福雷(Meudon-La-Forêt)、美国加利福尼亚州圣地亚哥(San Diego)和中国台湾均设有办事处。