Groq 下一代推理芯片拟堆叠 DRAM 突破 SRAM 容量瓶颈
中文摘要
Groq拟在下一代芯片中堆叠DRAM,以突破SRAM容量限制并支持大规模模型。
English Summary
Groq plans to stack DRAM in next-gen chips to bypass SRAM capacity limits and support massive models.
Original Excerpt
据行业消息,Groq 计划在下一代推理芯片中堆叠 DRAM,以绕开片上 SRAM 容量过小的限制。当前 Groq 3 LPU 的 500MB SRAM 带宽达 150TB/s、约为 Rubin GPU HBM 带宽的 7 倍,但整机架 256 芯片仅 128GB,8-bit 万亿参数模型光权重就需约 2000 颗芯片。