返回首页
RadarAI··论文与技术

Google 开源 TPU Sync:面向 TPU 的 KV cache 传输 C++ 库

中文摘要

中国:Google开源TPU Sync C++库,统一TPU HBM、DRAM、存储和网络,用DMA异步传输KV cache和权重。

English Summary

English: Google open-sources TPU Sync C++ library, unifying TPU HBM, DRAM, storage, and network for asynchronous DMA transfer of KV cache and weights.

原文节选

Google Cloud 发布开源 C++ 库 TPU Sync(Apache-2.0),把 TPU HBM、主机 DRAM、共享存储和数据中心网络当作统一内存层级,用异步 DMA 传输 KV cache 和模型权重。