Google 开源 TPU Sync:面向 TPU 的 KV cache 传输 C++ 库
中文摘要
中国:Google开源TPU Sync C++库,统一TPU HBM、DRAM、存储和网络,用DMA异步传输KV cache和权重。
English Summary
English: Google open-sources TPU Sync C++ library, unifying TPU HBM, DRAM, storage, and network for asynchronous DMA transfer of KV cache and weights.
原文节选
Google Cloud 发布开源 C++ 库 TPU Sync(Apache-2.0),把 TPU HBM、主机 DRAM、共享存储和数据中心网络当作统一内存层级,用异步 DMA 传输 KV cache 和模型权重。