返回首页
RadarAI··论文与技术

Hugging Face 增量上传省下 239GB 流量

中文摘要

Hugging Face 增量上传功能使 239GB 数据集在小幅修改后仅传输 2.6MB,大幅节省流量并提升速度。

English Summary

Hugging Face's incremental upload reduced 239GB of data transfer to just 2.6MB for minor updates, significantly saving bandwidth and time.

原文节选

来自 @microagi 关于传输 PB 级机器人数据的文章里有个有趣的数据: 他们向 Hugging Face 重新上传了一个 239 GB 的数据集,只做了小幅修改。结果只有 2.6 MB 走了网络,大约一分钟就完成了(!) 而且这在规模化时持续见效,因为机器人录制数据高度重复(相同的场景、相同的设备)。然后 @Cloudflare workers 把它分发到任何云,超过 1 PB 只需约 500 美元 团队写的这篇文章很棒:https://www.microagi.ai/articles/delivery-platform