Boltzbit 发布《Infinite-Parameter LLMs》论文预览版,提出 BAST
中文摘要
Boltzbit 发布 BAST 技术,通过贝叶斯自学习实现实时参数更新。其算力需求仅为常规训练千分之一,长上下文性能优于 RAG。
English Summary
Boltzbit's BAST uses Bayesian self-learning for real-time parameter updates, requiring 1,000x less compute and outperforming RAG in long-context cost and performance.
Original Excerpt
Boltzbit 发布论文预览版《Infinite-Parameter LLMs》,提出 Bayesian Self-learning Transformers(BAST),将实时数据转化为定向参数更新。其理论分析估算,BAST 的算力需求比常规训练低约 1,000 倍。团队称 BAST 在长上下文对话中于成本和性能上均克服了 RAG 等基于记忆的学习方式的局限。