返回首页
RadarAI··论文与技术

Q Labs Research 提出无反向传播的预训练方法 Dust

中文摘要

Q Labs Research推出Dust,一种无需反向传播即可通过零阶优化预训练GPT模型的新方法。

English Summary

Q Labs Research introduced Dust, a zero-order optimization method for pretraining GPT-style Transformers without backpropagation.

原文节选

Q Labs Research 发布 Dust,一种零阶优化方法,通过在每个 token 上独立扰动激活(虚拟种群)预训练 GPT 式 Transformer,无需反向传播。