Back to Home
RadarAI··Papers & Tech

Q Labs Research 提出无反向传播的预训练方法 Dust

中文摘要

Q Labs Research推出Dust,一种无需反向传播即可通过零阶优化预训练GPT模型的新方法。

English Summary

Q Labs Research introduced Dust, a zero-order optimization method for pretraining GPT-style Transformers without backpropagation.

Original Excerpt

Q Labs Research 发布 Dust,一种零阶优化方法,通过在每个 token 上独立扰动激活(虚拟种群)预训练 GPT 式 Transformer,无需反向传播。