Falcon-Emirati-7B:让 LLM 学会阿联酋方言、文化与语感
中文摘要
Falcon-Emirati-7B发布,基于Falcon-H1架构,专注阿联酋方言与文化,通过真实与合成数据训练,精准提升模型对方言的理解及生成能力。
English Summary
Falcon-Emirati-7B, based on the Falcon-H1 architecture, specializes in Emirati dialect and culture, leveraging a blend of real and synthetic data to enhance linguistic precision and performance.
原文节选
Falcon-Emirati-7B 发布,这是一个基于 Falcon-H1-Arabic 的 7B 方言专用模型,专注理解与生成阿联酋阿拉伯语。它沿用 Falcon-H1 混合架构(Mamba 与 Transformer 注意力并行),并构建了真实方言网页数据、阿联酋文化 MSA 语料与受词表约束的合成数据三条管线。团队通过消融实验摸索方言数据注入量与训练阶段,以平衡真实与合成数据。