https://jiangyigithub.github.io/ai.github.io/tags/multilingual/Recent content in Multilingual on Jiang Yi(姜祎)'s HomepageHugo -- gohugo.ioenWed, 08 Apr 2026 21:44:44 +0800https://jiangyigithub.github.io/ai.github.io/p/notes-on-aya-vision/Mon, 17 Mar 2025 17:58:24 +0800https://jiangyigithub.github.io/ai.github.io/p/notes-on-aya-vision/<p>Aya Vision是一个多模态大语言模型，包含8B, 32B两个size，支持23种语言。Aya Vision基于 Aya Expanse大语言模型。</p> <h2 id="模型架构"><a href="#%e6%a8%a1%e5%9e%8b%e6%9e%b6%e6%9e%84" class="header-anchor"></a>模型架构 </h2><p>Aya Vision的模型架构如下图所示</p> <p><img src="https://jiangyigithub.github.io/ai.github.io/p/notes-on-aya-vision/architecture.png" width="3624" height="1316" loading="lazy" alt="Aya Vision模型架构" class="gallery-image" data-flex-grow="275" data-flex-basis="660px" ></p> <ul> <li>Vision Encoder: SigLip2-patch14-384</li> <li>Vision-text connector: 2 layer MLP</li> <li>LLM: Aya Expanse 8B/ 32B</li> </ul> <h2 id="训练"><a href="#%e8%ae%ad%e7%bb%83" class="header-anchor"></a>训练 </h2><p>训练包含两个stage：</p> <ol> <li>Vision-language alignment: 仅训练vision-text connector，基于image-text pairs进行训练</li> <li>SFT：训练connector和LLM，基于合成的多语种数据进行训练</li> </ol> <h2 id="多语种数据"><a href="#%e5%a4%9a%e8%af%ad%e7%a7%8d%e6%95%b0%e6%8d%ae" class="header-anchor"></a>多语种数据 </h2><p>为了提高模型的多语种能力，作者先基于English的高质量数据集合成了annotation，然后作者讲这些数据转化为22中语言对应的文本</p> <h2 id="model-merging"><a href="#model-merging" class="header-anchor"></a>Model merging </h2><p>最后为了提高模型在纯文本任务上的表现，作者还使用了model merging的技巧。具体做法就是merge使用的base language model和SFT之后的vision-language model</p> <h2 id="references"><a href="#references" class="header-anchor"></a>References </h2><ol> <li><a class="link" href="https://huggingface.co/blog/aya-vision" target="_blank" rel="noopener" >Aya Vision Blog</a></li> </ol>