Data mixture in MLLM

Fri, 25 Apr 2025 10:25:48 +0800

介绍

简单总结一下已有的介绍了训练数据配比的多模态大模型，方便后续使用。根据之前看的一些论文进行总结，如有缺漏，欢迎批评指正。

相关工作

LLaVA

LLaVA 1.5 SFT数据配比如下：

LLaVA-OneVision

LLaVA OneVision 的数据集统计在表16里，这里总结一下数据配比(总量为3.15M)

Category	Ratio
general vqa	36.1
Doc/Chart/Screen	20.6
Math/Reasoning	20.1
general OCR	8.9
text only	14.3

Apollo

Apollo 是Meta发布的一个视频理解多模态大模型，其数据集没有开源，论文中给出了其训练数据配比

Cambiran-1

Cambiran-1 是纽约大学提出了一个多模态大模型系列，论文发表在了 NeurIPS 2024(Oral) 上，作者给出了 Cambrain-10M 和 Cambrain-7M 两个数据集，Cambrain-7M 的数据分布如下

Idefics

Idefics系列(1/2/3)是huggingface提出的视觉多模态大模型系列，在 Idefics2 中，作者构建了The Cauldron数据集，其数据配比在表14里面。总结如下：

Category	Ratio
general vqa	11.02
captioning	5.14
OCR	17.47
chart/figures	14.05
table	11.3
reasoning	10.32
textbook	1.58
difference	2.38
screenshot2code	0.31
text only	26.41

在 Idefics3 中，作者基于The Cauldron进行了扩展，最终数据集的比例如下：

Molmo

Molmo 是Allen AI发布的一个多模态大模型，其SFT数据配比如下

Eagle 2/2.5

Eagle (1/2/2.5) 是NVLab提出了系列多模态大模型，Eagle 2 给出了 stage 1.5 和 stage 2的数据配比

Eagle 2.5 在 Eagle 2的基础上加入了一些 long context 数据，其数据列表在表11里

SmolVLM

SmolVLM 是huggingface开发的一款轻量化视觉多模态大模型，论文中的数据配比如下：

MM1/1.5

MM1 通过实验确定了训练数据的配比：

Category	Ratio
interleaved image-text	45
imagetext	45
text only	10

MM1.5 的SFT数据配比如下：

InternVL

InternVL2.5 在论文里总结了其使用的pretraining数据和SFT数据，但是没有具体的数据配比，请参考论文的表4和表5

SFT数据配比

Category	Ratio
single-image	45.92%
multi-image	9.37%
video	39.79%
pure-text	4.92%

MiniCPM V

MiniCPM V 是 OpenBMB发布的轻量化多模态大模型，其在表1和表2列出了ptraining和SFT数据的具体量级和类别。

Flash-VL

Category	Ratio
Special Enhancement	4%
Text	21%
Caption	4%
Chart	16%
Math	11%
OCR	3%
Code	8%
General	33%

具体数据参见原论文

Data Selection on Jiang Yi(姜祎)'s Homepage