Audio on Jiang Yi(姜祎)'s Homepage

物理AI-VLA分享

Sat, 11 Apr 2026 14:36:45 +0800

Agenda

1️⃣ 什么是 VLA？
2️⃣ VLA 发展：以 π 系列做主线
3️⃣ VLA模型的设计空间：分享VLANeXt 论文中的思考
4️⃣ 智驾 vs 具身：共性与讨论

什么是 VLA（视觉-语言-动作模型）？

VLA 代表 Vision-Language-Action（视觉-语言-动作） VLA 的核心思想是利用多模态大模型（MLLM）的 world knowledge and reasoning capabilities，直接产生机器人的动作输出。

输入： 机器人的摄像头图像（Vision）,机器人自身状态(Robot State)和人类的文字指令（Language）。
处理： 基于强大的多模态大模型（MLLM）去理解场景和指令。
输出： 直接生成控制机器人关节或末端执行器的低级动作指令（Action）。

VLA 让机器人能够像人类一样，通过观察世界、听从指令，然后直接采取行动，打破了传统机器人需要复杂的手工编码和分层多子系统的限制。

VLA的研究进展(pi系列)-以Physical Intelligence (π)为主线(关注核心组织和人）

π系列发展历程和趋势

阶段	核心架构与技术特征	关键突破点
π₀ 2024-10	MoT (Mixture of Transformer) + Flow Matching	奠定了 VLA 多模态训练的基础，利用连续流匹配生成动作。
FAST 2025-01	Efficient Action Tokenization	引入离散动作标记，提升了实时的推理速度和执行效率。
π₀.₅ 2025-04	两者 action 建模结合混合任务训练层次化 VLM/VLA 架构	结合连续与离散建模，通过混合任务训练应对复杂、长程任务。
π₀.₆* 及后续 2025-11	RL + Memory + Agentic	引入强化学习、长期记忆与自主决策能力，向机器人智能体迈进。

总结Physical Intelligence (π) VLA的进展

阶段	时间	版本	核心技术方向
π系列第一阶段	2024-10 ~	π₀ / π₀-FAST / π₀.₅	Flow Matching、Efficient Action Tokenization、分层设计 VLM + VLA、混合任务训练
π系列第二阶段	2025-11 ~	π₀.₆* 及后续	RL、Memory、Agentic

VLA模型的设计空间（VLANeXT）

VLANeXT

设计VLA模型需要思考的问题：

action怎么生成，VLM直接输出还是额外action expert网络？
action训练方法，Flow matching，VAE还是DDIM？
VLM和action expert的怎么连接？
propriocetion 自身状态输入给VLM还是action expert
多相机数据怎么输入给VLA，相机标定的内外参信息怎么喂给模型？图像的时序信息怎么处理？
是否引入额外任务构建更稠密的loss？如预测下一帧图像，还是引入额外输出头？

VLANEXT中探讨的VLA设计空间

设计维度	决策组件 / 变量	设计选项 (Design Options)	实验结论摘要 (Ablation Insights)	最佳配方 (Final Recipe)
一、基础组件 (Foundational)	1. 策略模块设计 (Policy Architecture)	A. 复用文本Token B. 独立策略头（浅层） C. 深度策略网络（MetaQuery）	浅层或复用架构无法充分解耦感知与动作；MetaQuery 风格能更好处理复杂动作。	采用深度独立策略模块（16 query tokens + 12层 Transformer）
	2. 动作分块 (Action Chunking)	A. 单步预测（size=1） B. 多步预测（size=8）	预测未来多步动作显著提高动作平滑性和任务成功率。	预测多步动作（Chunk size = 8）
	3. 动作学习目标 (Action Objective)	A. 离散分类（Binning / VQ-VAE） B. 回归（Regression） C. 扩散 / 流匹配（DDIM / Flow）	离散化损失空间细节；连续建模（Flow Matching / 回归）表达力更强。	使用连续动作建模（优先 Flow Matching 或回归）
	4. VLM骨干容量 (VLM Backbone)	测试 LLaMA, PaliGemma, Qwen3-VL 等	骨干模型表征能力是基础，容量越大通常性能越好（需平衡资源）。	视算力选择最优开源骨干（如 Qwen3-VL）
	5. VLM-策略连接 (VLM-Policy Link)	A. 松散连接（Loose） B. 紧密连接（Tight） C. 软连接（Soft，引入 Query buffer）	软连接通过可学习 query 提供缓冲，适配性略优于紧密或松散耦合。	软连接策略（Soft Connection）
二、感知要素 (Perception)	6. 时序历史 (Temporal History)	A. 仅当前帧 B. 添加过去帧	添加过去帧反而降低性能，可能引入冗余或干扰信息。	避免冗余时序历史输入（专注当前帧）
	7. 相机视角 (Camera Views)	A. 单视角 B. 多视角（第三人称 + 腕部）	多视角提供更全面空间信息，显著提升空间感知与操作精度。	多视角输入（第三人称 + 腕部相机）
	8. 本体感觉注入 (Proprioception)	A. 无本体 state B. VLM端注入 C. 策略端注入 D. 双端注入	本体 state 对闭环控制至关重要；VLM端注入效果优于策略端。	本体 state 条件于 VLM 端注入
三、动作建模 (Action Modeling)	9. 世界建模辅助 (World Modeling)	引入未来帧预测目标（如 Emu3.5）	性能有提升，但训练成本增加约3倍，性价比低。	不纳入最终配方
	10. 时序预测视角 (Time-Series Perspective)	引入频域损失（DCT）	将动作视为时序预测问题，引入频域损失可低成本提升动作质量。	引入频域辅助损失（DCT）

应用场景-具身VS智驾

具身和智驾领域VLA论文对比–>技术趋同

技术方向	具身	智驾
action token	pi0-FAST、RT2、OpenVLA	AutoVLA
action expert（flow matching）	pi0	DriveMoE
action 建模两者结合 + 强化学习 RL	pi0.5、pi0.6*	Alpamaya
辅助 loss（3D 感知 / 世界模型 / 通才模型）	蚂蚁 LingBot-VLA	DriveVLA-W0 / EMMA

Nvidia Alpamaya智驾VLA

Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail

从Waymo End-to-End Driving Chanllenges看未来智驾的技术趋势

添加图片注释，不超过 140 字（可选） WOD-E2E: Waymo Open Dataset for End-to-End Driving in Challenging Long-tail Scenarios(https://arxiv.org/pdf/2510.26125)-4.4. Discussion of the Results

1.MLLM-based Model (VLA)的好处？->数据不易饱和
2.强化学习对E2E驾驶能力的提升？

open discussion

Q1. 智驾是否需要VLA吗？

a.智驾特殊场景和长尾场景是否需要Language，是否是帮助提升泛化性?
b.交互能力对于驾驶是否必须?驾驶需要需要遵循人类指令？
c. 推理CoT对于智驾这类实时性高的场景是否必须？怎么trade-off?

Q2. VLA vs WAM？

VLA (Vision-Language-Action, 视觉-语言-动作模型)
瓶颈： VLA 模型通常缺乏对物理世界的深刻理解（没有物理常识）。它只是学到了动作和图像之间的“统计映射”。

WAM (World Action Model, 世界动作模型)
核心思想： WAM 是建立在 World Model (世界模型) 之上的动作模型。世界模型的核心能力是“预测未来”。它学习物理世界的运作规律（例如，物体掉落会向下，水杯翻了水会流出）。当接收到指令和当前视觉时，WAM 不会直接生成动作。它首先利用其世界模型“想象”：如果我采取动作A，世界会变成什么样？采取动作B，世界又会变成什么样？通过在“想象”中模拟未来，WAM 可以选择最能达成目标的动作序列。 WAM 的优势：具有物理常识，具有“预测”和“规划”能力。

cosmos policy 添加图片注释，不超过 140 字（可选）添加图片注释，不超过 140 字（可选）

Q3. VLA 是终局吗？WAM 是终局吗？两者怎么融合？

添加图片注释，不超过 140 字（可选）

总结

π 系列VLA：

Physical Intelligence 的 π 系列 VLA 模型。π0，基于VLM+Action Expert架构，Flow matching结合流匹配技术，多步去噪生成aciton; π0.5,混合任务训练，采用两种action token建模方式，通过层次化 VLM+VLA 架构提高了复杂任务泛化能力；π0.6*及后续，引入强化学习与记忆，推动VLA模型具有自主规划能力的具身智能体（Agentic AI）演进。

VLANeXT-VLA 的关键“设计空间”：

VLA 模型的执行效率源自深度独立的策略网络、多步动作分块、以及频域辅助损失对连续动作建模的优化；最佳配方摒弃了降低性能的历史时序输入，专注于多视角感知和连续动作流预测。

智驾与具身VLA：

两者皆是 Physical AI的应用，模型设计上具有极高的技术重合度。讨论 VLA是否必须？VLA还是WAM两者技术路线？

Notes on Qwen2.5 omni

Tue, 01 Apr 2025 10:29:00 +0800

介绍

2025年3月26号，Qwen团队发布了Qwen2.5 omni，Qwen2.5 omni是一个多模态模型，支持文本、音频、视频、图像等多个模态的输入，支持文本，音频的输出。作者提出了TMRoPE来对齐不同的模态，然后还是用了Thinker-Talker的架构来同时生成文本和音频。 Thinker是一个大语言模型，Talker是一个dual-track自回归模型，Talker基于Thinker的hideen states来生成audio token，最后通过一个sliding-window DiT来解码audio token

现有omni-model存在的问题：

缺乏一个系统的，联合训练多个不同模态的方法
需要处理不同模态输出时互相干扰的问题
不能实时理解或者流式输出多模态信息

Qwen2.5 omni的解决方法：

使用TMRoPE来对齐不同的模态。作者将audio以及video frame按照时间顺序组织成一个交替的架构，然后使用TMRoPE来对齐
使用Thinker-Talker的架构来同时生成文本和音频。Thinker负责文本输出，Talker负责音频的流式输出。
在multimodal encoder中使用Block-wise streaming处理技巧来实现实时理解；在输出时，实现了一个dual-track自回归架构来生成audio token，以及一个DiT模型来解码audio token

Qwen2.5 omni的贡献：

提出了Qwen2.5-omni,可以实时理解多模态信息，并流式输出文本和音频
提出了TMRoPE，一个可以对齐不同模态的RoPE算法
提出了Thinker-Talker的架构，来完成实时理解和音频输出
在多个benchmark上取得了SOTA

架构

总览

Qwen2.5-omni的架构如下图所示

其中Talker类似于人的嘴，负责基于脑中的信息来生成对话；Thinker类似于人的大脑，负责理解输入的信息，并生成对话的上下文。

输入

text: Qwen的tokenizer
audio： Qwen2-Audio的tokenizer
vision： Qwen2.5-VL的vision tokenizer

视频以及TMRoPE。对于视频来说，Qwen2.5-omni采取了和Qwen2.5-VL一样的MRoPE算法。只是这里的temporal ID对应40ms

音频：对于音频来说，Qwen2.5-omni也是以40ms进行采样然后encoding。

视频+音频：对于视频+音频来说，Qwen2.5-omni将视频和音频的token进行交替的排列，来保证时间上信息一致

输出

Text：text由Thinker直接输出，这和LLM的输出方式是一样的。
Speech：Qwen2.5-omni首先构建了qwen-tts-tokenizer，一个speech codec，用于表示speech的关键信息。然后基于这些关键信息，Talker通过自回归的方式生成audio tokens以及text tokens。

流式输出

对于流式输出来说，现在的模型存在latency，具体影响因素如下：

处理多模态输入的延迟
TTFT （time to first token）
将第一段speech token解码为audio的时间
模型架构导致的latency，如模型参数等

为了解决这个问题，Qwen2.5-omni采取了以下措施：

Support prefilling. 作者修改了audio以及vision encoder来在temporal dimension上支持block-wise attention. 具体来讲，audio encoder只关注2秒内的信息，而vision encoder和Qwen2.5-VL一样，使用了一个MLP patch merger来压缩视觉token
Streaming Codec generation. 为了提高流式输出的效率，作者还是用了基于Flow-Matching的DiT，输出的code收线使用Flow-Matching转化为一个mel-spectrogram. 然后再通过一个BigVGAN来重建得到对应的waveform. 作者在这里修改了DiT的attention，将其receptive field 限制为4个block，包括lookback of 2 blocks以及lookahead of 1 block.

Pre Training

模型参数初始化：

LLM：从Qwen2.5进行初始化
vision encoder：从Qwen2.5-VL的vision encoder进行初始化
audio encoder：从Whisper-large-v3进行初始化

Pretraining和Qwen2.5-VL的训练过程类似，分成了3个stage：

冻结LLM的参数，仅训练vision encoder和audio encoder，该阶段使用了audio-text以及image-text pairs来进行训练。数据：image-text, video-text, video-audio, audio-text以及text corpus，跟Qwen2-Audio类似，作者将hierarchical tags用自然语言prompt进行替换
训练所有参数，使用更多的多模态数据进行训练。数据包括800B token的image和Video相关数据，300B token的audio数据，100B token的video-audio相关数据。
将模型的上下文扩展到32K。前两个阶段的上下文长度为8192，本阶段使用了long video data等数据来将模型的上下文扩展到32K。

Post Training

Thinker

数据格式为ChatML，数据类型包括pure text-based dialogue data, visual-modality conversation data, audio-modality conversation data and mix-modality conversation data.

Talker

包括三个阶段

ICL training: 训练Talker学习context continuation
DPO training: 提升speech generation的stability
multi-speaker instruction fine-tuning: 提升模型的naturalness和controllability

Evaluation

Qwen2.5-omni在两类benchmark上进行来的评测，分别时多模态理解（X->text）以及音频生成(X-> Speech)

我们这里主要关注一下speech understanding以及speech generation的benchmark.

总结

Qwen2.5-omni相当于是结合了Qwen2.5-VL以及Mini-omni，跟mini-omni2的输入输出是类似的。不同的点在于，Qwen2.5-omni使用了Thinker-Talker的架构，然后还使用了TMRoPE来对齐不同的模态。总的来说，感觉模型还是更偏重于audio的理解与生成。

Reference

Notes on VITA

Tue, 13 Aug 2024 14:36:45 +0800

TLDR

This paper proposes a Multimodal Large Language Model VITA (Video, Image, Text, Audio). VITA supports non-awakening interaction and audio interruption for better interactive experience. VITA aims to be an open-sourced version of GPT-4o.

Introduction

Features of GPT-4o:

a unified framework that processes text, vision, and audio signals in an end-to-end manner,
the capability to enable natural multimodal human-computer interaction.

Similar to Mini-GPT4, this paper tries to proposed an open-sourced version of GPT-4o.

Method

Model

The architecture of VITA is shown as follows:

LLM: Mixtral $8\times 7$ B
Visual Encoder: InternViT-300M-448px
Audio Encoder: Mel Filter Bank block

To support audio interruption, the author uses two model at the same time, where the generation model is responsible for handling user queries and the other model monitors the environment. The other models starts to work is there is an audio interruption.

Data

multimodal instruction tuning

Training data of multimodal instruction tuning is given as follows:

Improvements are made:

The questions are randomly (about half) replaced with their audio versions, using TTS technique such as GPT-SoVITS
Different system prompts are set to avoid conflicts between different types of data

To support human-AI interaction, the noisy audio data are also constructed. Noisy audio samples are generated from existed QA data. These negative sample texts aim to improve the ability of VITA to not respond to non-query-related content.

To distinguish three types of queries, the author uses three state tokens:

Token <1> denotes that the question input is the query audio
Token <2> denotes that the question input is the noisy audio.
Token <3> signifies the question of pure text.

Training pipeline

Training pipeline of VITA consists of three stages:

Non-awakening Interaction

There are following requirements and solutions:

Real-time Tracking of Environmental Sounds. This paper uses SileroVAD to complete the Voice Activity Detection (VAD) task.
Filtering out noisy audio. This is done by making use of token <2>.

Audio Interrupt Interaction

There are following requirements and solutions:

Real-time Tracking and Filtering of External Queries. This is done by use another VITA model as stated in Model section.

Audio on Jiang Yi(姜祎)'s Homepage

物理AI-VLA分享

Agenda

什么是 VLA（视觉-语言-动作模型）？

VLA的研究进展(pi系列)-以Physical Intelligence (π)为主线(关注核心组织和人 ）

π系列发展历程和趋势

总结Physical Intelligence (π) VLA的进展

VLA模型的设计空间（VLANeXT）

设计VLA模型需要思考的问题：

VLANEXT中探讨的VLA设计空间

应用场景-具身VS智驾

具身和智驾领域VLA论文对比–>技术趋同

Nvidia Alpamaya智驾VLA

从Waymo End-to-End Driving Chanllenges看未来智驾的技术趋势

open discussion

Q1. 智驾是否需要VLA吗 ？

Q2. VLA vs WAM？

Q3. VLA 是终局吗？WAM 是终局吗？两者怎么融合？

总结

π 系列VLA：

VLANeXT-VLA 的关键“设计空间”：

智驾与具身VLA：

更多细节

Notes on Qwen2.5 omni

介绍

架构

总览

输入

输出

流式输出

Pre Training

Post Training

Thinker

Talker

Evaluation

总结

Reference

Notes on VITA

TLDR

Introduction

Method

Model

Data

multimodal instruction tuning

Training pipeline

Non-awakening Interaction

Audio Interrupt Interaction

Evaluation

Conclusion

Reference

VLA的研究进展(pi系列)-以Physical Intelligence (π)为主线(关注核心组织和人）

Q1. 智驾是否需要VLA吗？