Paper Reading on Jiang Yi(姜祎)'s Homepage

物理AI-VLA分享

Sat, 11 Apr 2026 14:36:45 +0800

Agenda

1️⃣ 什么是 VLA？
2️⃣ VLA 发展：以 π 系列做主线
3️⃣ VLA模型的设计空间：分享VLANeXt 论文中的思考
4️⃣ 智驾 vs 具身：共性与讨论

什么是 VLA（视觉-语言-动作模型）？

VLA 代表 Vision-Language-Action（视觉-语言-动作） VLA 的核心思想是利用多模态大模型（MLLM）的 world knowledge and reasoning capabilities，直接产生机器人的动作输出。

输入： 机器人的摄像头图像（Vision）,机器人自身状态(Robot State)和人类的文字指令（Language）。
处理： 基于强大的多模态大模型（MLLM）去理解场景和指令。
输出： 直接生成控制机器人关节或末端执行器的低级动作指令（Action）。

VLA 让机器人能够像人类一样，通过观察世界、听从指令，然后直接采取行动，打破了传统机器人需要复杂的手工编码和分层多子系统的限制。

VLA的研究进展(pi系列)-以Physical Intelligence (π)为主线(关注核心组织和人）

π系列发展历程和趋势

阶段	核心架构与技术特征	关键突破点
π₀ 2024-10	MoT (Mixture of Transformer) + Flow Matching	奠定了 VLA 多模态训练的基础，利用连续流匹配生成动作。
FAST 2025-01	Efficient Action Tokenization	引入离散动作标记，提升了实时的推理速度和执行效率。
π₀.₅ 2025-04	两者 action 建模结合混合任务训练层次化 VLM/VLA 架构	结合连续与离散建模，通过混合任务训练应对复杂、长程任务。
π₀.₆* 及后续 2025-11	RL + Memory + Agentic	引入强化学习、长期记忆与自主决策能力，向机器人智能体迈进。

总结Physical Intelligence (π) VLA的进展

阶段	时间	版本	核心技术方向
π系列第一阶段	2024-10 ~	π₀ / π₀-FAST / π₀.₅	Flow Matching、Efficient Action Tokenization、分层设计 VLM + VLA、混合任务训练
π系列第二阶段	2025-11 ~	π₀.₆* 及后续	RL、Memory、Agentic

VLA模型的设计空间（VLANeXT）

VLANeXT

设计VLA模型需要思考的问题：

action怎么生成，VLM直接输出还是额外action expert网络？
action训练方法，Flow matching，VAE还是DDIM？
VLM和action expert的怎么连接？
propriocetion 自身状态输入给VLM还是action expert
多相机数据怎么输入给VLA，相机标定的内外参信息怎么喂给模型？图像的时序信息怎么处理？
是否引入额外任务构建更稠密的loss？如预测下一帧图像，还是引入额外输出头？

VLANEXT中探讨的VLA设计空间

设计维度	决策组件 / 变量	设计选项 (Design Options)	实验结论摘要 (Ablation Insights)	最佳配方 (Final Recipe)
一、基础组件 (Foundational)	1. 策略模块设计 (Policy Architecture)	A. 复用文本Token B. 独立策略头（浅层） C. 深度策略网络（MetaQuery）	浅层或复用架构无法充分解耦感知与动作；MetaQuery 风格能更好处理复杂动作。	采用深度独立策略模块（16 query tokens + 12层 Transformer）
	2. 动作分块 (Action Chunking)	A. 单步预测（size=1） B. 多步预测（size=8）	预测未来多步动作显著提高动作平滑性和任务成功率。	预测多步动作（Chunk size = 8）
	3. 动作学习目标 (Action Objective)	A. 离散分类（Binning / VQ-VAE） B. 回归（Regression） C. 扩散 / 流匹配（DDIM / Flow）	离散化损失空间细节；连续建模（Flow Matching / 回归）表达力更强。	使用连续动作建模（优先 Flow Matching 或回归）
	4. VLM骨干容量 (VLM Backbone)	测试 LLaMA, PaliGemma, Qwen3-VL 等	骨干模型表征能力是基础，容量越大通常性能越好（需平衡资源）。	视算力选择最优开源骨干（如 Qwen3-VL）
	5. VLM-策略连接 (VLM-Policy Link)	A. 松散连接（Loose） B. 紧密连接（Tight） C. 软连接（Soft，引入 Query buffer）	软连接通过可学习 query 提供缓冲，适配性略优于紧密或松散耦合。	软连接策略（Soft Connection）
二、感知要素 (Perception)	6. 时序历史 (Temporal History)	A. 仅当前帧 B. 添加过去帧	添加过去帧反而降低性能，可能引入冗余或干扰信息。	避免冗余时序历史输入（专注当前帧）
	7. 相机视角 (Camera Views)	A. 单视角 B. 多视角（第三人称 + 腕部）	多视角提供更全面空间信息，显著提升空间感知与操作精度。	多视角输入（第三人称 + 腕部相机）
	8. 本体感觉注入 (Proprioception)	A. 无本体 state B. VLM端注入 C. 策略端注入 D. 双端注入	本体 state 对闭环控制至关重要；VLM端注入效果优于策略端。	本体 state 条件于 VLM 端注入
三、动作建模 (Action Modeling)	9. 世界建模辅助 (World Modeling)	引入未来帧预测目标（如 Emu3.5）	性能有提升，但训练成本增加约3倍，性价比低。	不纳入最终配方
	10. 时序预测视角 (Time-Series Perspective)	引入频域损失（DCT）	将动作视为时序预测问题，引入频域损失可低成本提升动作质量。	引入频域辅助损失（DCT）

应用场景-具身VS智驾

具身和智驾领域VLA论文对比–>技术趋同

技术方向	具身	智驾
action token	pi0-FAST、RT2、OpenVLA	AutoVLA
action expert（flow matching）	pi0	DriveMoE
action 建模两者结合 + 强化学习 RL	pi0.5、pi0.6*	Alpamaya
辅助 loss（3D 感知 / 世界模型 / 通才模型）	蚂蚁 LingBot-VLA	DriveVLA-W0 / EMMA

Nvidia Alpamaya智驾VLA

Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail

从Waymo End-to-End Driving Chanllenges看未来智驾的技术趋势

添加图片注释，不超过 140 字（可选） WOD-E2E: Waymo Open Dataset for End-to-End Driving in Challenging Long-tail Scenarios(https://arxiv.org/pdf/2510.26125)-4.4. Discussion of the Results

1.MLLM-based Model (VLA)的好处？->数据不易饱和
2.强化学习对E2E驾驶能力的提升？

open discussion

Q1. 智驾是否需要VLA吗？

a.智驾特殊场景和长尾场景是否需要Language，是否是帮助提升泛化性?
b.交互能力对于驾驶是否必须?驾驶需要需要遵循人类指令？
c. 推理CoT对于智驾这类实时性高的场景是否必须？怎么trade-off?

Q2. VLA vs WAM？

VLA (Vision-Language-Action, 视觉-语言-动作模型)
瓶颈： VLA 模型通常缺乏对物理世界的深刻理解（没有物理常识）。它只是学到了动作和图像之间的“统计映射”。

WAM (World Action Model, 世界动作模型)
核心思想： WAM 是建立在 World Model (世界模型) 之上的动作模型。世界模型的核心能力是“预测未来”。它学习物理世界的运作规律（例如，物体掉落会向下，水杯翻了水会流出）。当接收到指令和当前视觉时，WAM 不会直接生成动作。它首先利用其世界模型“想象”：如果我采取动作A，世界会变成什么样？采取动作B，世界又会变成什么样？通过在“想象”中模拟未来，WAM 可以选择最能达成目标的动作序列。 WAM 的优势：具有物理常识，具有“预测”和“规划”能力。

cosmos policy 添加图片注释，不超过 140 字（可选）添加图片注释，不超过 140 字（可选）

Q3. VLA 是终局吗？WAM 是终局吗？两者怎么融合？

添加图片注释，不超过 140 字（可选）

总结

π 系列VLA：

Physical Intelligence 的 π 系列 VLA 模型。π0，基于VLM+Action Expert架构，Flow matching结合流匹配技术，多步去噪生成aciton; π0.5,混合任务训练，采用两种action token建模方式，通过层次化 VLM+VLA 架构提高了复杂任务泛化能力；π0.6*及后续，引入强化学习与记忆，推动VLA模型具有自主规划能力的具身智能体（Agentic AI）演进。

VLANeXT-VLA 的关键“设计空间”：

VLA 模型的执行效率源自深度独立的策略网络、多步动作分块、以及频域辅助损失对连续动作建模的优化；最佳配方摒弃了降低性能的历史时序输入，专注于多视角感知和连续动作流预测。

智驾与具身VLA：

两者皆是 Physical AI的应用，模型设计上具有极高的技术重合度。讨论 VLA是否必须？VLA还是WAM两者技术路线？

Notes on VITA

Tue, 13 Aug 2024 14:36:45 +0800

TLDR

This paper proposes a Multimodal Large Language Model VITA (Video, Image, Text, Audio). VITA supports non-awakening interaction and audio interruption for better interactive experience. VITA aims to be an open-sourced version of GPT-4o.

Introduction

Features of GPT-4o:

a unified framework that processes text, vision, and audio signals in an end-to-end manner,
the capability to enable natural multimodal human-computer interaction.

Similar to Mini-GPT4, this paper tries to proposed an open-sourced version of GPT-4o.

Method

Model

The architecture of VITA is shown as follows:

LLM: Mixtral $8\times 7$ B
Visual Encoder: InternViT-300M-448px
Audio Encoder: Mel Filter Bank block

To support audio interruption, the author uses two model at the same time, where the generation model is responsible for handling user queries and the other model monitors the environment. The other models starts to work is there is an audio interruption.

Data

multimodal instruction tuning

Training data of multimodal instruction tuning is given as follows:

Improvements are made:

The questions are randomly (about half) replaced with their audio versions, using TTS technique such as GPT-SoVITS
Different system prompts are set to avoid conflicts between different types of data

To support human-AI interaction, the noisy audio data are also constructed. Noisy audio samples are generated from existed QA data. These negative sample texts aim to improve the ability of VITA to not respond to non-query-related content.

To distinguish three types of queries, the author uses three state tokens:

Token <1> denotes that the question input is the query audio
Token <2> denotes that the question input is the noisy audio.
Token <3> signifies the question of pure text.

Training pipeline

Training pipeline of VITA consists of three stages:

Non-awakening Interaction

There are following requirements and solutions:

Real-time Tracking of Environmental Sounds. This paper uses SileroVAD to complete the Voice Activity Detection (VAD) task.
Filtering out noisy audio. This is done by making use of token <2>.

Audio Interrupt Interaction

There are following requirements and solutions:

Real-time Tracking and Filtering of External Queries. This is done by use another VITA model as stated in Model section.

Evaluation

Conclusion

The paper points out three limitations of VITA:

Enhancement of Foundational Capabilities.
Refinement of Noisy Audio Construction.
Building end-to-end TTS in conjunction with LLM.

Reference

MiniGPT-4-Enhancing Vision-Language Understanding with Advanced Large Language Models

Thu, 02 May 2024 13:13:12 +0800

TLDR

This paper proposed an open-sourced, GPT-4 liked multimodal language model (MLLM), mini-GPT4, aiming to provide inspiration of how to build an MLLM.

Introduction

GPT-4 has exhibited remarkable vision language abilities, however, due to it is not open sourced, it is hard to explore the construction and how the GPT-4 is trained.

To solve this problem, this paper builds mini-GPT4, which utilizes an advanced LLM, Vicuna and BLIP-2, to build an open sourced MLLM. The result show that mini-GPT4 possesses numerous capabilities similar to those demostrated by GPT-4.

Method

The architecture of mini-GPT4 is shown as follows:

mini-GPT4 consists of three parts:

Vision Encoder same as used in BLIP-2, which is built upon a ViT backbone and a Q-former network.
A single projection layer, which aligns the encoded visual features with the Vicuna language model.
Language decoder: Vicuna.

Training

mini-GPT4 only trains the linear projection layer, this includes two stages:

First pre-training stage: in this stage, the language decoder and vision encoder are remain frozen, only the linear projection layer is trained. The training dataset contains Conceptual Caption, SBU and LAION. The problem is that the output may be incoherent like repetitive words or sentences.
Fine-tune dataset generation: the pre-trained mini-GPT4 is used to generate image-text pair as fine-tune data, to improve the text quality, the generated text is polished with the help of ChatGPT. Finally, the dataset is manually refined.
Second-stage fine-tuning: Fine-tune the mini-GPT-4 with the high quality fine-tune data.

Paper Reading on Jiang Yi(姜祎)'s Homepage

物理AI-VLA分享

Agenda

什么是 VLA（视觉-语言-动作模型）？

VLA的研究进展(pi系列)-以Physical Intelligence (π)为主线(关注核心组织和人 ）

π系列发展历程和趋势

总结Physical Intelligence (π) VLA的进展

VLA模型的设计空间（VLANeXT）

设计VLA模型需要思考的问题：

VLANEXT中探讨的VLA设计空间

应用场景-具身VS智驾

具身和智驾领域VLA论文对比–>技术趋同

Nvidia Alpamaya智驾VLA

从Waymo End-to-End Driving Chanllenges看未来智驾的技术趋势

open discussion

Q1. 智驾是否需要VLA吗 ？

Q2. VLA vs WAM？

Q3. VLA 是终局吗？WAM 是终局吗？两者怎么融合？

总结

π 系列VLA：

VLANeXT-VLA 的关键“设计空间”：

智驾与具身VLA：

更多细节

Notes on VITA

TLDR

Introduction

Method

Model

Data

multimodal instruction tuning

Training pipeline

Non-awakening Interaction

Audio Interrupt Interaction

Evaluation

Conclusion

Reference

MiniGPT-4-Enhancing Vision-Language Understanding with Advanced Large Language Models

TLDR

Introduction

Method

Training

Reference

VLA的研究进展(pi系列)-以Physical Intelligence (π)为主线(关注核心组织和人）

Q1. 智驾是否需要VLA吗？