Video on Jiang Yi(姜祎)'s Homepage

物理AI-VLA分享

Sat, 11 Apr 2026 14:36:45 +0800

Agenda

1️⃣ 什么是 VLA？
2️⃣ VLA 发展：以 π 系列做主线
3️⃣ VLA模型的设计空间：分享VLANeXt 论文中的思考
4️⃣ 智驾 vs 具身：共性与讨论

什么是 VLA（视觉-语言-动作模型）？

VLA 代表 Vision-Language-Action（视觉-语言-动作） VLA 的核心思想是利用多模态大模型（MLLM）的 world knowledge and reasoning capabilities，直接产生机器人的动作输出。

输入： 机器人的摄像头图像（Vision）,机器人自身状态(Robot State)和人类的文字指令（Language）。
处理： 基于强大的多模态大模型（MLLM）去理解场景和指令。
输出： 直接生成控制机器人关节或末端执行器的低级动作指令（Action）。

VLA 让机器人能够像人类一样，通过观察世界、听从指令，然后直接采取行动，打破了传统机器人需要复杂的手工编码和分层多子系统的限制。

VLA的研究进展(pi系列)-以Physical Intelligence (π)为主线(关注核心组织和人）

π系列发展历程和趋势

阶段	核心架构与技术特征	关键突破点
π₀ 2024-10	MoT (Mixture of Transformer) + Flow Matching	奠定了 VLA 多模态训练的基础，利用连续流匹配生成动作。
FAST 2025-01	Efficient Action Tokenization	引入离散动作标记，提升了实时的推理速度和执行效率。
π₀.₅ 2025-04	两者 action 建模结合混合任务训练层次化 VLM/VLA 架构	结合连续与离散建模，通过混合任务训练应对复杂、长程任务。
π₀.₆* 及后续 2025-11	RL + Memory + Agentic	引入强化学习、长期记忆与自主决策能力，向机器人智能体迈进。

总结Physical Intelligence (π) VLA的进展

阶段	时间	版本	核心技术方向
π系列第一阶段	2024-10 ~	π₀ / π₀-FAST / π₀.₅	Flow Matching、Efficient Action Tokenization、分层设计 VLM + VLA、混合任务训练
π系列第二阶段	2025-11 ~	π₀.₆* 及后续	RL、Memory、Agentic

VLA模型的设计空间（VLANeXT）

VLANeXT

设计VLA模型需要思考的问题：

action怎么生成，VLM直接输出还是额外action expert网络？
action训练方法，Flow matching，VAE还是DDIM？
VLM和action expert的怎么连接？
propriocetion 自身状态输入给VLM还是action expert
多相机数据怎么输入给VLA，相机标定的内外参信息怎么喂给模型？图像的时序信息怎么处理？
是否引入额外任务构建更稠密的loss？如预测下一帧图像，还是引入额外输出头？

VLANEXT中探讨的VLA设计空间

设计维度	决策组件 / 变量	设计选项 (Design Options)	实验结论摘要 (Ablation Insights)	最佳配方 (Final Recipe)
一、基础组件 (Foundational)	1. 策略模块设计 (Policy Architecture)	A. 复用文本Token B. 独立策略头（浅层） C. 深度策略网络（MetaQuery）	浅层或复用架构无法充分解耦感知与动作；MetaQuery 风格能更好处理复杂动作。	采用深度独立策略模块（16 query tokens + 12层 Transformer）
	2. 动作分块 (Action Chunking)	A. 单步预测（size=1） B. 多步预测（size=8）	预测未来多步动作显著提高动作平滑性和任务成功率。	预测多步动作（Chunk size = 8）
	3. 动作学习目标 (Action Objective)	A. 离散分类（Binning / VQ-VAE） B. 回归（Regression） C. 扩散 / 流匹配（DDIM / Flow）	离散化损失空间细节；连续建模（Flow Matching / 回归）表达力更强。	使用连续动作建模（优先 Flow Matching 或回归）
	4. VLM骨干容量 (VLM Backbone)	测试 LLaMA, PaliGemma, Qwen3-VL 等	骨干模型表征能力是基础，容量越大通常性能越好（需平衡资源）。	视算力选择最优开源骨干（如 Qwen3-VL）
	5. VLM-策略连接 (VLM-Policy Link)	A. 松散连接（Loose） B. 紧密连接（Tight） C. 软连接（Soft，引入 Query buffer）	软连接通过可学习 query 提供缓冲，适配性略优于紧密或松散耦合。	软连接策略（Soft Connection）
二、感知要素 (Perception)	6. 时序历史 (Temporal History)	A. 仅当前帧 B. 添加过去帧	添加过去帧反而降低性能，可能引入冗余或干扰信息。	避免冗余时序历史输入（专注当前帧）
	7. 相机视角 (Camera Views)	A. 单视角 B. 多视角（第三人称 + 腕部）	多视角提供更全面空间信息，显著提升空间感知与操作精度。	多视角输入（第三人称 + 腕部相机）
	8. 本体感觉注入 (Proprioception)	A. 无本体 state B. VLM端注入 C. 策略端注入 D. 双端注入	本体 state 对闭环控制至关重要；VLM端注入效果优于策略端。	本体 state 条件于 VLM 端注入
三、动作建模 (Action Modeling)	9. 世界建模辅助 (World Modeling)	引入未来帧预测目标（如 Emu3.5）	性能有提升，但训练成本增加约3倍，性价比低。	不纳入最终配方
	10. 时序预测视角 (Time-Series Perspective)	引入频域损失（DCT）	将动作视为时序预测问题，引入频域损失可低成本提升动作质量。	引入频域辅助损失（DCT）

应用场景-具身VS智驾

具身和智驾领域VLA论文对比–>技术趋同

技术方向	具身	智驾
action token	pi0-FAST、RT2、OpenVLA	AutoVLA
action expert（flow matching）	pi0	DriveMoE
action 建模两者结合 + 强化学习 RL	pi0.5、pi0.6*	Alpamaya
辅助 loss（3D 感知 / 世界模型 / 通才模型）	蚂蚁 LingBot-VLA	DriveVLA-W0 / EMMA

Nvidia Alpamaya智驾VLA

Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail

从Waymo End-to-End Driving Chanllenges看未来智驾的技术趋势

添加图片注释，不超过 140 字（可选） WOD-E2E: Waymo Open Dataset for End-to-End Driving in Challenging Long-tail Scenarios(https://arxiv.org/pdf/2510.26125)-4.4. Discussion of the Results

1.MLLM-based Model (VLA)的好处？->数据不易饱和
2.强化学习对E2E驾驶能力的提升？

open discussion

Q1. 智驾是否需要VLA吗？

a.智驾特殊场景和长尾场景是否需要Language，是否是帮助提升泛化性?
b.交互能力对于驾驶是否必须?驾驶需要需要遵循人类指令？
c. 推理CoT对于智驾这类实时性高的场景是否必须？怎么trade-off?

Q2. VLA vs WAM？

VLA (Vision-Language-Action, 视觉-语言-动作模型)
瓶颈： VLA 模型通常缺乏对物理世界的深刻理解（没有物理常识）。它只是学到了动作和图像之间的“统计映射”。

WAM (World Action Model, 世界动作模型)
核心思想： WAM 是建立在 World Model (世界模型) 之上的动作模型。世界模型的核心能力是“预测未来”。它学习物理世界的运作规律（例如，物体掉落会向下，水杯翻了水会流出）。当接收到指令和当前视觉时，WAM 不会直接生成动作。它首先利用其世界模型“想象”：如果我采取动作A，世界会变成什么样？采取动作B，世界又会变成什么样？通过在“想象”中模拟未来，WAM 可以选择最能达成目标的动作序列。 WAM 的优势：具有物理常识，具有“预测”和“规划”能力。

cosmos policy 添加图片注释，不超过 140 字（可选）添加图片注释，不超过 140 字（可选）

Q3. VLA 是终局吗？WAM 是终局吗？两者怎么融合？

添加图片注释，不超过 140 字（可选）

总结

π 系列VLA：

Physical Intelligence 的 π 系列 VLA 模型。π0，基于VLM+Action Expert架构，Flow matching结合流匹配技术，多步去噪生成aciton; π0.5,混合任务训练，采用两种action token建模方式，通过层次化 VLM+VLA 架构提高了复杂任务泛化能力；π0.6*及后续，引入强化学习与记忆，推动VLA模型具有自主规划能力的具身智能体（Agentic AI）演进。

VLANeXT-VLA 的关键“设计空间”：

VLA 模型的执行效率源自深度独立的策略网络、多步动作分块、以及频域辅助损失对连续动作建模的优化；最佳配方摒弃了降低性能的历史时序输入，专注于多视角感知和连续动作流预测。

智驾与具身VLA：

两者皆是 Physical AI的应用，模型设计上具有极高的技术重合度。讨论 VLA是否必须？VLA还是WAM两者技术路线？

Notes on Keye-VL 1.5

Thu, 11 Sep 2025 11:33:31 +0800

快手提出了 Keye-VL 1.5, 一个强调 reasoning, video understanding 的 8B 多模态大模型。作者提出了 slow-fast video encoding strategy 来提高模型的视频理解能力，作者通过在预训练和后训练提高了模型的长上下文能力和 reasoning 能力

Introduction

作者回顾了多模态大模型的进展，然后提到视频理解能力仍然是一个挑战。为了解决这个问题，作者提出了 Keye-VL-1.5, 一个 8B 的视频理解多模态大模型。

Keye-VL-1.5 主要做了三点改进：

在架构上，使用了 Slow-Fast Video Encoding
在预训练阶段，使用多个 stage 来提升模型的长上下文能力
在 post-training 阶段，提高模型的 reasoning 能力和 alignment 表现

Method

Architecture

Keye-VL 1.5 的架构与 Keye-VL 一致。

Keye-VL 1.5 主要做出的改进点为针对视频的 encoding 方式

作者回顾了已有 MLLM 处理视频的方式，比如 Qwen2.5-VL 使用 3D convolution 来 merge 相邻的两帧，Seed1.5-VL 采用了 Dynamic Frame-Resolution Sampling 技巧，来根据 budget 和处理的任务来动态调整采样率 (frame) 和每一帧的图片精度 (resolution)。

但是这些方法很难进行泛化。因此，作者在本文中就提出了 SlowFast video encoding stratrgy:

Slow Pathway: 空间信息丰富（high resolution），时间信息简略 (low number of frames)
Fast Pathway: 时间信息丰富（high number of frames），空间信息简略 (low resolution)

为了区分 slow/fast frames, 作者提出了一个基于 patch similarity 的 metric:

第一帧始终定义为 slow frame
接下来的每一帧，如果其和上一帧的相似度超过 $95\%$, 则定义为 fast frame; 反之则定义为 slow frame.

得到 slow/fast frames 之后，作者将 fast-frame 的 token budget 限制为 slow frame token budget 的 $30\%$ 来平衡时间信息以及空间信息。接下来，作者使用二分搜索来决定 slow frame 的 token budget. 为了区分 slow frame 和 fast frame 的 token, 作者使用了特殊的 token 来进行分离。

最终的处理结果如下图所示

Pre-training

预训练的数据和 Keye-VL 基本一致，我们主要介绍改进的点

对于 Image caption 数据，作者认为这批数据可能会损害模型的指令跟随和 reasoning 能力，因此作者对数据进行了增广，主要是调整了数据的格式：

QA, 数据格式为 <image, caption, [eos], question, answer>
reverse QA, 数据格式为 <image, question, answer, [eos], caption>
instruction following: 随机给一批数据作为输入，然后让模型基于特定 image 输出 caption

作者还构建了一个 trap question 来提高模型的 robustness 以及 faithfulness.

OCR 数据在 Keye-VL 的基础上加入了两点：

Structured Document and Code Understanding: 基于 markdown 和 HTML 等数据来获取 code OCR 数据
Instruction Following OCR: 基于特定指令进行 OCR

对于 grounding 数据，作者进一步加入了 temporal grounding 数据，作者首先使用 TEMPURA

来将短视频分割成若干个 video clips. 然后作者使用 SOTA MLLM 来过滤数据，最后作者基于 Gemini2.5 来生成对应的 QA.

预训练和 Keye-VL 一样，包含 3 个 stage

前两个 stage，作者将模型的上下文限制为 8K, 使用了 DP 和 Zero-2 来减少内存开销。在 stage 3, 作者将模型的上下文从 8K 扩展到 128K, 对应的 base frequency 从 1M 提升到 8M. 训练数据包括长视频，长文本和大规模图片。作者将优化策略调整为 Zero-1, CP 和 PP 来支持 long-context 的训练。训练时数据分布为 video:images:text=24:50:26.

Post-training

SFT 阶段使用了 7.5M 多模态 QA 样本进行训练。

MPO 阶段的数据相比 Keye-VL 有所减少，包含：

250K 开源样本
150K 纯文本数据
26K 人类标注数据

对于 reward model 的训练，作者使用了 SFT 和 RL 两个阶段。SFT 阶段的数据包括 R1-Reward 和 MMPR, 训练之后作者还是用比较短的 good response 来避免产生较长的回答

在 SFT 和 MPO 阶段之后，作者使用 LongCoT code-start 初步激活模型的 reasoning 能力。

作者构建了一个 5 部的自动化数据生成 pipeline, 如下图所示

步骤如下：

Multi-Source Data Collection and Enhancement：收集数据
Multi-Path Reasoning Generation with Confidence Quantification: 基于 confidence 来挑选数据
Comprehensive Two-Level Quality Assessment: 基于答案和过程的正确性来提高数据质量
Human-in-the-Loop Quality Enhancement: 对于中等质量的数据请人类进一步进行标注
Dynamic Quality Scoring and Data Utilization Strategy: 对数据进行打分，高质量数据进行上采样

接下来就是 General RL 过程。

对于通用的 RLVR 训练，作者使用了 GSPO 算法来进行训练。

在训练过程中，作者采取了 progressive hint sampling 方式，也就是提供不同程度的 hint 来提高模型的训练效率。作者将 hint 分为五个等级：

Level 1 (Concept / Observation)
Level 2 (Strategy / Method)
Level 3 (Tools / Formula)
Level 4 (Steps / Calculation)
Level 5 (Complete Solution)

来提供不同程度的辅助，作者使用 Keye-VL 1.5 来确定最小的 hint level, 然后基于这个 level 提供信息进行 RL 的训练

为了进一步提高模型的表现，作者采用了一个和 Seed1.5-VL 一样的迭代式训练策略，即反复进行 SFT 和 RL 来降低训练成本，提高训练效率。

最后，再通用 RL 阶段之后，作者加入了 alignment RL 的训练来进行对齐，reward 包括三个方面：

rule-based reward
generative reward
model-based reward

任务主要包括三个方面：

instruction following
format adherence
preference alignment

数据介绍如下：

instruction following:25 类硬约束，20 类软约束，数据包括 17K 多模态数据和 23K 纯文本数据，奖励包括 rule-based reward 和 generative reward
reasoning: 12K 数学和逻辑推理数据
RAG: 提高模型的搜索能力，作者使用 GSPO 算法进行训练

Experiments

模型表现如下

接下来作者进行了消融实验。

首先是不同训练阶段对模型表现的影响，如下图所示

实验结果显示，提高 SFT 训练数据可以有效提高模型在数学推理，逻辑推理和 OCR 任务上的表现。MPO 可以进一步提高模型的表现，Long CoT cold start 可以有效提高模型的 reasoning 表现。

作者还探究了 model merging 对模型表现的影响，作者首先基于 base model 和 OCR 数据训练得到 OCR expert, 然后进行 merge, 实验结果如下

实验结果显示，model merging 可以有效提高模型在 special domain 上的表现，并且还可以维持模型的通用能力

作者还发现：

expert model 训练时间过长会影响最终 merge model 的表现
expert mode 训练的学习率应该要设置比较小

接下来，作者探究了 alignment RL 对模型表现的影响，

实验结果说明，alignment RL 可以在保持模型 reasoning 能力的同时提高模型的指令跟随能力

作者还探究了 hint 对模型表现的影响，使用不同 level hint 进行训练对模型表现影响的结果如下图所示

实验结果显示，使用 high level 的 hint 可以有效提高模型输出的正确率。

最后作者探究了 rejection sampling 对模型表现的影响，实验结果如下图所示

结果发现，通过 rejection sampling，模型的表现有了进一步的提升。因此作者采用了 ST-RL-(RFT-SFT)-(RFT-RL) 的训练方式来进行训练

Conclusion

作者在本文中提出了 Keye-VL1.5, 一个强调 video understanding 和 reasoning 的 MLLM. Keye-VL 1.5 使用了 SlowFast video encoding strategy 来提高模型的效率和视频理解能力。作者详细介绍了模型的数据，训练和评估。

References

arxiv

Notes on ARC-Hunyuan-Video-7B

Tue, 12 Aug 2025 10:57:57 +0800

腾讯 ARC LAB 提出了 ARC-Hunyuan-Video-7B, 一个针对短视频理解和推理的视频多模态大模型。

Introduction

作者首先提出了 Structured video comprehension 的概念

the ability to decompose a video into its constituent events and narrative elements with temporal precision.

视频信息包含了 dense visual elements, 比如文字等信息，还有 rich audio streams, 比如音效，音乐，再就是 rapid narrative pacing, 用于强调情感。

已有的多模态大模型对于视频的细粒度理解和推理能力存在不足。尽管 Keye-VL 也是一个短视频理解多模态大模型，但是其并没有利用 audio 模态的信息。其他的 audio-visual LLM 虽然可以处理 audio 模态的信息，但是他们主要集中于通用场景的视频，这类视频的特点是：叙述节奏慢，信息密度低。因此，对于叙述节奏快，信息丰富的短视频，这些模型表现就比较差。

基于以上这些问题，作者提出了 ARC-Hunyuan-Video-7B, 一个基于 Hunyuan-7B vision-language model 的短视频多模态大模型，其主要做了两点改进：

加入了一个 audio encoder 用于提取 audio 信息，然后对 audio 信息与视觉信息进行同步
使用了一个 timestamp overlap 机制，将时间戳印在视频的帧上，帮助模型理解事件的时序信息

作者还涉及了多阶段的训练策略，来提高模型的表现。最后在测试时，对于一个 1 分钟的视频，模型在 H20 GPU 上进需要 10 秒就可以处理完毕。

Method

Architecture

模型基于 Hunyuan-7B-VLM 开发得到，

Visual Encoding: 作者将时间戳以 HH:MM:SS 的形式印在视频的帧上。视频的采样率为 1FPS, 超过 150s 的视频会进行均匀采样降低至 150s. 每一帧会 resize 到 $640\times 640$, 最后每一帧输出 112 token
Audio Encoding: 使用 Whisper 作为编码器。小于 300s 的视频，会按照 30s 为单位切分为不同的 chunk, 大于 300s 的视频，会分割为 150 个 chunk, 然后每个 chunk 只保留开头 2s 的内容。最后，使用 Whisper 进行特征提取，最后再通过 MLP 与 LLM 的特征空间进行对齐
Visual-audio Synchronization: 先对 audio token 进行 zero padding 与 Visual token 的个数进行对齐，然后将两者相加

Training

Pre-training

作者首先保住了一些数据。具体流程就是，使用 Whisper-v3 来转录带时间戳的音频，然后使用 InternVL-2.5-8B [[InternVL-2.5]] 来生成细粒度的 caption. 作者还使用 CoT prompt 策略，让模型一步步生成时间的描述，创作者的想法以及如何吸引用户的 tag 等。

预训练数据如下

Category	data
Video description and summary	4.5M short-form video 0.2M public video
Image caption and OCR	4.7M image-text pairs
ASR	3.2M audio-text pairs
Video temporal grounding	0.5M temporally grounding instances
Video multi-granular caption	50K high-quality samples 80K in-house videos

训练包含两个 stage:

Stage 1: 使用 ASR 数据训练模型接受音频输入的能力，为了避免视觉模态能力下降，作者还加入了 Image-text pair data 来训练，缺失的模态用 zero padding 来补齐
Stage 2: 使用全部数据进行训练，仅训练 MLP 和 LLM

Post-training

作者首先进行了消融实验，探究 human-annotated 数据对模型表现的影响。作者收集了 140 条人类标注的数据，然后基于这些数据进行消融实验：

直接使用人类标注数据进行 SFT, 模型表现变化不大
直接使用人类标注数据作为正样本，合成数据作为负样本进行 DPO, 模型表现变化也不大

作者分析原因认为，人类标注数据和合成数据之间存在 distribution shift.

受 DeepSeek-R1 启发，作者决定使用 GRPO 算法来提高模型的表现，训练任务包含两个：

multi-dimensional Multi-choide QA: 提高模型的视频理解能力
Temporal video grounding: 提高模型的时序感知能力

Stage	Data	Module	Description
SFT	MCQ: - 460K open-ended QA - 70K MCQA - 20K QA Grounding: - 10K academic - 5K real-world General: - 45K description - 12K caption	MLP+LLM	提高指令跟随能力
Cold Start SFT	- 90K MCQA - 18K temporal grounding - 20K open-ended QA - 15K summarization - 3K chapter-level captioning	MLP+LLM	初步激活模型的 reas 能力
RL	- 100K MCQ - 35K temporal grounding	LLM	提升模型的 reasoning 能力
SFT	- 25K human-annotated subjective question - 100K MCQ with CoT - 50K temporal grounding with reasoning traces	-	使用人类标注数据进一步提高模型的能力

Experiments

作者构建了一个评估短视频理解能力的 benchmark: ShortVid-Bench, 评估以下方面：

Temporal Reasoning and Localization
Affective Intent Classification
Creator Intent Taxonomy
Narrative Comprehension
Humor & Meme Deconstruction
Creative Innovation Analysis

对比的模型包括 Qwen2.5-VL-7B, Qwen2.5-omni-7B 和 Keye-VL-8B

评估结果如下：

Conclusion

作者提出了 ARC-Hunyuan-Video-7B, 一个针对短视频的视频理解多模态大模型。作者详细介绍了模型的架构，训练数据以及评估。

References

arxiv
Github

Notes on VITA

Tue, 13 Aug 2024 14:36:45 +0800

TLDR

This paper proposes a Multimodal Large Language Model VITA (Video, Image, Text, Audio). VITA supports non-awakening interaction and audio interruption for better interactive experience. VITA aims to be an open-sourced version of GPT-4o.

Introduction

Features of GPT-4o:

a unified framework that processes text, vision, and audio signals in an end-to-end manner,
the capability to enable natural multimodal human-computer interaction.

Similar to Mini-GPT4, this paper tries to proposed an open-sourced version of GPT-4o.

Method

Model

The architecture of VITA is shown as follows:

LLM: Mixtral $8\times 7$ B
Visual Encoder: InternViT-300M-448px
Audio Encoder: Mel Filter Bank block

To support audio interruption, the author uses two model at the same time, where the generation model is responsible for handling user queries and the other model monitors the environment. The other models starts to work is there is an audio interruption.

Data

multimodal instruction tuning

Training data of multimodal instruction tuning is given as follows:

Improvements are made:

The questions are randomly (about half) replaced with their audio versions, using TTS technique such as GPT-SoVITS
Different system prompts are set to avoid conflicts between different types of data

To support human-AI interaction, the noisy audio data are also constructed. Noisy audio samples are generated from existed QA data. These negative sample texts aim to improve the ability of VITA to not respond to non-query-related content.

To distinguish three types of queries, the author uses three state tokens:

Token <1> denotes that the question input is the query audio
Token <2> denotes that the question input is the noisy audio.
Token <3> signifies the question of pure text.

Training pipeline

Training pipeline of VITA consists of three stages:

Non-awakening Interaction

There are following requirements and solutions:

Real-time Tracking of Environmental Sounds. This paper uses SileroVAD to complete the Voice Activity Detection (VAD) task.
Filtering out noisy audio. This is done by making use of token <2>.

Audio Interrupt Interaction

There are following requirements and solutions:

Real-time Tracking and Filtering of External Queries. This is done by use another VITA model as stated in Model section.

Video on Jiang Yi(姜祎)'s Homepage

物理AI-VLA分享

Agenda

什么是 VLA（视觉-语言-动作模型）？

VLA的研究进展(pi系列)-以Physical Intelligence (π)为主线(关注核心组织和人 ）

π系列发展历程和趋势

总结Physical Intelligence (π) VLA的进展

VLA模型的设计空间（VLANeXT）

设计VLA模型需要思考的问题：

VLANEXT中探讨的VLA设计空间

应用场景-具身VS智驾

具身和智驾领域VLA论文对比–>技术趋同

Nvidia Alpamaya智驾VLA

从Waymo End-to-End Driving Chanllenges看未来智驾的技术趋势

open discussion

Q1. 智驾是否需要VLA吗 ？

Q2. VLA vs WAM？

Q3. VLA 是终局吗？WAM 是终局吗？两者怎么融合？

总结

π 系列VLA：

VLANeXT-VLA 的关键“设计空间”：

智驾与具身VLA：

更多细节

Notes on Keye-VL 1.5

Introduction

Method

Architecture

Pre-training

Post-training

Experiments

Conclusion

References

Notes on ARC-Hunyuan-Video-7B

Introduction

Method

Architecture

Training

Pre-training

Post-training

Experiments

Conclusion

References

Notes on VITA

TLDR

Introduction

Method

Model

Data

multimodal instruction tuning

Training pipeline

Non-awakening Interaction

Audio Interrupt Interaction

Evaluation

Conclusion

Reference

VLA的研究进展(pi系列)-以Physical Intelligence (π)为主线(关注核心组织和人）

Q1. 智驾是否需要VLA吗？