Embodied Agents 研究能够感知环境并采取动作的 agent。它可以运行在机器人、游戏、GUI、模拟器或其他具有连续反馈的环境中,是从一般 Multimodal Agent 进入 World Model 和 physical interaction 的过渡模块。
Interaction Loop
observation
-> state estimation and memory
-> planning / policy
-> action
-> environment feedback
-> next observation核心问题
- observation 与真实 state 之间如何建立对应;
- language instruction 如何转换为可执行 action;
- agent 如何处理 partial observability、long horizon 和 failure recovery;
- World Model 如何辅助 imagination、planning 和 policy learning;
- 模拟环境中的能力能否迁移到真实环境。