Lab 04 - Multi-turn Tool Agent

Objective

运行一个最小 multi-turn tool Agent，导出完整 trajectory，并验证 assistant action、tool observation、mask、reward 和 termination 的边界。

Planned Trace

user query
  -> assistant tool call
  -> parsed arguments
  -> tool execution
  -> tool result
  -> assistant continuation
  -> final answer
  -> terminal reward

Required Artifacts

• raw messages and chat template output；
• token ids grouped by role and turn；
• attention_mask、response_mask 或等价 loss mask；
• tool latency、status 和 truncated response；
• trajectory reward and failure metadata；
• rollout/model version identifiers。

Source Anchors

• AgentLoop
• AgentLoop tutorial
• multi-turn config

Acceptance Criteria

• observation token 不产生 policy gradient；
• tool failure 和 normal termination 可区分；
• turn-by-turn tokenization 与完整 conversation tokenization 的差异可观测；
• 结果回填 11 Agentic RL Extension。