让 LLM 同时返回文字和结构化数据：用假 Tool Call 做 Side Channel

Wed, 08 Apr 2026 00:00:00 +0000

最近在做 AI Agent 的时候碰到一个很实际的问题：LLM 回复用户的时候，除了正常的文字，还需要同时返回一份结构化的 JSON 给前端渲染 UI 组件。

比如用户问"帮我分析一下这几个模板，推荐最适合的"，Agent 需要：

用文字解释推荐理由（给用户看）
同时返回一个结构化的推荐列表（给前端渲染可点选的卡片）

这两个东西必须在同一轮对话里出来。

直觉方案：让 LLM 在文本里嵌 JSON

最容易想到的办法是在 system prompt 里约束 LLM，让它在回复末尾加一段 JSON：

你的回复格式：
先用自然语言回答用户，然后在末尾用 ```json 代码块输出推荐数据...

这个方案能跑，但很脆弱：

你得写正则或者找分隔符从文本里提取 JSON
LLM 有时候会把 JSON 格式搞乱，多个反引号、漏个逗号
流式输出的时候更麻烦，你不知道 JSON 什么时候开始什么时候结束
prompt 越复杂，LLM 越容易忘记遵守格式

正经方案：三家 API 的 Structured Output

先看看三大 LLM 厂商怎么解决"让模型输出结构化数据"这个问题。

OpenAI 有原生的 response_format：

curl https://api.openai.com/v1/chat/completions \
  -d '{
    "model": "gpt-4o",
    "response_format": {
      "type": "json_schema",
      "json_schema": {
        "name": "recommendations",
        "strict": true,
        "schema": {
          "type": "object",
          "properties": {
            "items": {
              "type": "array",
              "items": {
                "type": "object",
                "properties": {
                  "title": {"type": "string"},
                  "reason": {"type": "string"}
                },
                "required": ["title", "reason"]
              }
            }
          },
          "required": ["items"]
        }
      }
    },
    "messages": [{"role": "user", "content": "推荐3个适合电商的工作流模板"}]
  }'

strict: true 保证输出 100% 符合 schema。

Tool Use on niuzj

让 LLM 同时返回文字和结构化数据：用假 Tool Call 做 Side Channel

直觉方案：让 LLM 在文本里嵌 JSON

正经方案：三家 API 的 Structured Output