# Web検索とMCPで同じ12問を解かせて、有報の数値で採点した：正解の固定と循環の扱い

出典: [Zennの「大規模言語モデル」のフィード](https://zenn.dev/tracer0tong/articles/0c92dbf0a49033) · 2026-11-16 · AI
ページ: https://themorning.dev/ja/story/web-mcp-12-589e7db1-2180040549a1d365
種類：研究 · 影響度：中

## 要点

- 日本の上場企業を複数社まとめて尋ねる12問を、Web検索のみのアシスタントAと、KabukenのMCPサーバーのみのアシスタントBに解かせて検証した
- 正解はEDINETの原本XBRL（64書類、364値）で裏付けた。Aは245中237の数値が一致したが、書類そのものは読んでおらず、書類IDを付けた数値は0だった。出どころは第三者サイト、ニュース、決算の要約だった
- BはMCP経由で253中253の数値が一致し、すべてに書類IDが付いていた

## なぜ重要か

LLMに財務数値を尋ねる機能を作る場合、数値が合っているかだけでなく、一次資料である有価証券報告書を参照して出典を示せるかを評価基準に入れる必要がある。MCPなどで原本データに接続する設計かどうかで、回答の検証可能性が大きく変わる。

## 報道

- [Web検索とMCPで同じ12問を解かせて、有報の数値で採点した：正解の固定と循環の扱い](https://zenn.dev/tracer0tong/articles/0c92dbf0a49033) — Zennの「大規模言語モデル」のフィード, 2026-11-16
- [LLM が答えた財務数値を有報で採点する：丸め・定義の違い・一覧の取りこぼし](https://qiita.com/tracer0tong/items/75d8a8ae7cad2a216a22) — LLMタグが付けられた新着記事 - Qiita, 2026-11-16

タグ: LLM, 有価証券報告書, MCP, 財務データ, 検証

---

このまとめは、「報道」に挙げた記事をもとにAI（claude-haiku-5-5）が生成したものです。見出しの権利は各発行元に帰属します。The Morning Dev – https://themorning.dev/ja
