日本
The Morning Dev

知っておくべきことだけを、毎朝

‹
 

研究ソース2件

Web検索とMCPで同じ12問を解かせて、有報の数値で採点した:正解の固定と循環の扱い

Zenn トレンド · 執筆:Yury Leonychev ·

Web検索とMCPで同じ12問を解かせて、有報の数値で採点した:正解の固定と循環の扱い

要点 · ソース2件をもとに作成

  • 日本の上場企業を複数社まとめて尋ねる12問を、Web検索のみのアシスタントAと、KabukenのMCPサーバーのみのアシスタントBに解かせて検証した
  • 正解はEDINETの原本XBRL(64書類、364値)で裏付けた。Aは245中237の数値が一致したが、書類そのものは読んでおらず、書類IDを付けた数値は0だった。出どころは第三者サイト、ニュース、決算の要約だった
  • BはMCP経由で253中253の数値が一致し、すべてに書類IDが付いていた

なぜ重要か

LLMに財務数値を尋ねる機能を作る場合、数値が合っているかだけでなく、一次資料である有価証券報告書を参照して出典を示せるかを評価基準に入れる必要がある。MCPなどで原本データに接続する設計かどうかで、回答の検証可能性が大きく変わる。

影響を受ける人

  • LLMで財務データや投資情報を扱うアプリを開発する人
  • 有価証券報告書やEDINETのデータを使ったツールを作る開発者

この記事の要点 日本の上場企業を複数社まとめて尋ねる12問を、同じ系統のモデルを使う2つのアシスタントに解かせました。アシスタントA(以下 A)は Web 検索のみ、アシスタントB(以下 B)は Kabuken の MCP サーバーのみです。 正解は回答を読む前に固定し、EDINET の原本 XBRL で裏付けました(64書類、364値、すべて一致)。 A は245中237の数値が一致。ただし書類そのものは読んでおらず、書類ID付きの数値は0(出どころは第三者のサイト、ニュース、決算の要約)。B は253中253が一致、すべて書類ID付き。…

タイムライン

  1. LLMタグが付けられた新着記事 - Qiita

    LLM が答えた財務数値を有報で採点する:丸め・定義の違い・一覧の取りこぼし

  2. Zennの「大規模言語モデル」のフィード

    Web検索とMCPで同じ12問を解かせて、有報の数値で採点した:正解の固定と循環の扱い

すべての報道 · ソース2件

この記事をどう思いますか?

コメント0件

    Web検索とMCPで同じ12問を解かせて、有報の数値で採点した:正解の固定と循環の扱い – The Morning Dev