研究ソース2件
LLM が答えた財務数値を有報で採点する:丸め・定義の違い・一覧の取りこぼし
Qiita · 執筆:tracer0tong ·
要点 · ソース2件をもとに作成
- 日本の上場企業を複数社まとめて尋ねる12問を、Web検索のみのアシスタントAと、KabukenのMCPサーバーのみのアシスタントBに解かせて検証した
- 正解はEDINETの原本XBRL(64書類、364値)で裏付けた。Aは245中237の数値が一致したが、書類そのものは読んでおらず、書類IDを付けた数値は0だった。出どころは第三者サイト、ニュース、決算の要約だった
- BはMCP経由で253中253の数値が一致し、すべてに書類IDが付いていた
なぜ重要か
LLMに財務数値を尋ねる機能を作る場合、数値が合っているかだけでなく、一次資料である有価証券報告書を参照して出典を示せるかを評価基準に入れる必要がある。MCPなどで原本データに接続する設計かどうかで、回答の検証可能性が大きく変わる。
影響を受ける人
- LLMで財務データや投資情報を扱うアプリを開発する人
- 有価証券報告書やEDINETのデータを使ったツールを作る開発者
TL;DR LLM が答えた財務数値は「合っているか」だけでなく、「どの桁で書いたか」「どの定義か」「どこから取ったか」を分けて採点すると、失敗の中身が見えます。 複数社の一覧(スクリーニング)は、数値の一致とは別に、取りこぼし(再現率)で採点します。 実際に12問で試...
タイムライン
すべての報道 · ソース2件
- 2日前 ↗
Zennの「大規模言語モデル」のフィード
Web検索とMCPで同じ12問を解かせて、有報の数値で採点した:正解の固定と循環の扱い - 2日前 ↗
LLMタグが付けられた新着記事 - Qiita
LLM が答えた財務数値を有報で採点する:丸め・定義の違い・一覧の取りこぼし