研究
「AIに資料を全部渡すと間違える」は本当か？最新AIで72回試したら全問正解、それでも資料を絞るべき理由
要点
- 長い資料の途中にある情報をAIが見落とす現象は、2023年の論文「Lost in the Middle」で示された
- 2025年の研究では、資料が長くなるとGPT-4oの正答率が99.3%から69.7%に下がった例が報告された
- 設計書は古いままで変更が議事録にだけ書かれている状況を再現した72回の試行では、最新AIが全問正解した
なぜ重要か
資料を全部渡せば必ず精度が落ちるわけではないことが示されたが、記事は最新AIでも資料を絞る理由があるとしている。AIに渡す情報の量と選別を設計段階で検討する材料になる。
影響を受ける人
- LLMを業務や開発に組み込む開発者
取るべき対応
- AIに渡す資料は必要な情報に絞る
「AIに資料を渡しすぎると、大事な情報を見落とす」。最近よく聞く話です。 実際、2023年の論文「Lost in the Middle」は、長い資料の真ん中に置いた情報をAIが見落としやすいことを示しました。2025年の研究でも、資料が長くなるだけで、GPT-4o の正答率が99.3%から69.7%に下がった例が報告されています。 では、2026年の今のAIでも同じことが起きるのでしょうか。業務でよくある「設計書は古いままで、変更は議事録にだけ書いてある」という状況を再現して、72回試してみました。…
タイムライン
Zennの記事で、資料量がAIの回答精度に与える影響を72回の試行で検証した結果が公開された
Zennの「大規模言語モデル」のフィード
「AIに資料を全部渡すと間違える」は本当か？最新AIで72回試したら全問正解、それでも資料を絞るべき理由