研究
AI に書かせたテストは、どれだけ穴を見つけるのか。Claude Code・Codex・Gemini CLI のテストを変異テストで48回採点したら、95%以上を見抜き、仕様を渡すと点が下がった
要点
- AIが書いたテストの品質を変異テストで評価した検証である
- Claude Code・Codex・Gemini CLIのテストを48回採点し、95%以上の変異を見抜いたという
- 仕様を渡すとスコアが下がったとされる
なぜ重要か
AIが書いたテストは通ったことだけでは品質を保証できないため、変異テストでテストの穴を測る視点が実務で役立つ。仕様を渡した際にスコアが下がる点も、AIにテストを任せる際の確認事項になる。
影響を受ける人
- AIにテストを書かせている開発者
- テストの品質を測りたいチーム
- #テスト
- #変異テスト
- #生成AI
- #Claude Code
- #Gemini CLI
「AI がテストを書いて、全部通りました」。それで本当に確かめられているのかは、テストが通ったことだけでは分かりません。 11月9日の「AI「テスト通りました」← これ、本当? Stryker でテストの穴を塞いだ話」は、変異テストでこの穴を見つける方法を紹介し、11月17...