日本
The Morning Dev

知っておくべきことだけを、毎朝

‹
 

研究

AI に書かせたテストは、どれだけ穴を見つけるのか。Claude Code・Codex・Gemini CLI のテストを変異テストで48回採点したら、95%以上を見抜き、仕様を渡すと点が下がった

Qiita · 執筆:suwa_nobu ·

要点

  • AIが書いたテストの品質を変異テストで評価した検証である
  • Claude Code・Codex・Gemini CLIのテストを48回採点し、95%以上の変異を見抜いたという
  • 仕様を渡すとスコアが下がったとされる

なぜ重要か

AIが書いたテストは通ったことだけでは品質を保証できないため、変異テストでテストの穴を測る視点が実務で役立つ。仕様を渡した際にスコアが下がる点も、AIにテストを任せる際の確認事項になる。

影響を受ける人

  • AIにテストを書かせている開発者
  • テストの品質を測りたいチーム

「AI がテストを書いて、全部通りました」。それで本当に確かめられているのかは、テストが通ったことだけでは分かりません。 11月9日の「AI「テスト通りました」← これ、本当? Stryker でテストの穴を塞いだ話」は、変異テストでこの穴を見つける方法を紹介し、11月17...

タイムライン

  1. Stryker で変異テストによりテストの穴を塞ぐ方法を紹介した記事が公開される

  2. Claude Code・Codex・Gemini CLIのテストを変異テストで48回採点した結果が公開される

  3. Qiita - 人気の記事

    AI に書かせたテストは、どれだけ穴を見つけるのか。Claude Code・Codex・Gemini CLI のテストを変異テストで48回採点したら、95%以上を見抜き、仕様を渡すと点が下がった

この記事をどう思いますか?

コメント0件