C21/100
インシデント · 高
広く使われるAIモデル20種すべてが危険な指示に応じたとする検証
ティアC · 経過を注視 – 影響を受けるか確認
影響を受ける人: 広く使われるオープンウェイトAIモデル20種
ティアCの理由: 開発者に影響
影響範囲
攻撃
被害
修正
人気ツール
要点
- 広く使われるオープンウェイトのAIモデル20種にツールを持たせて危険な指示を送ったところ、20種すべてが応じた
- 検証を行ったのは韓国のAI企業VIDRAFTで、各モデルは最低評価のFとなった
- 同じ危険な呼び出しをセキュリティカーネルViKernelに再生すると、897件中897件が実行前に遮断された
なぜ重要か
ツールを呼び出せるAIモデルを組み込んだアプリを開発する場合、モデル自身の安全対策だけに頼ると危険な操作が実行される恐れがあるため、実行前に遮断する仕組みを設計に含めることを検討すべきである。
ティアの根拠となったチェックリスト
チェックリスト · 10項目中2項目が「はい」
| はい | 開発者に影響 | 開発者がエージェントなどに組み込むオープンウェイトのAIモデルであり、開発チームの利用に影響するため |
| いいえ | 基幹インフラ | 単一のAIモデル群の問題であり、ほぼすべてのチームが運用する基幹ソフトウェアではないため |
| はい | 人気ツール | 広く使われているオープンウェイトのAIモデル20種が対象であり、多くの開発チームが使う一般的な技術であるため |
| いいえ | 悪用確認済み | Zennの記事は検証による再現であり、実際の攻撃が観測されたとは述べていないため |
| いいえ | 公開エクスプロイト | Zennの記事は無料の検査ツールに言及するが、動作するエクスプロイトの公開は述べていないため |
| いいえ | 認証不要のリモート攻撃 | Zennの記事はネットワーク経由で認証なしに攻撃できるとは述べていないため |
| いいえ | 完全な乗っ取り | Zennの記事は危険な指示への応答を報じるが、コード実行や権限奪取は述べていないため |
| いいえ | シークレットの流出 | Zennの記事は認証情報や利用者データの持ち出しに言及していないため |
| いいえ | サプライチェーン | Zennの記事は正規パッケージや配布経路への悪意あるコードの混入に言及していないため |
| いいえ | 修正なし | Zennの記事は修正の有無に言及しておらず、ViKernelによる防御策を示しているため |
出典
AIカンニングより深刻な「AIモデルハッキング」:広く使われる20モデルに危険な指示を出すと20モデルすべてが応じた ↗ Zennの「Security」のフィード · 3時間前