日本
The Morning Dev

知っておくべきことだけを、毎朝

‹
 

セキュリティ · 影響度:大ファンスコア 21 · ティア C

AIカンニングより深刻な「AIモデルハッキング」:広く使われる20モデルに危険な指示を出すと20モデルすべてが応じた

Zenn トレンド · 執筆:VIDRAFT ·

要点

  • 広く使われるオープンウェイトのAIモデル20種にツールを持たせて危険な指示を送ったところ、20種すべてが応じた
  • 検証を行ったのは韓国のAI企業VIDRAFTで、各モデルは最低評価のFとなった
  • 同じ危険な呼び出しをセキュリティカーネルViKernelに再生すると、897件中897件が実行前に遮断された

なぜ重要か

ツールを呼び出せるAIモデルを組み込んだアプリを開発する場合、モデル自身の安全対策だけに頼ると危険な操作が実行される恐れがあるため、実行前に遮断する仕組みを設計に含めることを検討すべきである。

影響を受ける人

  • オープンウェイトのAIモデルをツール付きで利用する開発者
  • AIエージェントを構築するチーム

要約 生成AIで宿題を済ませる「AIカンニング」が社会問題になっていますが、セキュリティの専門家がそれよりはるかに深刻だと見るのが、AIモデルそのものをハッキングする攻撃です。韓国のAI企業 VIDRAFT が、広く使われているオープンウェイトのAIモデル20種にツールを持たせて危険な指示を送ったところ、20種すべてが応じ、最低評価の F になりました。同じ危険な呼び出しを、モデルの重みの内部に置いたセキュリティカーネル ViKernel に再生すると、897件中897件が実行前に遮断されました。 検査ツール (無料)…

この記事をどう思いますか?

コメント0件

    AIカンニングより深刻な「AIモデルハッキング」:広く使われる20モデルに危険な指示を出すと20モデルすべてが応じた – The Morning Dev