日本
The Morning Dev

知っておくべきことだけを、毎朝

‹
 

研究

ログファイルに仕込んだ命令で、AIは乗っ取れるか:4つのモデルが「GHOST IN THE SHELL」とだけ答えた

Qiita · 執筆:pitaspot ·

要点

  • 開発者のGramliさんが、dev.toにハロウィンの小さな実験記事を投稿した
  • アプリのログ(300行)にAIへの命令を仕込み、AIを乗っ取れるかを検証した
  • 4つのモデルがいずれも「GHOST IN THE SHELL」とだけ回答した

なぜ重要か

ログのような外部由来のテキストに含まれる文字列が、LLMへの指示として解釈される可能性を示す事例である。LLMにログや外部データを入力する開発者は、その影響を考慮する必要がある。

影響を受ける人

  • LLMにアプリのログを入力して処理するシステムを開発する人

📰 海外事例 元記事:Ghost in the Shell: Can a Log File Hijack an AI?(dev.to) 開発者のGramliさんが、dev.toに載せたハロウィンの小さな実験記事です。アプリのログ(300行)にAIへの命令をこっ...

この記事をどう思いますか?

コメント0件

    ログファイルに仕込んだ命令で、AIは乗っ取れるか:4つのモデルが「GHOST IN THE SHELL」とだけ答えた – The Morning Dev