法廷に潜む「見えない命令」：プロンプトインジェクションが突きつける司法の危機

我々エンジニアにとって、プロンプトインジェクションはもはや「脆弱性診断のテストケース」という枠組みを超え、現実社会の信頼基盤を揺るがす実弾と化している。コネティカット州の裁判所で起きた今回の事件は、単なる悪戯ではない。マシュー・エリオット氏が提出した書類に仕込まれた「3ポイントの白文字」は、人間には空白に見えるが、PDFを解析するAIにとっては明確な命令として機能する。これは、WebアプリケーションにおけるSQLインジェクションやクロスサイトスクリプティング（XSS）が、かつてWebの黎明期に引き起こした混乱を、AI時代にそのまま再現しているに過ぎない。

エリオット氏の行為は、裁判所という「言葉の誠実さ」が担保されるべき空間において、AIというブラックボックスを介した「密室の囁き」を強行した点に極めて悪質な技術的意図を感じる。判事が指摘した通り、裁判とは「読み手が見るものが、提出者が書いたものと同一である」という前提で成立している。この前提を、機械だけが解釈可能な隠しコマンドで破壊する行為は、システム開発の現場で言えば、コードレビューをすり抜けるバックドアを仕込む行為と何ら変わらない。彼が聴聞会で「監査だった」「冗談だった」と弁明したことは、技術的知見を持つ者から見れば、自身の攻撃が失敗した際の典型的な言い逃れに過ぎず、その稚拙さがかえって事態の深刻さを際立たせている。

特筆すべきは、この攻撃が「間接的プロンプトインジェクション」として機能しうる点だ。AIが裁判書類を要約・分析する際、その出力結果が裁判官の判断を左右する可能性がある以上、この攻撃は裁判官の思考プロセスをハックしようとする試みである。ブラジルの労働裁判所で発生した類似事案では、実際にAIツール「Galileu」が隠しテキストを検知し、弁護士らに約1万6000ドル（約255万円）の罰金が科された。この事実は、AIが「中立な第三者」として機能するためには、入力データのサニタイズ（無害化）という、我々がWeb開発で長年苦労してきた課題を、法廷文書という極めてアナログな領域でも解決しなければならないという皮肉な現実を突きつけている。

今回の制裁として、エリオット氏は電子書類提出の権限を剥奪され、すべて紙での提出を義務付けられた。これは、デジタル化が進む司法現場において、皮肉にも「アナログへの回帰」という最も原始的なセキュリティ対策が最強の防壁であることを証明している。しかし、我々エンジニアが明日から取るべき対策は、単なるアナログ回帰ではない。AIを業務フローに組み込む以上、入力されるドキュメントが「信頼できるソース」であるという前提を捨て、ゼロトラストの精神でAIの入力を検証するパイプラインを構築する必要がある。

以下の表は、今回の事件と関連するプロンプトインジェクションの脅威を整理したものである。

我々が直面しているのは、AIが「人間が認識する情報」と「機械が処理する情報」の乖離を悪用されるという、極めて構造的な脆弱性だ。履歴書に隠し命令を仕込む事例や、法廷書類での工作が相次ぐ現状を鑑みると、AIモデル側での防御（ガードレール）だけでは不十分であることは明白だ。ドキュメントの正規化、OCR処理時のメタデータ除去、あるいはAIが処理する前のテキスト抽出段階でのフィルタリングなど、多層的な防御策が求められている。特に、AIエージェントが自律的に外部情報を取得する環境では、この種の間接的インジェクションは、システム全体を乗っ取るためのトリガーになり得る。

最後に、読者であるエンジニア諸氏に問いたい。我々は、AIが生成する「もっともらしい嘘」に翻弄されるだけでなく、AIに入力される「悪意ある命令」を検知する責任を負う準備ができているだろうか。AIを導入する際、その出力の正確性ばかりを評価し、入力データの整合性やセキュリティを軽視していないか。技術の進歩が正義へのアクセスを広げる一方で、その技術を悪用する者とのいたちごっこは、今後さらに激化するだろう。あなたが設計するシステムにおいて、AIは「信頼できるパートナー」なのか、それとも「いつ裏切るかわからない不確定要素」なのか。その境界線を引くのは、他でもない我々エンジニアの設計思想である。