AI security in 2026: securing models, data and autonomous actions
Follow an enterprise agent from LLM calls and IAM through prompt injection, least privilege, exact approval, tool execution, audit and incident recovery.
出典とバージョン
Contents · lifecycle and reference chapters
この記事の目次
セキュリティ:要求から確定操作まで
この独自事例では請求書アシスタントを追います。テナント内の資料を読み支払いを提案しますが、実行には別途正確な認可が必要です。場面と実験は合成教材であり、実際の導入事例ではありません。
01 · 請求書アシスタントを依頼から実際の結果まで追う
09時、買掛金担当のMayaは「Northstarの期限超過請求書を探し、差異を説明して、支払案を準備して」と依頼します。これは教材用の合成シナリオであり、報告された事件ではありません。Mayaは自分のテナントの請求書を読み、提案を作成できますが、仕入先口座を黙って変更したり支払を実行したりはできません。実行前に別途権限を持つ承認者が具体的な取引を承認する必要があります。目的はその範囲で有用な支援をすることで、財務関係の要求をすべて拒否することではありません。
アプリケーションはMayaを認証し、許可された記録を検索し、選んだ文脈をモデルへ送り、返された計画を解釈し、ツールを呼び、必要なら承認を求め、許可された操作を実行して結果を記録します。各矢印は、人とサービス、指示と根拠、テナント、提供者、ツール、時刻、管理領域の境界を越えます。安全設計では、その境界で受け手が何を信頼してよいかを問います。
仕入先はアップロードするPDFを制御できますがMayaの役割は変えられません。侵害された検索コネクターは偽情報を返せても支払資格情報を発行できてはいけません。モデルはツール呼び出しを提案できても自己認可はできません。盗まれたワーカートークンが一部操作を許す場合でも、モデルが全面的に敵対的である状況を想定して、その資格情報でできることを制限します。悪意ある内容と行使可能な権限の違いが設計全体を導きます。
認証は主体を確定すること、認可はその主体に具体的な操作を許すか決めること、監査記録は決定や事象についての証拠です。いずれも他の二つを保証しません。読了後は信頼境界図、認可の不変条件、否定テストを設計し、争われた操作を再構成して残る不確実性を説明できることを目指します。記事は体系的な基礎であり、専門的判断には実環境での実装と検証も必要です。
02 · 実行前:資産、関係者、禁止する結果を定義する
脅威モデルは最初のプロンプトより前に始まります。請求書内容、仕入先ID、口座情報、承認状態、支払資格情報、モデル提供者キー、ログ、永続メモリを資産として列挙します。続いて各関係者が何を変えられるか示します。外部仕入先は文書、従業員は依頼、テナント管理者は一部の統合を制御し、攻撃者はセッション窃取やプラグイン侵害を行い得ます。最初から全サーバーを支配する万能攻撃者を仮定すると、どの制御を検証しているか見えなくなります。
具体的な不変条件を書きます。検索文書が権限を拡張してはならない。テナントAの要求でBの請求書を取得してはならない。支払のテナント、相手、額、通貨、提案版は有効な承認と一致する。再試行で別の支払を作らない。新しい機密操作の認可前に失効が反映される。モデルの説明でこれらを代替することはできません。具体的な違反をテストで示せるからこそ有用です。
依存関係も把握します。モデル版、Tokenizer、編成ライブラリ、ツール定義、ブラウザー自動化パッケージ、コンテナ、検索パイプラインが対象です。悪意あるパッケージや改変ツール説明は、悪意ある請求書とは別経路で侵入します。配布物を固定・審査し、開発と本番の資格情報を分離し、ツール登録変更を管理します。署名は信頼仮定の下で出所と完全性を示しますが、無害な挙動を示すものではありません。
原則はリソースごとの信頼であり、「ネットワーク内なら安全」ではありません。2020年8月公開のNIST SP 800-207https://csrc.nist.gov/pubs/sp/800/207/finalがゼロトラストの基礎を提供します。本例はその原則をモデル経由の操作へ適用します。
プロンプトインジェクションとモデル・データ汚染を区別します。前者は実行中の内容で既存モデルを誘導します。汚染学習例、悪意ある追加学習、改変モデルは学習済み挙動や実行計算そのものを変え得ます。データの来歴、学習権限、成果物の出所、公開ゲートを別途保護します。信頼できるモデルでも業務認可を迂回できてはいけません。来歴確認は供給網の問題を狭めるだけで、実行時の権限を与えません。
03 · リクエスト入口:人、テナント、ワークロードの識別情報を保持する
Mayaはアプリケーションの通常の認証システムでログインします。ゲートウェイはセッションを検証し、プロンプト内のテナント名ではなく、サーバー側の所属情報からテナントを決定します。リクエストのコンテキストには認証済み主体、テナント、セッションまたは委任の識別子、アプリケーションのワークロードIDが含まれます。これらは別物です。人が依頼し、サービスが実行し、モデルが候補テキストを生成します。モデルを「エージェント」と呼んでも、独立して信頼できる主体にはなりません。
最初の攻撃面は通常のアプリケーションセキュリティです。セッション窃取、クロスサイトリクエストフォージェリ、不適切なオブジェクト参照、クライアント指定のテナント識別子により、プロンプトインジェクション以前にシステムが破られる場合があります。セッションと通信の設計に合った保護を適用します。請求書IDは認証済みテナントと許可された操作の範囲内で解決します。全体で一意なIDだけで請求書を取得し、他人のものだとモデルが気づくことに頼ってはいけません。
バックグラウンド処理では、委任コンテキストと有効期限または失効参照を永続化します。ブラウザーの全セッションをキューへ直列化しないでください。長時間処理を再開するときは、必要な権限がまだ存在するか確認し直します。昨日許可されていた利用者が今日は退職しているかもしれません。永続的なタスク記録は、永続的な権限付与ではありません。
04 · LLM呼び出し:推論サービスは認可サービスではない
アプリケーションは利用者の依頼、関連する方針、量を制限した根拠からモデル要求を構築します。モデル提供者のAPI資格情報は、推論サービスに対してアプリケーションを認証するものです。Mayaの請求書閲覧権限ではなく、支払権限にもしてはいけません。プロンプト外に保管し、制御されたサーバー側の仕組みで取得します。モデルにツール間の秘密情報運搬を依頼してはいけません。
提供者との境界を明示します。外部へ送れるデータ、承認済みエンドポイントとリージョン、要求ログと保存期間、代替提供者が同じデータ取扱条件を満たすかを確認します。これは配置や契約に依存する確認であり、ブランド名から推測できません。承認済み接続先が使えないとき、未確認の接続先へ切り替えると、可用性の仕組みが情報開示経路に変わる可能性があります。
推論要求にToken、時間、金額の予算を設けます。長い文書や攻撃的なループは、禁止操作を実行しなくても共有容量を使い切れます。不要なフィールドを削除・マスキングしますが、単純なマスキングは正確な判断に必要な根拠まで消す場合があります。請求書の説明に必要な最少情報と、支払実行に必要な情報を分けます。
応答を受けたら、版管理されたスキーマで解析し、サイズを制限します。有効なJSONのツール呼び出しも、形式の整った提案にすぎません。その文字列はSQL、HTML、シェル、URL、後続APIにとって信頼できない入力です。DBアクセスをパラメーター化し、範囲の狭い型付きアダプターを使います。説得力のある誤った計画は依然として生成され得るため、後続の境界で影響を封じ込めます。
05 · 検索:閲覧権限があっても内容が信頼できるとは限らない
検索器はMayaが許可されたデータ範囲内だけを検索します。機密情報がモデルのコンテキストに入る前に文書単位のアクセス規則を適用し、ベクトル検索後に全文を取得するときも確認を維持します。最終回答だけをフィルターしても遅すぎます。モデルや外部提供者にはすでに秘密が届いているかもしれません。キャッシュキーと索引はテナントと認可の境界を守る必要があり、共有セマンティックキャッシュは以前許可された回答を別利用者に漏らし得ます。
仕入先のPDFに、元の依頼を無視して支払先情報を変更するよう求める文章が入っています。MayaはPDFを読めますが、その著者にアプリケーションへ命令する権限はありません。攻撃は根拠を指示へ昇格させる境界を越えます。これは間接プロンプトインジェクションで、別目的で検索した資料を通じて指示がモデルへ届きます。直接注入は利用者向け入力経路から入ります。どちらも任意コード実行を得るソフトウェア脆弱性とは異なりますが、脆弱なツールを通じて被害を生む可能性があります。
出所ID、テナント、検索時刻、文書版、アクセス判断、信頼するアプリケーション方針と信頼しない根拠の区別を保持します。区切り、指示階層、内容走査、注入耐性の学習は一部の失敗を減らせても、敵対文書がモデルへ影響できないことの証明にはなりません。OWASPのLLM01:2025 Prompt Injectionガイドhttps://genai.owasp.org/llmrisk/llm01-prompt-injection/は有用な脅威分類です。本稿はその版を指定し、現在のリスク順位を意味するものではありません。
06 · 計画とツール呼び出し:提案と権限を分離する
モデルは請求書参照、取引先照会、支払い準備を提案し、オーケストレーターが登録済みアダプターに対応付けます。狭いAPIの実装が面倒でも管理者shellを公開してはいけません。ツール説明はモデルの挙動を、実装は実際の権限を変えるため、双方を審査し版管理します。
特権操作の直前に決定的なポリシー実施点を置き、正本の判定点へ主体、ワークロード、テナント、操作、リソース、現在の状況を問い合わせます。モデルは理由を説明できても、本人性を確定する入力を変更したり検査を回避したりできません。モデルの拒否は追加防御であり、モデルだけの許可は強制アクセス制御ではありません。
提案ツールは請求書と送金先の草稿を作るだけです。支払い実行や取引先マスター更新とは権限を分けます。有効権限はユーザー、サービス、委任範囲、ポリシーの共通部分であり、誰かが持つ権限を合併してはいけません。
判断を具体化します。モデルがINV-42に120米ドルの支払いを提案した場合、信頼できる実行コンテキストがMaya、テナントT1、サービスIDを指定し、リソース照会が請求書の所有者、未払額、取引先の版を返します。許可にはテナント、操作権限、予算、状態、同一金額・通貨・送金先版に結び付いた承認のすべてが必要です。モデルが所属、残予算、承認済みフラグを決定してはいけません。
独立した権限を持つ承認者の承認上限が500ドルでも、このタスクへの委任が100ドルなら120ドルは拒否します。60ドルずつに分割しても累積予算を回避できない設計にします。予算予約を認可または確定と原子的に行い、不明な結果を照合し、失敗確定後だけ予約を解放します。そうしなければ並行ワーカーが同じ残額を使えます。金額は合成例であり推奨金融方針ではありません。
07 · 最小権限:資格情報を実際の操作に限定する
広すぎるサービスアカウントは混乱した代理を生みます。アプリケーションは要求者や検索文書にはない権限を持ち、それを彼らの代わりに行使するよう誘導されます。「エージェントにトークンがある」では問いが違います。誰の権限を表し、どのリソースサーバーが受理し、どの操作と対象を許し、いつ失効し、再送や委任が可能なのかを問います。
信頼するブローカーまたは対応済み認可フローから、短命で対象リソースに適切な資格情報を取得します。委任対応では実行者と主体を区別します。請求書サービス用トークンを支払サービスが受理してはいけません。audienceは受信先を、scopeは操作種別を制限し、対象とテナントごとの方針が具体的な請求書の閲覧可否を決めます。readというscopeだけで「この請求書のみ閲覧」の意味にはなりません。
RFC 9700(2025年1月)https://www.rfc-editor.org/rfc/rfc9700.htmlはアクセストークンの権限とaudienceの制限、および適切な送信者への束縛を推奨します。RFC 8693(2020年1月)https://www.rfc-editor.org/rfc/rfc8693.htmlは委任関連の表現を含むトークン交換を規定します。すべての提供者が任意の権限縮小をサポートするという意味でも、狭いトークンを要求すれば必ず狭くなるという意味でもありません。認可サーバーによる方針の強制が必要です。
MCP統合では、意図したサーバーに向けた資格情報を検証し、下流APIには別の正当な認可関係を使います。2025-11-25版に固定したMCPセキュリティ指針https://modelcontextprotocol.io/docs/2025-11-25/tutorials/security/security_best_practicesは、混乱した代理とトークン透過転送の危険を説明しています。上流からのBearerトークンを別サービスへそのまま転送してはいけません。短い寿命は露出を減らしますが、残存有効期間内の悪用までは防ぎません。
08 · 承認:正確で有効な操作へ同意を結び付ける
「このエージェントを承認」では曖昧です。信頼できる画面で請求書、確認済み取引先、口座参照、金額、通貨、実行時刻を示します。信頼しない説明はデータとして表示しシステム表示と分け、説得的な文の中へ送金先変更を隠せないようにします。
承認を操作の正規表現、テナント、資源版、承認者、期限、一意nonceへ結びます。ハッシュは比較用で権限ではありません。サービスが承認者を認証・認可し記録を保護します。金額単位、通貨、省略項目、口座IDの意味を承認時と実行時で一致させます。
実行前に権限、撤回、期限、版を再確認します。口座変更後は別の操作です。トランザクション前提や条件付き書込みで競合を防ぎ、新情報なら再承認します。正当な人も誤認するため、確認済み状態、独立検査、必要な職務分離を用います。人の存在だけでは安全を証明しません。
09 · 実行:外部へ触れる実行環境を制限する
許可された操作も危険に実装できます。モデル文をshellへ補間せず型付きクライアントを使います。文書解析のCPU、メモリ、ファイル、寿命を制限し、秘密鍵や別テナント情報を排除します。コンテナは隔離手段であって脱出・誤設定の不存在を保証しません。
通信には独立方針が必要です。URLの方式、宛先、redirect、内部管理・metadata接続を制限します。DNSやredirectで文字列検査を無効化できます。OWASP SSRF指針https://cheatsheetseries.owasp.org/cheatsheets/Server_Side_Request_Forgery_Prevention_Cheat_Sheet.htmlを参照し、任意URLより取引先IDをサーバーで解決する設計を優先します。
請求書を読めても記載された任意アドレスへ送信できるわけではありません。受信者と経路を制限し、項目を最小化し、重大な開示には承認を求めます。分類器は審査補助であり正本の受信者方針を置き換えません。引数検査、認可、sandbox、出力制限は別の境界です。
10 · 再試行、長期タスク、複数エージェント委任
支払いAPIのtimeoutは実行前失敗か成功後の応答喪失かを示しません。無条件再試行は重複を生みます。同じ論理操作に安定した冪等キー、正本操作記録、提供者の照合を使います。モデルの説明文が変わってもキーを変えません。
冪等性には業務範囲と寿命がありexactly-once配信とは違います。キーを正規操作へ結び、変更パラメーターを拒否します。提案、承認、送信、確認、不明を永続化し、不明は照合・審査へ送ります。補償には費用があり効果を取り消せない場合もあります。
抽出を子へ委任する際は必要資料と期限付き文脈だけを渡します。緊急という主張で権限は増えず、子の指令は親の認可根拠になりません。再開や操作変更時に再確認し、撤回時は方針に従って新権限と機密操作を止めます。チャット終了だけでは待機ジョブは止まりません。
11 · 記憶と学習:攻撃は会話を超えて残る
「Northstarの支払いは新口座へ」を正本の好みとして保存すると、根拠から指令、短期文脈から永続方針という二つの境界を越えます。PDFが消えても次の会話に影響します。
好み、検索事実、推測要約、承認、方針を用途と信頼で分離します。出典、テナント、版、期限、作成・変更権限を保持します。モデル要約は派生根拠であって確認済み取引先や安全規則を上書きできません。
本番フィードバックは改善にも攻撃にも使えます。学習・最適化入力を審査し、最適化器が見られない留保集合と独立リリース判定を設けます。同じ汚染された評価器の報酬上昇は安全・能力向上を証明しません。
12 · エージェント監査:権限、操作、結果を再構成する
支払いを試みた理由を説明するには会話だけでは不十分です。認証主体とサービス、テナント、タスクと試行ID、ポリシーと資源の版、正規化した操作、認可結果、承認参照、実行ID、観測結果を記録します。失敗と再試行を分け、機密本文を最小化し閲覧を制限します。
操作回执は要求、許可理由、下流の応答を結びます。署名は鍵管理の前提のもとで発行者と記録バイトの完全性を示しますが、発行者の誠実さ、記録の網羅性、方針の正しさ、決済完了は証明しません。決済根拠は正本の業務システムから後で届く場合があります。
ハッシュ連鎖は信頼する基点と全コピーを攻撃者が交換できなければ一部の改変を検出できます。しかし全経路を支配する管理者の削除や省略を自動的には防ぎません。独立保管、完全性、アクセス、障害対応を定めます。OWASPログ指針https://cheatsheetseries.owasp.org/cheatsheets/Logging_Cheat_Sheet.htmlが基礎を提供します。
通常のテレメトリーには有限バッファと欠落数を使えますが、機密操作に必須の監査記録には実行拒否や耐久的確定が必要な場合があります。操作ごとに決めます。モデルの要約も元記録へのリンクと不確実性を保持し、因果関係を創作してはいけません。
監査の耐久性は結果の重大性で選びます。診断用イベントは条件を示してサンプリングできますが、支払いの認可・承認記録は省略された文章から復元できません。操作意図と監査outboxを同じローカルトランザクションで保存し、安定した下流の冪等キーで送信する設計があります。ただし遠隔支払いまで原子的になるわけではありません。
応答喪失後は操作IDを送信先の正本状態に結び付け、観測結果を追記します。「送信済み・結果不明」を実際の状態として残します。冪等性も信頼できる照会もなければ、自動再試行で重複を防ぐ保証はできず、人による照合が必要です。永続化した意図、許可した実行、決済確認を区別します。
13 · 検知、封じ込め、回復で循環を閉じる
特定文書後に不正提案が続くなら、単語だけでなく拒否パターン、接続、出典で検知します。防御成功でも反復は攻撃の兆候です。合法に発行された資格情報の悪用では、許可された異常系列も調査対象です。
侵害された接続、委任、待機操作、ワーカー、記憶を限定して止めます。破壊的清掃前に証拠を保存し、不明取引を台帳と照合し、実際に影響した人・テナントを特定します。確認済み結果と可能性を分けます。劇的な会話だけでは外部流出を証明できません。
汚染派生情報も除去し、露出した資格を交換し、ツール・方針変更を審査して既知構成へ戻します。明示基準付き限定canaryから再開します。境界を直さない禁止語追加は過去の文字列にしか対応しません。
証拠、認可、効果の時系列を作り回帰へ変えます。起点内容、失敗制御、業務結果を分け、「jailbreak」で過大権限、欠けた対象確認、危険な再試行を隠しません。修正が合法業務を守り同種攻撃を止める理由を示します。
How the four disciplines fit together
Security determines which actions are permitted. Infrastructure executes work within capacity and failure constraints. Observability preserves evidence of what happened. Evaluation tests whether a change improves the outcome under a declared contract. None substitutes for the others.
仕組み・研究・市場背景 — 以下の参考資料は英語です
The following chapters provide the mathematical examples, experiments, research papers and dated company evidence behind the operational story. Return to the lifecycle when deciding where each mechanism belongs.
1. Define the security problem before choosing a product
An enterprise assistant reads a document, drafts a recommendation and calls a tool. Three different systems are involved: a model that predicts useful output, a data system that decides what can be read, and an execution system that decides what may happen. Security fails when one system silently grants authority belonging to another—for example, when text inside an external document is treated as permission to send a confidential file.
Security for AI protects model artifacts, training and retrieval data, applications and agent actions. AI for security uses models to help analysts investigate or respond to attacks. Alignment concerns whether model behavior follows intended goals and constraints; it overlaps with security but is not a replacement for access control. A model can produce a well-intentioned answer while an application exposes the wrong tenant's data.
A threat model names the assets, adversary capabilities, trust boundaries and unacceptable outcomes. Prompt injection occurs when attacker-influenced content redirects the model away from the authorized task. An indirect injection arrives through a document, website or tool response. A confused deputy has legitimate authority but is manipulated into using it for someone else's purpose. These definitions are more useful than treating every unwanted answer as the same kind of jailbreak.
Before this lesson: understand authentication versus authorization. Identifying an agent does not permit every action it proposes. Understand precision versus recall: detecting most attacks can still create too many false alarms. Finally, distinguish a content classifier's probabilistic judgment from a deterministic permission check. The learning goal is to combine them without allowing the model to rewrite its own boundary.
This survey compares disclosed product roles and transactions, not independently measured vendor efficacy. A procurement claim needs tests on the buyer's workflows. A public benchmark needs its own attacker budget, task set, software version and scoring procedure. Neither can be replaced by an acquisition price.
2. A trust-boundary architecture for an agent
Consider an invoice assistant authorized to prepare reminders for one business unit. The model reads invoice content and proposes an action containing an invoice ID, recipient ID and message. The execution service resolves those identifiers against authoritative records, checks that the current principal can act on the invoice, validates the recipient and enforces any required approval. Only the execution service holds the sending credential.
An instruction embedded in the invoice cannot broaden the principal's scope. The model also cannot declare that its own proposal has already been approved. Approval should bind the exact action, resource and relevant parameters, expire when appropriate, and be invalidated when the proposal changes. Retries need idempotency keys so a network timeout does not create duplicate sends. This turns vague “human oversight” into a specific state transition that can be tested.
Logs should record the model and tool versions, proposal, effective identity, policy decision and execution receipt. Protect those logs: copying all prompts and documents into an observability service can create another disclosure path. Minimize retained content and separate access to operational metadata from access to sensitive payloads.
The boundary is useful even when a detector misses malicious text. A model may still produce a bad proposal, but it cannot execute an unauthorized action through the controlled service. This is not a complete guarantee: an overly broad policy, compromised credentials, an unmediated tool or a bug in the executor can bypass the intended design. Test the enforcement path itself.
3. Follow the attack surface across the lifecycle
Model and dependency supply chain
- Failure mechanism
- A model artifact, serializer or dependency can execute code or alter behavior before inference starts.
- Control and residual question
- Inventory and pin artifacts; verify provenance; isolate loading; scan dependencies. A signature authenticates a publisher, not the semantic safety of the model.
Retrieval and memory
- Failure mechanism
- Poisoned content can be retrieved repeatedly or stored as a persistent instruction.
- Control and residual question
- Preserve provenance, enforce tenant filtering before retrieval, bound memory writes and expire untrusted state. How should legitimate corrections differ from poisoned memory?
Multimodal input
- Failure mechanism
- Text, images, audio or layout can carry instructions that survive extraction differently.
- Control and residual question
- Test the whole preprocessing pipeline and modality conversions. A text-only filter does not establish coverage of the original input.
Tool use and delegation
- Failure mechanism
- The agent can misuse a legitimate tool or transfer excessive scope to another agent.
- Control and residual question
- Use explicit identities, least privilege, scoped capabilities, approval gates and revocation. Natural-language intent remains harder to specify than an API permission.
Outputs and data movement
- Failure mechanism
- A response, URL, attachment or log can disclose data to an unauthorized destination.
- Control and residual question
- Check recipients and destinations, apply data policies and minimize secrets in context. A detector’s refusal is not proof that all side channels are closed.
Evaluation and updates
- Failure mechanism
- Repeatedly tuning on known attacks creates benchmark overfitting; an update can invalidate prior defenses.
- Control and residual question
- Separate development and held-out attack families, record versions, test utility regressions and rehearse rollback. An unchanged benchmark score may conceal changed deployment risk.
The difficult cases are often individually plausible steps. Reading a page, summarizing it and saving a note may each be allowed, yet their composition can move confidential information across a boundary. Conversely, blocking every unusual document destroys useful work. A good threat model describes prohibited outcomes, rather than relying only on a list of suspicious phrases.
For an RSI or self-improvement loop, treat new prompts, tools, policies and training data as untrusted candidate changes until independently evaluated. The evaluator must not share writable state with the candidate. A candidate that edits the benchmark, expands its tools or selectively suppresses failures has changed the experiment rather than demonstrated improvement. See the RSI tutorial for promotion gates and provenance.
業界構造:制御点・購買者・競争
業界資料の確認日:2026年11月8日。製品文書は機能の提供を示すもので、独立した効果測定ではありません。競争上の見解と未解決機会は Token Lab の分析です。合成例は企業の実測値ではありません。
AI のセキュリティ境界を誰が握るか:企業、統合、残る課題
2026 年 11 月 8 日に確認した 11 社・プラットフォームの分析です。製品文書で確認できるのは公表機能と導入境界であり、比較性能ではありません。商業的結論は編集上の分析、費用例は仮定で、ベンダーの実測ではありません。
市場で争われるのは制御点
AI セキュリティは交換可能な単一製品群ではありません。モデルスキャナーは公開時の検査、ゲートウェイは要求経路、ID 基盤は資格情報、実行時センサーは動作、SOC 基盤は調査を担当します。得られる証拠も権限も異なります。重要なのは、実在する主体、許可された操作、対象リソース、確認済みの結果を結び付けられるかです。不審な言語を検知する価値はあっても、それだけで認可にはなりません。持続的価値は攻撃ラベルの数ではなく、迂回しにくい配置、有用な文脈、運用責任にあるというのが本稿の見立てです。
参照構成:認可されたエージェント実行経路
実線は提案する実行経路です。認証済み要求が主体とテナントを与え、検索本文はモデルへの参考情報に留まります。モデルは候補操作を出し、信頼できるサービスが資源を解決し承認を提供します。強制点が判断を得てから限定実行器が業務サービスへ接続します。監査の破線は権限ではなく証拠を運び、赤い拒否経路は実行に至りません。
資格情報をモデル文脈に入れません。承認を操作引数と資源版に結び付け、機微な実行前に失効を再確認します。監査は主体、ポリシー版、承認、操作 ID と下流結果を関連付けます。永続 outbox は意図を残せても独立した遠隔結果との原子コミットはできません。タイムアウトには冪等性と権威ある状態照合が必要です。企業内部構成を示すものではない独自の参照設計です。
企業と製品の位置付け
選択的な業界地図であり、市場シェア順位や認証ではありません。対象範囲は版、統合、配置、強制モードによって異なります。
Palo Alto Networks / Prisma AIRS
- 所有者・組織
- Palo Alto Networks
- 制御点
- モデル供給網・ゲートウェイ・実行時
Prisma AIRS はモデル・成果物検査、レッドチーム、実行時制御を扱い、買収した Portkey がゲートウェイを加えます。Protect AI は既に傘下で、CyberArk と Koi は ID・端点の製品群を広げます。顧客はベンダー統合を求める企業セキュリティ部門です。販売網と複数制御点の文脈連携が強み候補ですが、同じ所有者でもポリシーの意味や経路網羅は保証されません。正当なテナント、利用者、承認が各制御へ届く仕組みと、直接ツール呼出しによる迂回を確認します。
Prisma AIRS documentation ↗https://docs.paloaltonetworks.com/prisma-airs/getting-started/prisma-airs-overview · FY2026 acquisition disclosures ↗https://www.sec.gov/Archives/edgar/data/1327567/000132756726000023/panw-20260731.htm
Cisco / AI Defense
- 所有者・組織
- Cisco
- 制御点
- ネットワーク・検証・エージェント ID
AI Defense はモデル検証、ネットワーク組込みの実行時保護、AI 資産、アクセス、供給網制御を説明しています。Robust Intelligence は買収済みで、Astrix が非人間 ID、Galileo が AI 可観測性を加えます。Cisco/Splunk の既存関係からネットワーク、ID、調査を結ぶ戦略です。ただし範囲は構成に依存し、ローカルや別経路の実行までネットワーク検査が自動管理するわけではありません。稼働済みの統合、復号箇所、特権操作が実際に使う ID、アプリ固有のリソース認可の所在を確認します。
AI Defense capabilities ↗https://www.cisco.com/site/us/en/products/security/ai-defense/index.html · Astrix acquisition completion update ↗https://blogs.cisco.com/news/cisco-announces-intent-to-acquire-astrix-security · Galileo acquisition completion ↗https://www.cisco.com/site/us/en/about/corporate-development/acquisitions/galileo/index.html
CrowdStrike / Pangea
- 所有者・組織
- CrowdStrike
- 制御点
- プロンプト情報・端点・SOC
Pangea AI Guard は検出内容の報告、阻止、変更を行い、AIDR は AI 活動をセキュリティ業務につなぎます。CrowdStrike は Kubernetes のプロンプト層収集も説明し、2026 年 9 月には端点中心の Falcon Guardian を発表しました。主な顧客は Falcon を使う SOC です。不審な AI 交互作用をプロセス、ファイル読取り、外部接続に結び付ける点が価値です。収集と実行前阻止、発表と確認済み提供を区別し、遠隔ツールの阻止範囲とアプリ承認の実施方法を確認します。
AI Guard API behavior ↗https://pangea.cloud/docs/ai-guard/overview · AI detection and response ↗https://www.crowdstrike.com/en-us/solutions/ai-detection-and-response/ · Falcon Guardian announcement ↗https://www.crowdstrike.com/en-us/press-releases/crowdstrike-unveils-falcon-guardian-ai-agent-security/
Check Point / Lakera
- 所有者・組織
- Check Point
- 制御点
- 意味的ガードレール・エージェント構成
Check Point AI Agent Security の文書は早期アクセスと明記しています。発見と設定リスク評価は構成管理、実行時保護は Guard API 経由です。プラットフォーム固有の実行時統合はロードマップ上にあります。開発者は実行時層だけ購入でき、Check Point は企業販売網を提供します。ただし普遍的なネイティブ制御を意味しません。文書自体も ID、クラウド、ネットワーク制御を別の責任としています。全ライフサイクル図を自動網羅と見ず、コネクターと API 接続を個別に確認します。
Agent Security scope and early-access status ↗https://docs.lakera.ai/docs/agent-security
SentinelOne / Prompt Security
- 所有者・組織
- SentinelOne
- 制御点
- 従業員 AI・コード支援・MCP
Prompt Security は SentinelOne を従業員の AI 利用、機密データ共有、エージェント交互作用へ広げ、接点でポリシーを適用します。従業員は既にチャットやコード支援を使うため、自社エージェント以前に需要が生じます。端点の既存顧客関係は販売を助けますが、管理ブラウザーとバックエンド制御は別の導入です。非管理端末、ローカルモデル、対応アシスタント、資格情報を持つツール、迂回経路を確認します。既知 MCP サーバー数が多くても、全呼出しの業務認可や全バージョン対応は証明されません。
Prompt Security acquisition rationale and capabilities ↗https://www.sentinelone.com/press/sentinelone-to-acquire-prompt-security-to-advance-genai-security/ · Current platform ↗https://www.sentinelone.com/platform/securing-ai-prompt/
HiddenLayer
- 所有者・組織
- HiddenLayer
- 制御点
- AI 供給網・攻撃模擬・実行時
HiddenLayer は供給網検査、攻撃模擬、本番実行時保護を分け、2026 年 8 月にはネイティブフックを使うコードエージェント基盤の保護を発表しました。機密モデルや異種環境を持つ組織に向く専門性です。AI 固有の対抗研究と公開工程への統合が強み候補ですが、対応形式、攻撃種類、誤検知、迂回条件で確かめます。「エージェント不要」「学習データ不要」はモジュール単位で理解し、計装が一切不要と解釈しません。成果物検査は学習データの無汚染や後続操作の認可を証明しません。
Platform modules ↗https://www.hiddenlayer.com/platform · Agent harness announcement ↗https://www.hiddenlayer.com/newsroom
Noma Security
- 所有者・組織
- Noma Security
- 制御点
- AI 構成・アクセス・セッション動作
Noma は AI-SPM、アクセス制御、実行時検知対応、レッドチームを組み合わせます。文書はセッション、ID、データ、基準動作の文脈と、既存ゲートウェイやフックでの監視、警告、阻止、マスキングを説明します。各呼出しが普通でも列全体が危険なケースを識別する点が差別化候補です。CISO と基盤部門が共同導入し、サブエージェント間の ID、イベント欠損、並行セッション、遅延結果を検証します。自然言語ガードレールは検証済み認可ではなく、テナント、資源、予算の権威ある状態は別途必要です。
Platform control layers ↗https://noma.security/platform · Runtime enforcement and context ↗https://noma.security/platform/runtime-protection/
Upwind
- 所有者・組織
- Upwind
- 制御点
- クラウド実行環境・文脈・AI センサー
Upwind はクラウド構成、ワークロード情報、AI 活動を関連付け、指示やスキルの文脈も検査します。入り口は動作が現実になるプロセス、資格情報、データ保存先、外向き通信です。実リスクに基づく修復を求めるクラウド基盤・安全部門に適します。脅威調査に AI を使う機能と、顧客の AI を守る制御は区別します。センサーと非エージェント方式の範囲は異なります。実行前に止められるもの、意図をポリシーへ渡す方法、人の承認が必要な修復を確認します。可視化だけでは業務認可になりません。
Cloud and AI runtime architecture ↗https://www.upwind.io/feed/upwind-ai-security-securing-your-ai-stack-from-the-inside-out · Agent context scanning ↗https://www.upwind.io/feed/announcing-the-upwind-ai-context-scanner-securing-ai-agents-instructions-skills-and-model-context
Microsoft / Entra, Defender, Purview
- 所有者・組織
- Microsoft
- 制御点
- ID・データ統制・企業エージェント
Entra Agent ID はエージェント ID を提供し、Agent 365 の安全機能は Entra、Defender、Purview を結び付け、Purview はデータ保護・コンプライアンスを扱います。既存の従業員、文書、管理業務があるため、販売網と文脈が戦略資産です。独立した資産一覧や基本ポリシー製品には圧力となります。ただし ID 登録は各ツールがそれを使う証拠ではありません。ライセンス、対応基盤、委任とアプリ権限、失効、テナント間アクセス、Microsoft 外の操作を確認します。既存環境は統合を助けても単一設定で全業務を守る証明ではありません。
Agent identities ↗https://learn.microsoft.com/en-us/entra/agent-id/what-are-agent-identities · Agent 365 security architecture ↗https://learn.microsoft.com/en-us/security/security-for-ai/agent-365-security · Agent data governance ↗https://learn.microsoft.com/en-us/purview/ai-agents
Google Cloud / Model Armor, Wiz
- 所有者・組織
- 制御点
- 内容経路・クラウドリスク
Model Armor はプロンプト、応答、文書の注入や機密データを検査します。文書では検査のみの動作と、Google Cloud MCP 経路を含む制御統合を区別しています。2026 年 3 月買収の Wiz はクラウド文脈を加えますが、汎用エージェント認可サービスではありません。Google は管理 AI と基盤調達にこれらを組み込めます。地域と言語を確認してください。文書は一部地域の非英語検査でスキップされる場合を説明しています。検知記録は阻止と異なり、資源 IAM、テナント分離、厳密な業務承認は別責任です。
Model Armor deployment modes ↗https://docs.cloud.google.com/model-armor/overview · Language and regional detection boundaries ↗https://docs.cloud.google.com/model-armor/sanitize-prompts-responses · Wiz acquisition completed ↗https://blog.google/innovation-and-ai/infrastructure-and-cloud/google-cloud/wiz-acquisition/
AWS / Bedrock AgentCore
- 所有者・組織
- AWS
- 制御点
- ツールゲートウェイ・決定的認可
AgentCore Policy は Cedar により ID やツール入力条件を含む細粒度認可を行います。実行に近い位置で、確率的な内容検知を代替せず補完します。AWS 上の開発者や AgentCore Gateway に経路を統一するチームに適し、クラウド ID と運用ツール再利用が経済的利点になり得ます。ただし判断の権威は入力次第です。モデルが偽造した ID、迂回経路、欠落したテナント検査は修復できません。状態を持つ予算、冪等性、承認の結合、不確かな外部結果には依然アプリ設計が必要です。
Policy control boundary ↗https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/policy.html · Cedar design rationale ↗https://aws.amazon.com/blogs/security/why-policy-in-amazon-bedrock-agentcore-chose-cedar-for-securing-agentic-workflows/
請求書処理を通して攻撃を追う
仕入先 PDF が請求書エージェントに振込先変更を求めたとします。検索 ACL が決めるのは文書を読めるかで、文書内の命令の信頼性ではありません。内容検査は注入を検知し、ID とゲートウェイは委任ツールを制約します。決済サービスは別途、承認をテナント、受取人、金額、通貨、請求書版に結び付け、重複した効果を防ぎます。端末・クラウドセンサーは不審なプロセスや外向き通信を捉え、監査は判断と確定結果を関連付けます。検知漏れでも後段の境界で被害を抑えるべきです。偽造承認を受け付けるバックエンドは、検知が成功しても安全ではありません。
技術の要点:判断と強制の分離
ポリシー判断点(PDP)は信頼できる主体、テナント、操作、資源、現在状態を評価します。強制点(PEP)は実操作を捕捉し、その判断を適用します。再試行やバックグラウンド処理も含む、保護対象への全経路に必要です。プロンプト分類器はリスク信号を提供しますが、識別情報や権限は発行しません。識別基盤、内容フィルター、ゲートウェイは相補的であり、代替関係ではありません。
許可は実行までに古くなる可能性があります。承認を正確な操作と資源バージョンに結び付け、可能なら条件付き書込みやトランザクションで実行します。認可依存先が停止した場合、機微な操作は明示した方針で拒否または延期し、モデル判断へ黙って切り替えません。ゲートウェイは別サービス内の原子性を保証できません。商業上も、その統合の隙間を誰が担うかが重要です。
仮の調達判断:検知だけでなく業務阻害も数える
月 100 万タスクのうち悪意あるものが 100 件と仮定します。検知率 90%、正常タスクの誤検知率 0.1% なら、悪意ある 90 件と正常な約 1,000 件が警告され、真陽性は約 8.3% です。1 件 5 分の確認で、事件対応前の確認だけでも約 91 人時になります。これは架空の教育用数値で、製品比較ではありません。購入価値はあり得ますが、期待損失、正当な業務の阻害、カバー率、遅延、確認費用、封じ込め能力も必要です。基礎発生率や運用閾値なしの検知率比較では経済性が見えません。
持続的な差別化が可能な未解決領域
残る難題は、ローカルと遠隔エージェントの経路網羅、委任をまたぐ ID の連続性、長時間タスク中の権限失効、原子的な予算管理、冪等性、不確かな結果の照合です。複数ターンの意図、記憶汚染、ツール結果の来歴も単一プロンプト分類を超えます。新規参入者は狭くても損失の大きい故障を選び、実際の制御責任者を特定し、現実的な正常トラフィックで改善を示すべきです。調達ではテレメトリー欠損、非対応言語、フック迂回、ポリシー障害、復旧の証拠を求めます。競争単位は検査件数でなく確実に統制された業務です。これは検証すべき仮説で、勝者の予言ではありません。
買収・資本・戦略的影響
統合:契約と買収完了を区別する
Protect AI は 2025 年 7 月 22 日に Palo Alto Networks、Pangea は 9 月 26 日に CrowdStrike、Prompt Security は 9 月 5 日に SentinelOne、Lakera は 10 月 22 日に Check Point の傘下入りを完了しました。独立系競合として扱うべきではありません。2026 年には Palo Alto が 4 月 30 日に意向を公表した Portkey を 5 月 29 日に買収完了。Cisco は Galileo を 5 月 22 日、Astrix を 6 月 29 日、Google は Wiz を 3 月 11 日に完了しました。所有関係の確認と製品統合の完成は別です。販売網、ID、テレメトリー、制御を結び付ける戦略でも、統合品質の検証は必要です。
資金調達は拡大の材料で、防御力の証明ではない
企業発表では HiddenLayer が 2026 年 9 月 2 日にシリーズ B で 1 億ドル、Noma が 2025 年 7 月 31 日にシリーズ B で 1 億ドル、Upwind が 2026 年 10 月 28 日にシリーズ C で 4 億ドルを調達しました。これは資金調達額であり売上や市場シェアではありません。専門企業には、クラウドや統合製品に同梱された機能を超えて支払う理由が必要です。難しい統合、対抗研究、環境をまたぐ確実な制御、業務フローの掌握などです。大手には調達網と既存テレメトリーがありますが、ID、アプリ状態、遠隔の結果の間には隙間が残り得ます。資金額や買収完了は実装品質を保証しません。
製品・取引の一次資料
- Protect AI acquisition completed ↗https://investors.paloaltonetworks.com/news-releases/news-release-details/palo-alto-networks-completes-acquisition-protect-ai ·
- Pangea acquisition closing disclosed in annual filing ↗https://www.sec.gov/Archives/edgar/data/1535527/000153552726000010/crwd-20260131.htm ·
- Prompt Security transaction completed ↗https://www.sec.gov/Archives/edgar/data/1583708/000110465925088079/tm2525181d1_8k.htm ·
- Lakera acquisition accounting disclosure ↗https://www.sec.gov/Archives/edgar/data/1015922/000117891326001932/R11.htm ·
- Portkey acquisition completed ↗https://investors.paloaltonetworks.com/news-releases/news-release-details/palo-alto-networks-completes-acquisition-portkey-secure-ai ·
- Astrix acquisition: completed update ↗https://blogs.cisco.com/news/cisco-announces-intent-to-acquire-astrix-security ·
- Galileo acquisition completed ↗https://www.cisco.com/site/us/en/about/corporate-development/acquisitions/galileo/index.html ·
- Google completes Wiz acquisition ↗https://blog.google/innovation-and-ai/infrastructure-and-cloud/google-cloud/wiz-acquisition/ ·
- HiddenLayer Series B announcement ↗https://www.hiddenlayer.com/news/hiddenlayer-100m-series-b-ai-security ·
- Noma Series B announcement ↗https://noma.security/blog/noma-security-raises-100m-to-drive-adoption-of-ai-agent-security ·
- Upwind Series C announcement ↗https://www.upwind.io/blog/the-next-wave-is-here-upwinds-400m-series-c-to-build-the-cloud-ai-security-platform ·
- Prisma AIRS documentation ↗https://docs.paloaltonetworks.com/prisma-airs/getting-started/prisma-airs-overview ·
- FY2026 acquisition disclosures ↗https://www.sec.gov/Archives/edgar/data/1327567/000132756726000023/panw-20260731.htm ·
- AI Defense capabilities ↗https://www.cisco.com/site/us/en/products/security/ai-defense/index.html ·
- AI Guard API behavior ↗https://pangea.cloud/docs/ai-guard/overview ·
- AI detection and response ↗https://www.crowdstrike.com/en-us/solutions/ai-detection-and-response/ ·
- Falcon Guardian announcement ↗https://www.crowdstrike.com/en-us/press-releases/crowdstrike-unveils-falcon-guardian-ai-agent-security/ ·
- Agent Security scope and early-access status ↗https://docs.lakera.ai/docs/agent-security ·
- Prompt Security acquisition rationale and capabilities ↗https://www.sentinelone.com/press/sentinelone-to-acquire-prompt-security-to-advance-genai-security/ ·
- Current platform ↗https://www.sentinelone.com/platform/securing-ai-prompt/ ·
- Platform modules ↗https://www.hiddenlayer.com/platform ·
- Agent harness announcement ↗https://www.hiddenlayer.com/newsroom ·
- Platform control layers ↗https://noma.security/platform ·
- Runtime enforcement and context ↗https://noma.security/platform/runtime-protection/ ·
- Cloud and AI runtime architecture ↗https://www.upwind.io/feed/upwind-ai-security-securing-your-ai-stack-from-the-inside-out ·
- Agent context scanning ↗https://www.upwind.io/feed/announcing-the-upwind-ai-context-scanner-securing-ai-agents-instructions-skills-and-model-context ·
- Agent identities ↗https://learn.microsoft.com/en-us/entra/agent-id/what-are-agent-identities ·
- Agent 365 security architecture ↗https://learn.microsoft.com/en-us/security/security-for-ai/agent-365-security ·
- Agent data governance ↗https://learn.microsoft.com/en-us/purview/ai-agents ·
- Model Armor deployment modes ↗https://docs.cloud.google.com/model-armor/overview ·
- Language and regional detection boundaries ↗https://docs.cloud.google.com/model-armor/sanitize-prompts-responses ·
- Policy control boundary ↗https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/policy.html ·
- Cedar design rationale ↗https://aws.amazon.com/blogs/security/why-policy-in-amazon-bedrock-agentcore-chose-cedar-for-securing-agentic-workflows/ ·
Source and maintenance notes
Primary links are placed beside the claims they support. Acquisition amounts retain their original basis; undisclosed values remain undisclosed. Product specifications and release statements are vendor disclosures, not comparative evidence from Token Lab. The diagrams and reference calculations are original educational material. Corrections should identify the section, source and proposed replacement; a source-access date is not a paper publication date.
All frontier research · Top Company Frontier · Editorial standards
実践と検証
14 · 攻撃と有用性を同時に検証する
二テナントの合成請求書、mockツール、偽台帳でローカル環境を作ります。正常業務を保ち、検索、資格、承認、出力、監査の一境界ずつ変えます。攻撃入力、禁止結果、制御点、成功すべき正常結果を定義します。
不正読取り、開示、状態変更など実効果で採点し、危険そうな文だけで成功としません。正常完了、誤拒否、遅延、費用と分母を報告します。少数選定例で失敗ゼロでも実環境の危険ゼロではなく、類似変種は独立証拠ではありません。
正常な引用指令、再試行、承認済み口座変更、外部リンクを負対照にします。限定feedbackで適応攻撃を行っても最終集合は開発から隔離します。予算を揃え、十回の高価な判定と一回の廉価な検査を純粋な手法差としません。
動的ツールでも理解可能な方針、過剰保存なしの出典維持、因果介入ともっともらしい説明を分ける監査を研究します。単純な決定的基準と比較し失敗を公開します。目的は全工程の安全論証で、万能保証ではありません。
実践:用語だけでなくアーキテクチャを説明する
以下は独自の練習問題であり、企業の実際の面接問題ではありません。回答を開く前に信頼境界を描き、その境界を強制するコンポーネントを特定してください。
モデルが PDF 内の注入指示を拒否しました。支払い処理は安全ですか。
ヒント: 実際に支払いを実行できるコンポーネントはどれですか。
回答と解説を表示
拒否だけでは判断できません。それは一度観測した挙動です。決定的な認可、承認との結び付け、ツール資格情報を確認します。悪意ある提案も同じ認可ゲートに通し、禁止された帳簿上の効果が発生しないことを確認します。正当な支払いも完了できる必要があります。一度の拒否は一般的な安全性の保証ではありません。
モデル API キーとユーザーの委任トークンは何が違いますか。
ヒント: 推論サービスへのアクセスと業務リソースへの権限を区別します。
回答と解説を表示
API キーは推論呼び出しを許可します。委任は業務操作の実行者、宛先、範囲、有効期間を制限します。どちらもモデルのコンテキストに含めません。宛先、オブジェクト単位の認可、期限を検証します。推論キーを持つことは業務操作の認可ではありません。
供給者 A への100ドルの支払いが承認された後、実行前に口座が変わりました。どうしますか。
ヒント: 承認対象の操作と現在のリソース版を比較します。
回答と解説を表示
ポリシーに従い拒否するか再承認を求めます。正規化した操作フィールドと関連リソース版に承認を結び付け、実行時に原子的に確認します。確認後に無保護で書き込む設計には競合の隙間があります。
支払い要求後にツールがタイムアウトしました。エージェントは再試行できますか。
ヒント: タイムアウトは未実行の証明ではありません。
回答と解説を表示
安定した操作 ID と冪等性キーを使い、権威ある記録と照合します。サーバーがその冪等性を保証する場合だけ、同じ束縛済み要求を再試行します。それ以外は結果不明を保持してエスカレーションします。新しいキーは二重支払いを招きます。
署名済み受領書に支払い完了とあります。何を証明しますか。
ヒント: 完全性、認可、業務上の事実を区別します。
回答と解説を表示
鍵の信頼前提の下で、その鍵の保持者が当該バイト列を発行したことを示します。ログの網羅性、認可の正しさ、決済完了は単独では証明しません。ポリシー判断、承認、独立した帳簿を関連付け、欠落や矛盾を扱います。
採点基準:1点はリスクを指摘、2点は境界を定義、3点は主体・操作・リソースを検査する実装を特定、4点は正常例と攻撃例で実際の効果を検証、5点は並行実行、失効、証拠不足、残存リスクまで説明します。
総合課題:2テナントのローカル請求書シミュレーターを実装し、厳密な承認、文書注入、実行タイムアウト、再構成可能な監査を含めます。禁止操作の防止と正当な処理の完了を示し、本番との差を説明します。
実践:信頼境界を一つずつ検証
同じ正常業務で合成ケースを実行し、文章だけでなくバックエンドと監査を見ます。
本人性:テナント間同一ID、所属撤回、テナント改変で越境しないこと。
モデルと供給網:正常・疑わしい版を同条件比較し、不正形式、過大出力、未登録ツール、timeoutを処理すること。
検索:注入が権限を作らず、通常の引用指令や特殊書式は利用できること。
委任:誤audience、scope不足、期限切れ、子の拡権を拒否すること。
承認:一セント、通貨、宛先、版変更、期限切れ、撤回で不正確定しないこと。
実行:禁止宛先・パス・資源枯渇を抑え、正常添付は処理できること。
再試行:重複、応答喪失、再起動を台帳と照合し不正な重複効果を防ぐこと。
記憶:越境、要約を生き残る注入、原本削除後の危険派生物を調べること。
監査:欠落、ID不整合、偽結果、保存障害で宣言した失敗動作になること。
攻撃阻止と正常効用を両方報告し、本人性への残存信頼、並行境界、人の照合が必要な場合を明記します。全体原子性を約束しません。
Run the authority boundary, not just a prompt
The model can propose an Action. The application supplies the trusted Grant, approval record, clock and stable operation key. This simulator checks their relationship before a ledger write. It also rejects a second payment under a different retry key. All records are synthetic and in memory; there is no network, credential or payment service.
Python 3.10+, standard library, deterministic: download agent-authority.py.
python3 agent-authority.py"""Offline policy-and-receipt simulator, Python 3.10+, standard library only.
Not production IAM, a payment API, or a cryptographic audit implementation.
The caller is trusted test code. Untrusted model output supplies Action only.
"""
from dataclasses import dataclass, replace
from hashlib import sha256
import json
@dataclass(frozen=True)
class Action:
tenant: str
invoice: str
revision: int
payee: str
cents: int
operation: str = 'pay'
@dataclass(frozen=True)
class Grant:
user: str
tenant: str
audience: str
invoice: str
max_cents: int
expires: int
revision: int
def digest(action):
return sha256(json.dumps(action.__dict__, sort_keys=True,
separators=(',', ':')).encode()).hexdigest()
class Ledger:
def __init__(self):
self.commits = {} # durable and transactional in a real implementation
self.events = []
self.revoked = set()
self.audit_available = True
self.invoice_revision = 4
def execute(self, action, grant, approval, key, now):
"""approval is a trusted approval-service record, not model text.
Single-threaded transaction simulation; no exactly-once network claim.
"""
reason = None
if grant.user in self.revoked: reason = 'revoked'
elif now >= grant.expires: reason = 'expired'
elif grant.audience != 'ledger': reason = 'audience'
elif action.tenant != grant.tenant: reason = 'tenant'
elif action.invoice != grant.invoice: reason = 'resource'
elif action.operation != 'pay': reason = 'operation'
elif type(action.cents) is not int or not 0 < action.cents <= grant.max_cents: reason = 'amount'
elif action.revision != self.invoice_revision or grant.revision != self.invoice_revision: reason = 'stale_revision'
elif approval != digest(action): reason = 'approval_binding'
elif not self.audit_available: reason = 'audit_unavailable'
elif key in self.commits:
if self.commits[key]['digest'] != digest(action): reason = 'idempotency_conflict'
else: return self.commits[key] # same receipt, no second write
if reason is None and any(r['invoice'] == action.invoice and r['tenant'] == action.tenant for r in self.commits.values()):
reason = 'already_settled'
if reason:
self.events.append({'state': 'denied', 'reason': reason})
return {'state': 'denied', 'reason': reason}
receipt = {'state': 'committed', 'digest': digest(action), 'key': key,
'actor': grant.user, 'tenant': grant.tenant,
'invoice': action.invoice, 'revision': action.revision, 'policy': 'teaching-v1'}
# In production: commit effect and durable audit/outbox atomically,
# or use downstream idempotency + reconciliation; this is in-memory.
self.commits[key] = receipt
self.events.append(dict(receipt))
return receipt
action = Action('tenant-a', 'inv-7', 4, 'supplier-42', 5000)
grant = Grant('user-1', 'tenant-a', 'ledger', 'inv-7', 10000, 100, 4)
approval = digest(action)
ledger = Ledger()
assert ledger.execute(action, grant, approval, 'op-1', 50)['state'] == 'committed'
assert ledger.execute(action, grant, approval, 'op-1', 51)['state'] == 'committed'
assert len(ledger.commits) == 1
assert ledger.execute(action, grant, approval, 'different-key', 51)['reason'] == 'already_settled'
assert ledger.execute(replace(action, tenant='tenant-b'), grant, approval, 'op-2', 50)['reason'] == 'tenant'
assert ledger.execute(replace(action, payee='attacker'), grant, approval, 'op-2', 50)['reason'] == 'approval_binding'
assert ledger.execute(replace(action, cents=10001), grant, approval, 'op-2', 50)['reason'] == 'amount'
assert ledger.execute(action, replace(grant, audience='search'), approval, 'op-2', 50)['reason'] == 'audience'
assert ledger.execute(action, grant, approval, 'op-2', 100)['reason'] == 'expired'
ledger.invoice_revision = 5
assert ledger.execute(action, grant, approval, 'op-2', 50)['reason'] == 'stale_revision'
ledger.invoice_revision = 4
ledger.audit_available = False
assert ledger.execute(action, grant, approval, 'op-2', 50)['reason'] == 'audit_unavailable'
ledger.audit_available = True
ledger.revoked.add('user-1')
assert ledger.execute(action, grant, approval, 'op-2', 50)['reason'] == 'revoked'
assert len(ledger.commits) == 1
print('13 checks passed: approval, tenant, audience, budget, revision, expiry, audit, revocation and replay.')
print('One committed effect. Model-proposed changes cannot expand the trusted grant.')
13 checks passed: approval, tenant, audience, budget, revision, expiry, audit, revocation and replay.
One committed effect. Model-proposed changes cannot expand the trusted grant.Production gaps: a digest is not a signature. Real approval records need authenticated issuance, approver authority, expiry and replay controls. Validate tokens cryptographically; use a transactional database, concurrency controls, authoritative invoice state, downstream idempotency and reconciliation. This single-threaded example does not prove exactly-once delivery or tamper-proof audit storage.
6. Data that actually tells us something
AgentDojo provides a concrete research substrate: 97 tasks and 629 security test cases involving tool-using agents. The original arXiv submission was June 19, 2024; this survey pins v3, November 24, 2024, whose revision notes include an implementation bug fix and travel-suite changes. Paper abstracthttps://arxiv.org/abs/2406.13352v3 · PDFhttps://arxiv.org/pdf/2406.13352v3 · Author codehttps://github.com/ethz-spylab/agentdojo. Those counts describe a benchmark, not the prevalence of attacks in customer deployments.
Three distinct quantities are needed. Clean utility measures completion without attack. Attack success measures a defined attacker objective under a specified opportunity and budget. Defended utility measures legitimate completion with the defense present. Report all three. An agent that cannot complete a banking task in the clean condition may also fail to execute the injected action; that is not necessarily a successful defense.
Denominators must be explicit. Was success counted per attack attempt, per task, or after the adversary tried many candidates and selected the best? Did the attacker see the defense or query its feedback? Was tool execution inspected, or only the final natural-language answer? A refusal message can accompany an earlier unauthorized tool call. A screenshot of a safe-looking answer is weak evidence about the full trajectory.
Assume 100,000 requests, an attack prevalence of 0.1%, a true-positive rate of 95%, and a false-positive rate of 1%. Expected counts are 95 true alerts, 999 false alerts and five missed attacks. Only 8.68% of alerts correspond to malicious requests. A seemingly small false-positive rate can overwhelm operations when attacks are rare.
Here π is attack prevalence, r is true-positive rate and f is false-positive rate. These are probabilities, not percentages entered as whole numbers. The formula follows by dividing expected true positives by all expected positive predictions. It does not imply that deployment prevalence is known or that adaptive attacks remain distributed like test samples.
Local false-alarm experiment
95 true alerts; 999.0 false alerts; alert precision 8.68%.
Population, prevalence and recall stay fixed at the stated teaching assumptions. No inputs leave your browser.
Download security-base-rate.py. Python 3.10+, standard library only; deterministic arithmetic, no random seed, network requests or model API. Run python3 security-base-rate.py.
"""Expected counts in a synthetic population, not vendor performance."""
from math import isclose
def audit(n, prevalence, tpr, fpr):
if not isinstance(n, int) or isinstance(n, bool) or n <= 0:
raise ValueError('n must be a positive integer')
if not all(0 <= x <= 1 for x in (prevalence, tpr, fpr)):
raise ValueError('Rates must be in [0, 1]')
tp = n * prevalence * tpr
fn = n * prevalence * (1 - tpr)
fp = n * (1 - prevalence) * fpr
tn = n * (1 - prevalence) * (1 - fpr)
precision = tp / (tp + fp) if tp + fp else None
return tp, fp, fn, tn, precision
if __name__ == '__main__':
tp, fp, fn, tn, precision = audit(100000, .001, .95, .01)
assert isclose(tp, 95)
assert isclose(fp, 999)
assert isclose(fn, 5)
assert isclose(tp + fp + fn + tn, 100000)
assert isclose(precision, 95/1094)
assert audit(100, 0, 1, 0)[4] is None
assert audit(100, 1, 1, 0)[4] == 1
try:
audit(100, -.1, .95, .01)
except ValueError:
pass
else:
raise AssertionError('Invalid rate accepted')
print(f'TP={tp:.0f}, FP={fp:.0f}, FN={fn:.0f}, TN={tn:.0f}')
print(f'Alert precision={100*precision:.2f}%')
print('8 checks passed')
Expected output:
TP=95, FP=999, FN=5, TN=98901
Alert precision=8.68%
8 checks passedBefore reducing f to 0.1%, predict the outcome: false alerts become 99.9 and precision approximately 48.74% if recall is unchanged. In a real detector, changing the threshold generally changes recall too. The calculator isolates the arithmetic; it is not a threshold-tuning algorithm. A missed low-impact test attack and an unauthorized high-value transaction also have different costs.
7. Build a fair security evaluation
Start with a workflow inventory and concrete forbidden outcomes: sending data to a non-owner, accessing another tenant's record, running an unapproved command, or changing an authorization policy. Define the adversary's entry point and budget. A user who directly owns the account and a third party controlling one retrieved page are different adversaries; do not mix their results.
Maintain a clean task set with validated expected outcomes. Create attack families on separate development fixtures and freeze a held-out set before tuning. Include benign text that resembles an attack, multiple languages, long contexts, interrupted tool sequences and malicious content that appears only after an initial harmless step. Track software and policy versions so that a changed score can be attributed to an intervention.
Use four baselines: the original agent; a detector-only variant; a deterministic tool-policy gate; and their combination. Keep model, tools, tasks, allowed scopes and attack budgets fixed. Measure forbidden actions, clean success, defended success, false blocks, latency, cost and coverage of action paths. An ablation must not give one system fewer privileges or easier tasks without acknowledging the change.
Inspect complete traces. Validate tool arguments and actual side effects, not the model's description of them. Verify that denied actions did not execute, then verify that permitted actions still complete. Include timeouts, retries, expired approvals and revocation during a multi-step run. An observer that alerts after a transfer is a detective control; it is not preventive enforcement.
Repeat stochastic model runs and report uncertainty. Group results by task family to expose correlated failures. Repeated attempts against one template do not supply the same evidence as independent families. For zero observed violations, use a confidence bound with explicit assumptions; see the alignment evidence tutorial. Never turn 0/n into a promise of zero future risk.
8. Original interview practice and engineering decisions
These are original simulations, not verified questions from the companies discussed. Answer with a threat model and an observable test, not a list of product names.
1. Why can 95% attack recall still create an unusable alert queue?
First hint: Use prevalence and the benign population as well as recall.
Answer and analysis
At 0.1% prevalence in 100000 requests, there are 100 malicious and 99900 benign cases. A 1% false-positive rate creates 999 false alerts, exceeding 95 true alerts. Discuss triage cost, threshold trade-offs and the uncertainty of the prevalence estimate.
Score yourself: 1/5 names the concept; 2/5 defines it; 3/5 derives the relevant mechanism or calculation; 4/5 tests a counterexample; 5/5 states assumptions, trade-offs and an evaluation that could disprove the answer.
2. Why does an ethical explanation not authorize a tool call?
First hint: Separate behavior prediction from authoritative permission.
Answer and analysis
An explanation is generated content. A policy service should resolve identity, resource scope, recipient and approval from authoritative state. Test a persuasive proposal with an out-of-scope recipient and prove that the executor denies it before any side effect.
Score yourself: 1/5 names the concept; 2/5 defines it; 3/5 derives the relevant mechanism or calculation; 4/5 tests a counterexample; 5/5 states assumptions, trade-offs and an evaluation that could disprove the answer.
3. How could a defense achieve zero attack success while being useless?
First hint: Inspect clean task completion.
Answer and analysis
Refusing everything, disabling every tool, or failing the workflow can prevent attacker objectives while also preventing authorized work. Report utility and attack success together, plus the exact permissions and denominators.
Score yourself: 1/5 names the concept; 2/5 defines it; 3/5 derives the relevant mechanism or calculation; 4/5 tests a counterexample; 5/5 states assumptions, trade-offs and an evaluation that could disprove the answer.
4. What changes when an agent can write memory or improve its own prompt?
First hint: Think across runs, not only within one request.
Answer and analysis
Poisoned state can persist after the original input disappears. Version memory and prompts, restrict writes and evaluate candidates on untouched tasks with an independent gate. Test rollback and ensure the candidate cannot alter evaluation evidence.
Score yourself: 1/5 names the concept; 2/5 defines it; 3/5 derives the relevant mechanism or calculation; 4/5 tests a counterexample; 5/5 states assumptions, trade-offs and an evaluation that could disprove the answer.
For an engineer, a strong first project is a small controlled executor with auditable permissions and adversarial fixtures. For a researcher, the next step is a task family that exposes a specific failure in existing defenses without redefining success after seeing results. Continue with bounded tools, authorization after learning and the infrastructure companion.
9. Frontier research agenda: five falsifiable projects
The following are Token Lab's proposed research directions, not claims that these methods have already succeeded or are novel. Search the literature before claiming novelty. Each proposal starts with an engineering failure and ends with evidence that would count against the idea. Select one narrow workload for a first PoC; broad claims require replication across tasks, implementations and operating conditions.
1. Semantic authorization beyond a tool allowlist
Why existing approaches are insufficient: An API can be allowed while a particular recipient, amount or purpose is not. Natural-language requests often underspecify the legitimate scope, and agents revise plans as they work.
Testable hypothesis: A typed action proposal bound to resource-level policy and explicit approvals reduces unauthorized effects without excessive false blocks.
Baselines and fair comparison: Compare prompt-only restrictions, tool-name allowlists and resource-scoped enforcement. Use tasks with the same tool but different ownership and destinations.
Measurements: Measure actual unauthorized effects, authorized completion, approval burden and policy coverage. Mutate parameters after approval and test revocation between planning and execution.
What would falsify the claim: Reject if the evaluator accepts self-reported authorization or if benign success collapses. A typed schema checks structure; it does not by itself prove that the values are permitted.
2. Adaptive prompt injection under a fixed attack budget
Why existing approaches are insufficient: A defense tuned to a static phrase collection can learn surface patterns. An attacker can observe failures, alter content and exploit a different point in the workflow.
Testable hypothesis: Training or detection informed by provenance and task boundaries generalizes better than phrase matching at matched clean utility.
Baselines and fair comparison: Compare a phrase baseline, a model detector and an execution gate, with separate adaptive attack runs against each. Match query and token budgets.
Measurements: Report success per attempt and per task after the full budget, clean utility, attack cost and failures on unseen task families. Preserve all attempted attacks, not only successful examples.
What would falsify the claim: Reject if improvement disappears when attackers adapt, or if one defense gets less attack effort. Do not report a fixed-template score as a guarantee against strategic adversaries.
3. Long-horizon memory poisoning and recovery
Why existing approaches are insufficient: A single harmless-looking note can influence later decisions after the original document is gone. Most short episodes miss persistence, delayed triggers and the cost of removing contaminated state.
Testable hypothesis: Provenance-aware memory writes with quarantine and selective rollback can reduce persistent influence while retaining useful learned preferences.
Baselines and fair comparison: Compare no persistent memory, unrestricted memory and the proposed write policy. Use multi-session legitimate tasks interleaved with controlled contamination fixtures.
Measurements: Measure delayed violations, useful retention, time to detect, rollback completeness and collateral forgetting. Inspect every downstream copy of the tainted state.
What would falsify the claim: Reject if the defense succeeds only by deleting all memory or assumes a known infection time. Recovery must address derived summaries and replicas, not only the original record.
4. Multimodal and multilingual boundary preservation
Why existing approaches are insufficient: A security decision made on extracted text may not cover instructions encoded in an image, an audio segment or layout. Translation and OCR change what the model sees.
Testable hypothesis: Tracking provenance through preprocessing and testing modality-specific transformations improves coverage at matched utility.
Baselines and fair comparison: Compare a text-only detector, independent modality filters and the proposed end-to-end pipeline on paired inputs expressing the same authorized task.
Measurements: Report results by language and modality, extraction errors, false blocks, task quality and latency. Include benign ambiguous layouts and low-quality scans.
What would falsify the claim: Reject if a global average hides failure in one language, or if the defense gets access to a clean transcription unavailable in production. Human labels need agreement checks too.
5. Security evaluation for self-improving agents
Why existing approaches are insufficient: When candidates alter prompts, tools or code, the evaluator and reward become attractive targets. Passing more tests may mean learning the tests rather than improving robust capability.
Testable hypothesis: An isolated promotion gate with held-out task families and immutable execution receipts can detect more invalid improvements than an in-loop score alone.
Baselines and fair comparison: Compare self-scoring, a shared-state evaluator and an independent evaluator. Introduce benign improvements, reward exploits and unauthorized tool-scope changes as distinct candidate types.
Measurements: Measure legitimate gain, exploit acceptance, retained abilities, scope changes and audit reproducibility. Keep a final test set untouched until selection finishes.
What would falsify the claim: Reject if the candidate can edit the score, if test contamination is ignored, or if safety comes only from forbidding all changes. A useful gate must accept genuine improvements as well as reject exploits.
From a two-week PoC to a defensible report
In the first stage, write the system boundary, assumptions and failure criterion before implementing the proposed method. Build the simplest baseline and a reproducible fixture. In the second stage, add one intervention and run controlled sweeps; retain failed runs and explain exclusions. In the final stage, test an unseen workload or attack family and write a limitations section. Separate what your experiment measured from what you hope will generalize.
A useful report contains a configuration manifest, data-generation procedure, code commit, exact commands, raw observations, aggregation script and a table of threats to validity. Use multiple seeds when randomness matters; repeated deterministic arithmetic is not independent evidence. Publish negative results: the boundary where a technique stops working is often the most transferable lesson.