Token Lab検索

AIエージェントを理解する:制御ループから推論基盤まで

デプロイ後の遅延障害を追い、調査範囲、証拠、ツール認可、失敗処理、結論の引き継ぎを順に説明した後、推論と資源の費用を計算します。

出典とバージョン
エージェントの連携する実行段階
概念図 — エージェントの連携する実行段階
この記事の目次

1. 14:02のアラート:成果物を決める

以下は独自の合成事故で、実顧客や測定データではありません。14:00にtenant Aのcheckout r17を10%のinstanceへ展開し、14:02に5分p95が120 msから420 msへ増加、総リクエスト量はほぼ一定です。担当者はリリースが原因か、rollbackすべきかを尋ねます。異常確認、原因推定、操作の許可は別問題です。Agentが約束するのは証拠付き報告で、自動修復ではありません。

AIエージェントは目標と制約の下で観測から行動を選び、結果を次の判断に使うシステムです。モデルは判断を提案し、harnessはエージェント内部でコンテキスト構築、ツール接続、制約、検証、修正を担います。環境は観測・変更されるファイル、サービス、業務状態です。同一プロセス内でも責任境界は異なります。定型レポートには自律ループより決定的なワークフローが適しています。

前提として、HTTP timeoutはサーバー未実行の証拠ではないこと、JSON schemaは構造を検査しても業務権限を保証しないこと、プロセスメモリと永続記録と外部状態の違いを理解してください。平均、分位数、資源予算も必要です。モデルは最初は確率的な判断部品として扱えますが、キャッシュ節ではattentionのkey/valueの意味を補います。

合成事故を追う証拠の連鎖

調査の問い必要な証拠言えること
本当に遅くなったか同条件の分位数・窓・量異常確認後に帰因
r17との関連はrevision別指標とdeploy記録関連仮説
poolが機序か実設定と接続待機候補を支持、代替を残す
自動rollback可能か能力範囲と承認読み取りAgentは引き継ぐ
独自参考構成:モデル提案は認可・予算ゲートを通ってツールへ進みます。証拠は制御器へ戻り、拒否・timeoutは成功と区別して記録されます。
独自参考構成:モデル提案は認可・予算ゲートを通ってツールへ進みます。証拠は制御器へ戻り、拒否・timeoutは成功と区別して記録されます。 原寸表示

2. 最初の判断:質問を調査へ変える

制御器はincident-017を作り、tenant A、checkout、13:55–14:02、読み取り専用に固定します。全体p95では異常instanceが分からないため、revision別遅延とdeploy履歴の二つの独立読み取りを提案します。出力は提案であり証拠ではありません。まず実行が認められるかを決めます。

入口は認証済み主体からtenant、service、時間範囲を決め、task_idを発行します。制御器はイベントから完了済み手順を復元し、方針、ツール定義、質問、現在状態、証拠を組み立てます。モデルはget_metricsやget_changesを提案し、十分な証拠があれば回答します。自分で権限を増やしたり文書の指示をシステム方針に昇格させたりできません。

独立した実行ゲートがツール名、型、対象範囲、予算、期限、承認を検査します。実行器は状態、call ID、データ時刻、出典、切り詰めの有無を観測として保存し、次の判断に渡します。timeoutは証拠未取得であり、メトリクス正常という意味ではありません。予算切れや行き止まりでは未完了と不足情報を明示します。

既知の手順はワークフロー、新しい観測で変わる分岐はモデルに任せます。認証、承認、記録は決定的に保ちます。状態、ツール契約、停止、復旧を先に定義しなければ、フレームワークは曖昧さを隠すだけです。

編成方式の選択

方式適用条件費用・境界
固定workflow手順が既知予測可能。例外は明示的fallback
単一Agent証拠で次を決める回数・能力・停止を制限
並列Agent証拠収集を分離可能共有状態の調整。重複は独立性ではない

3. 実行前:権限を確認する

read_metrics(, , group_に対し、ゲートは認証主体、時間、項目、返却量を検査します。tenant Bの取得やrestart_serviceは、理由がもっともらしくても拒否します。Aの読み取りしか許されていません。拒否を記録して合法な代案を選ばせますが、モデルの判断で権限を拡張しません。

説明は呼び出し提案の形式を教え、実行方針は利用者の権限を決めます。MCPのような規約は発見・呼び出しを共通化しますが、tenant隔離、最小権限、外向き通信制限、承認の結び付けを自動保証しません。多数のツールは能力目録から必要schemaだけを取得しても、同じ実行ゲートを通します。

read_metrics、read_changes、restart_serviceは別能力にします。読み取りも機密ログを漏らし得るため、対象、項目、時間、返却量、宛先を制限します。書き込み承認は対象、操作、引数digest、期限、operation_idと結び付け、引数変更で失効させます。

Prompt injectionは非信頼データを指示に見せかけます。悪意あるrunbookが資格情報の転送を求めても、プロンプトの注意書きだけに頼りません。実行器が許可外能力を拒否し、sandboxがファイル・ネットワークを制限し、秘密をcontextに入れません。検出器は信号、独立コードは強制と監査を担当します。本番書き込みには人への引き継ぎと復旧定義も必要です。

4. 最初の証拠:文書と事実を分ける

合成E1では同一窓のr17 p95が420 ms、r16が125 msです。E2はconnection poolの設定変更を示します。古いrunbookの上限は50ですが、現設定E3は10です。文書は調査方針、実設定は事実、revision比較は関連を示します。原因と断定せず、次に接続獲得の待機時間を取得します。

タスクイベント、セッションを越える記憶、引用可能な知識文書には異なる保存・権限・更新規則が必要です。「既定timeoutは30秒」という古い文書より、実行時設定が現在の直接証拠です。「普段は再起動を許す」という記憶は今回の許可になりません。

RAG取り込みでは版、出典、時刻、ACLを残し、検索前に利用者権限で絞ります。再順位付けした断片にも証拠IDを付け、回答の検証可能な主張を支持する資料へ結び付けます。関連性は十分性ではありません。runbookは候補原因を示し、現在メトリクスが今回への適合を示します。結び付けられない部分は仮説です。

記憶には提供者、観測時刻、対象者、置き換えた古い情報を記録します。構造化情報は部分更新しやすく、文章は背景を保つ一方で重複します。ベクトル化だけでは同一人物判定や有効期間は解決しません。削除は派生indexとcacheにも伝播させます。

5. 調査継続:必要な情報を残す

第三ラウンドでは原記録が増えています。要約にはE1の窓とgroup、E2の変更、E3の値、接続待機が未取得という欠落を残します。観測と仮説を分け、原証拠IDを保持します。要約は次の問い合わせを決める入力で、新しい証拠ではありません。この未取得の読み取りに障害を入れて継続方法を考えます。

各呼び出しの視野は有限です。安定したprefixに役割、方針、主要schemaを置き、変化するsuffixに質問、観測、棄却した仮説、残予算を置きます。全ログの投入は計算量を増やし重要情報を埋もれさせます。サービスと時間を通常のコードで絞り、集計、代表例、原記録への参照を返します。

圧縮では目標、制約、証拠ID、時間範囲、失敗操作、承認範囲を残します。要約は損失のあるビューで、真実の保管場所ではありません。原イベントを保持し、重要操作前には現在状態を再取得します。runbookの推奨とユーザーの許可は別物です。

安定prefixはキャッシュに有利ですが、方針やツール契約の変更はhit率より優先します。再利用には正確なtokenと位置、モデル・adapter、サーバーの隔離条件が関係し、意味が似ているだけでは不十分です。履歴の先頭を書き換えると後続状態も無効になることがあります。

6. timeout:証拠を捏造せず進む

op-w1がtimeoutしても欠測はゼロや正常を意味しません。読み取りは予算と期限内で再試行し、論理操作とattemptを別記録にします。合成の続きではE4がr17だけの待機増加を示し、pool仮説を強めます。再試行も失敗ならリリースとの関連までで、機序は未確認と報告します。ローカルコードはincomplete分岐を示し、実監視問い合わせは実装していません。

task_id、論理operation_id、attempt_idを別々に永続化します。同じ提案、重複配信、実行retryは違うイベントです。保存済み結果は復旧時に再利用します。遠隔実行の後、成功記録前に落ちた場合は、未実行と決めつけず対象システムへ照会します。

参考設計ではイベントから制御器を戻し、対象側が対応するidempotency keyで重複を抑えます。不明結果はunknownとして照合または人の判断を待ちます。ローカルDB transactionで外部APIまで原子的にはできません。遅着結果、取消、lease失効、timeoutを定義し、ローカル待機取消が遠隔停止を保証しないと理解します。

ファイル、process、会話、KVのsnapshotは別checkpointです。repository復元でDB変更は戻らず、会話復元で同一判断も保証されません。業務回答誤り、環境故障、認可拒否を分けないと、基盤の失敗をモデルの能力不足と誤評価します。

7. 六回の呼び出し:推論費用を計算する

ここで費用を計算します。六回それぞれ入力4000・出力300 tokenなら、短い最終報告より多くの仕事が発生します。E1–E4と安定schemaはcontextとcache再利用に有用です。しかしhit率のため古いE3を残せば調査が誤ります。証拠を正しく保った上で以下の最適化を考えます。

呼び出しにはqueue、prefill、逐token decodeがあります。prefillは入力を処理して状態を作り、decodeはそれを伸ばします。Agentはツール結果を追加して繰り返すため、最終回答の長さだけでは総仕事量は分かりません。ツール待機中にGPUを他へ使えても、環境メモリや保持KVは占有し続けます。

通常のfull-attention Transformerでは層L、並列系列B、長さT、KV head数H_kv、head幅d_h、要素bytes bを掛け、KとVの2倍を取ります。、、、H_、d_、で1 GiB、32系列ならKVだけで32 GiBです。重み、activation、断片化、runtimeは含みません。sliding window、量子化、MLA、再帰混合構造には別の計算が必要です。

6回それぞれ入力4000・出力300 tokenなら合計24000・1800です。後半5回が正確に3000 tokenを再利用すれば、最大15000 token分のprefix再計算を避けられます。論理入力長は変わらず、割引は提供者次第です。これは合成算例であり、速度倍率や総遅延の比例減少を実証しません。

I_r・O_rは第r回の入力・出力token数、Rは呼出し回数です。I・Oはcache割引を適用する前の論理総量です。

8. アラート急増:容量の制約を探す

同様の調査を毎秒2件受け入れ、環境が待機を含め30秒常駐するとします。CPUが待っていてもメモリは残り、core追加だけではqueueが減りません。活発な計算、常駐状態、モデル並列数、外部quotaを合わせて計画します。モデルthroughputはplatform全体のthroughputではありません。

制御器は加速器とモデル状態を使う経路、CPU・メモリ・filesystem・外部quotaを使うツール経路を結びます。両者は互いの結果を待つため、目標はGPU使用率単独ではなく期限内の正しい完了です。

独自算例で毎秒2タスク、環境寿命30秒、各0.5 GiBなら、安定時に平均60環境・30 GiBが必要です。各タスク3 CPU秒ならCPUは平均6 coreです。それでも8 core・16 GiB機では足りません。host余裕を無視して32環境、毎秒約1.07タスクが上限です。到着2/秒では安定状態を仮定できません。

遅延作成、待機中の再構成可能資源の解放、warm pool、受付制限を比較します。warm poolは起動を速くしますが常駐費用を増やし、KV offloadは容量を空けても転送を増やします。batchingはthroughputと対話遅延の取引です。依存を持つbatchではcritical pathとmakespanも重要で、長鎖優先には飢餓を避けるagingやquotaが必要です。

λは毎秒受け入れる環境数、Tは常駐秒数、Nは平均常駐数です。M(t)はGiB、その時間積分はGiB·秒です。Little則は長期安定系を前提とし、過負荷queueの安定性を保証しません。

9. 報告と終結、その後の改善

報告はE1–E4、pool変更という候補、未排除のtraffic・下流差を示し、通常の変更手順で担当者がrollbackを判断するよう提案します。読み取りAgentはここで終了します。人が承認・実行して同口径p95が130 msへ戻ったとしても、関連を強めるだけで交絡のない因果実験ではありません。証拠、人の操作、復旧観測を保存して事件を閉じ、改善は別工程とします。単一Agentの失敗を特定してから複数Agentや学習を検討します。

分解可能で証拠を独立取得でき、統合費用が限定される仕事で複数Agentが役立ちます。メトリクスと変更履歴を並行分析し、最後に時刻と因果仮説を照合する例です。単純な仕事で役割だけ増やすと呼出しと衝突が増えます。同じ誤文書に基づく二つの結論は独立証拠ではありません。

知識、prompt・tool、program、学習parameterの更新を区別します。context内適応はparameter学習ではなく、成功trace保存も一般能力向上の証明ではありません。版、予算、課題集合、rollbackを記録し、保留課題の答えを学習に混ぜません。同じモデルによる作成と自己採点には偏りがあり、独立成果検査と人の確認が必要です。

決定的baselineから有界判断へ進み、その後で複数Agentや後学習を検討します。長期credit assignment、不可逆行動の復旧、環境間一般化、記憶誤りの累積、予算下の有効自律性は未解決です。自己改善を主張するなら変更層、保留課題の改善、安全性と資源の代償を示します。

10. 実践と検証

モデルを接続する前に決定的harnessを実装します。合成結果でscope、replay、予算、不足証拠を確認します。Python 3.11以上、標準ライブラリのみ。乱数がないためseed不要です。ダウンロードしてローカル実行してください。

agent-book-harness.py
python3 agent-book-harness.py
scope=passed replay=passed budget=passed timeout=incomplete
kv_gib=1.0 environments=60 memory_gib=30.0
Python · agent-book-harness.py
"""Python 3.11+, standard library only; deterministic harness, NOT an LLM.
No network, secrets, shell, production writes or random sampling.
Run: python3 agent-book-harness.py
"""
from dataclasses import dataclass, field

@dataclass
class Harness:
    tenant: str = 'A'
    service: str = 'checkout'
    remaining: int = 4
    events: list = field(default_factory=list)
    results: dict = field(default_factory=dict)

    def call(self, operation_id, tool, tenant, service, *, timeout=False):
        # Authorization precedes result lookup: cached data is not public.
        if tenant != self.tenant or service != self.service:
            raise PermissionError('scope')
        if tool not in {'metrics', 'changes'}:
            raise PermissionError('capability')
        identity = (tool, tenant, service)
        if operation_id in self.results:
            previous_identity, result = self.results[operation_id]
            if previous_identity != identity:
                raise ValueError('operation ID reused for different arguments')
            return result
        if self.remaining == 0:
            raise RuntimeError('budget')
        self.remaining -= 1
        if timeout:
            result = {'status': 'timeout', 'evidence': None}
        else:
            result = {'status': 'ok', 'evidence':
                      {'id': 'metric-1', 'p95_ms': 420} if tool == 'metrics'
                      else {'id': 'change-1', 'revision': 'r17'}}
        self.events.append((operation_id, identity, result))
        self.results[operation_id] = (identity, result)
        return result


def scripted_investigation(h, timeout=False):
    # A model adapter would propose these actions; the gate must stay outside it.
    metrics = h.call('op-m', 'metrics', 'A', 'checkout', timeout=timeout)
    changes = h.call('op-c', 'changes', 'A', 'checkout')
    if any(x['status'] != 'ok' for x in (metrics, changes)):
        return {'status': 'incomplete', 'evidence': []}
    return {'status': 'observed', 'evidence': [metrics['evidence'], changes['evidence']],
            'conclusion': 'Revision and latency observed; causation not established.'}


def raises(error, action):
    try:
        action()
    except error:
        return
    raise AssertionError(f'expected {error.__name__}')


def main():
    h = Harness()
    answer = scripted_investigation(h)
    assert answer['status'] == 'observed' and len(h.events) == 2
    # Replay returns recorded result without consuming another budget unit.
    h.call('op-m', 'metrics', 'A', 'checkout')
    assert h.remaining == 2 and len(h.events) == 2
    raises(PermissionError, lambda: h.call('op-m', 'metrics', 'B', 'checkout'))
    raises(PermissionError, lambda: h.call('op-write', 'restart', 'A', 'checkout'))
    raises(ValueError, lambda: h.call('op-m', 'changes', 'A', 'checkout'))
    raises(RuntimeError, lambda: Harness(remaining=0).call('x', 'metrics', 'A', 'checkout'))
    assert scripted_investigation(Harness(), timeout=True)['status'] == 'incomplete'
    kv = 2 * 32 * 1 * 8192 * 8 * 128 * 2
    assert kv == 1024**3
    environments = 2 * 30
    memory_gib = environments * 0.5
    assert environments == 60 and memory_gib == 30
    assert 6 * 4000 - 5 * 3000 == 9000
    print('scope=passed replay=passed budget=passed timeout=incomplete')
    print(f'kv_gib={kv / 1024**3:.1f} environments={environments} memory_gib={memory_gib:.1f}')
    print('Synthetic control checks only; no model-quality or sandbox benchmark.')

if __name__ == '__main__':
    main()

制御経路の実装であり、稼働SRE AgentやLLM能力の模擬ではありません。メモリ内台帳はcrashを越えず、timeoutは注入結果でprocess停止ではありません。実sandboxや書き込みはありません。本番には永続化、認証、実期限、並行制御、対象側idempotency、別設定のmodel adapterが必要です。

モデル、課題、証拠、権限、総token・時間予算を固定し、固定workflowと有界Agentを比較します。分割可能なら複数Agentを追加します。成功、根拠のない主張、拒否、p50/p95、失敗費用も含む成功当たり総費用を報告します。保留課題で繰り返し標本数を示します。ローカルassertionは知能測定ではありません。

独自面接演習・企業の実出題ではありません

timeoutで再起動が重複する理由は?

ヒント

遠隔実行と確認を分けます。

解答と分析

実行後に応答を失った可能性があります。状態照会と対象側idempotencyを使い、unknownを未実行としません。

圧縮で次の呼出しが遅くなる理由は?

ヒント

最初に変わるtokenを探します。

解答と分析

prefix無効化でprefill再実行が起きます。削減量、cache損失、圧縮費用、証拠保持を比較します。

30 GiBなのに平均6 coreなのはなぜ?

ヒント

常駐と活発なCPU時間を分けます。

解答と分析

2×30=60環境、60×0.5=30 GiB。CPUは2×3=6 core秒/秒。待機中も状態が残ります。

二つのAgentの一致は正しさの証明?

ヒント

証拠の独立性を確認します。

解答と分析

共通の誤りを持ち得ます。成果と独立証拠を検査し、同予算の単一Agentと比較します。

1–5点:概念を挙げる/通常経路を説明/単位と算例を再現/scope・timeout・replayの失敗を扱う/公平比較・復旧境界・測定可能な取引を設計。

予測・検証・根拠の記録

解答を開く前に結果を予測し、演習後に差異と応用テストを記録します。端末内に保存し、言語版間で共有します。

記録を開く/書き出す/消去する →

数学的確認の範囲は授業ごとに記録されています。論文の実証再現の証明ではありません。疑問点はメモに記録してください。 確認範囲

11. 出典・版・追加学習

Token Labによる独自解説で、李博杰の『深入理解 AI Infra:量化分析与系统设计』と姉妹編『深入理解 AI Agent:设计原理与工程实践』を参考にしています。指定リンクはInfraの本です。両repositoryはApache-2.0を宣言しています。固定版を参照し、SRE例・図・数値・Pythonは独自作成です。全訳、公式版、著者の推薦ではありません。

AI Infra §3https://github.com/bojieli/ai-infra-book/blob/3bdcb4fcab73010eeaccf31cc10a8242a895d82e/manuscripts/03-%E6%8E%A8%E7%90%86%E4%B8%8E%E8%AE%AD%E7%BB%83%E8%B4%9F%E8%BD%BD.md · AI Infra §8https://github.com/bojieli/ai-infra-book/blob/3bdcb4fcab73010eeaccf31cc10a8242a895d82e/manuscripts/08-%E6%8E%A8%E7%90%86%E4%BC%98%E5%8C%96.md · AI Infra §11https://github.com/bojieli/ai-infra-book/blob/3bdcb4fcab73010eeaccf31cc10a8242a895d82e/manuscripts/11-%E8%B5%84%E6%BA%90%E8%B0%83%E5%BA%A6%E4%B8%8E%E8%BF%90%E8%A1%8C%E7%8E%AF%E5%A2%83.md · AI Agent §1https://github.com/bojieli/ai-agent-book/blob/dbc046eb896ac4e39aa19c7774c8bf49583b89a6/book/chapter1.md · AI Agent §2https://github.com/bojieli/ai-agent-book/blob/dbc046eb896ac4e39aa19c7774c8bf49583b89a6/book/chapter2.md · AI Agent §3https://github.com/bojieli/ai-agent-book/blob/dbc046eb896ac4e39aa19c7774c8bf49583b89a6/book/chapter3.md · AI Agent §4https://github.com/bojieli/ai-agent-book/blob/dbc046eb896ac4e39aa19c7774c8bf49583b89a6/book/chapter4.md · AI Agent §7https://github.com/bojieli/ai-agent-book/blob/dbc046eb896ac4e39aa19c7774c8bf49583b89a6/book/chapter7.md · AI Agent §9https://github.com/bojieli/ai-agent-book/blob/dbc046eb896ac4e39aa19c7774c8bf49583b89a6/book/chapter9.md · AI Agent §10https://github.com/bojieli/ai-agent-book/blob/dbc046eb896ac4e39aa19c7774c8bf49583b89a6/book/chapter10.md

AI Infra · Apache-2.0https://github.com/bojieli/ai-infra-book/blob/3bdcb4fcab73010eeaccf31cc10a8242a895d82e/LICENSE · AI Agent · Apache-2.0https://github.com/bojieli/ai-agent-book/blob/dbc046eb896ac4e39aa19c7774c8bf49583b89a6/LICENSE

実装チュートリアルへ

出典とバージョン

目的を持って動画を見る

視聴 → 説明 → 実装 → 検証

外部の英語動画です。字幕と公開状況はYouTubeが管理します。再生を選んだ後だけYouTubeへ接続し、実験入力は送信しません。

次の学習

不正引数、期限切れ権限、重複再試行と最終状態を検証する。

実装と検証 → · 学習ルートへ →