Jev とエージェント Harness:判断、文脈、費用と実行制御
拡散した PDF の主張を検証し、型付き判断をエージェントへ組み込む仕組みを参照図、計算例、実行可能な教材で解説します。
出典とバージョン
この記事の目次
Jev が変える部分とソフトウェアの責務
コーディングエージェントは推論と操作を繰り返す状態付きプログラムです。Harness は文脈、ツール、予算、観測記録と実行制御を担うランタイムです。モデルはパッチを提案し、ランタイムは参照するリポジトリの版と実行権限を管理します。
Jev は TypeSafe の判断モデルであり、コード生成モデルの代替ではありません。状態から型付き判断を返します [1]。HTTP クライアントの再試行増幅を直す SRE エージェントを例に、生成モデル、証拠選択、権限制御を分けて考えます。
目標はルーティングの採算を計算し、再生可能な小さな harness を構築することです。JSON は契約、確率は不確実性、キャッシュは同一性と版に依存する再利用です。Python 関数とタイムアウトの理解があれば、有料モデルなしで演習できます。
宣伝と根拠の対象を分ける
12 ページの PDF は 2026 年 9 月の独立編集資料で、TypeSafe 非公認と明記しています。提案は明示的状態、質問別の文脈と方針によるルーティングです [2]。Almeida は InstructGPT 共著者ですが [3]、それだけで PDF の著者とは言えません。
公式報告の 193.6× と 444.6× は、モデルの確率を参照する選定 System One ワークフローの比較です [4]。エージェント全体の改善を証明しません。提示文の「2 時間」も再現手順を伴いません。
判断 1 回、ワークフロー、正しい修正では分母が違います。再試行が増えれば安い試行でも解決単価は上がります。本稿は独自の設計分析とローカル模擬実験であり、非公開内部の再現ではありません。
文章生成から境界のある判断へ
自己回帰生成は次のトークンを逐次予測します。有限の判断は既定の結果集合を扱います。TypeSafe は並列出力と RLCD を説明していますが [4] [5]、学習を再現できる構造、損失、データは確認できません。推測した内部実装を事実として示しません。
「サービスを直す」は調査が必要です。「この証拠の担当サブシステムはどれか」は候補付き判断です。ただし再試行方針を欠くスタックトレースでは、形式的に正しくても原因を見誤ります。
スキーマは存在しないツール名を防げても、合法なツールの誤選択は防ぎません。型付き関数でも間違った整数を返せます。構造化出力 LLM と同じ課題で品質、校正、遅延を比べる必要があります。
記号 x は入力、y₁:T は token 列、s は状態、Q は質問、A は許可回答集合です。後半はインターフェースの抽象で、Jev の学習目的ではありません。
モデルの前に質問を設計する
Choice は候補選択、Score は順序付き基準、Noul は命題の確率です [6] [7] [8]。関連度 0.8 はパッチ正答率 80% ではありません。候補を一つ選んでも、その集合に原因が含まれる証明にはなりません。
証拠には目標、版、失敗した assertion、抜粋、許可候補 ID、欠落情報を含めます。十分性と関連性を別々に尋ね、不足なら検索へ戻します。欠落と矛盾は異なる理由として記録します。
独立質問は同一スナップショットでまとめます。B が A の回答に依存するなら次段階に分けます。基準と閾値を版管理し、過去ログの意味を維持します。
校正、集中度、誤りの損失
Choice confidence は最大確率を一様分布からの距離として再尺度化します [9]。3 候補で最大 0.8 なら 0.7 です。二つを確認しても独立証拠にはなりません。Noul に別の confidence はありません。
校正は集団の性質です。0.8 付近の予測なら約 80% が成立することを期待します。一定確率でも校正可能ですが識別力は低くなります。高精度でも希少な危険操作で過信し得ます。言語、リポジトリ、操作別に調べます。
独自例として誤操作の損失 100、完全な人手確認の費用 2 とします。自動化の損失は (1−p)×100 なので p>0.98 が条件です。実用閾値ではありません。人も誤り、損失も変わり、確率は権限を付与しません。
再試行障害の参照アーキテクチャ
コントローラーは ID、アクセス範囲、固定 commit を作ります。読み取り結果にパス、範囲、ハッシュを付け、外部ルーターにも送信前の秘匿情報除去を適用します。状態ストアは不変観測を保持し、方針はコントローラーが管理します。
必須指示と失敗 assertion を固定し、残予算に証拠を追加します。判断モデルの提案を許可プロバイダーと予算で制限し、生成モデルのパッチを隔離 worktree で適用します。ツール出力は情報であり権限ではありません。
タイムアウトは保守的経路か確認へ戻します。不正応答は実行しません。古い版は再読込し、取消後は新規操作を止めます。派遣済み API の料金は残り得ます。クラッシュ後は未知結果を照合してから書込を再試行します。
| 構成要素 | 入力 → 出力 | 保証しないもの |
|---|---|---|
| 判断モデル | 証拠と候補 → 確率 | 権限・事実の確実性 |
| 文脈構築 | 許可証拠と予算 → パケット | 省略証拠の無関係性 |
| 方針エンジン | ID と範囲 → 許可/確認/拒否 | パッチの正しさ |
| 実行器 | 許可提案 → 観測 | タイムアウト時の無作用 |
| 独立検証 | パッチと検査 → 結果 | 検査範囲外の正しさ |
文脈選択は証拠の予算配分
再試行上限を残す規則、現コード、失敗 assertion は古い会話より重要です。チャンクには ID、版、由来、サイズ、権限、必須フラグが必要です。要約は原文への参照を残します。
教材モデルは予算内で各チャンクの表現を選びます。効用は推定であり、定義と呼出しのような依存関係もあります。必須契約と出力予算を先に確保し、収まらなければ拒否します。
安定した前置部分と動的証拠を分け、ハッシュ変更で要約を無効化します。FastContext の検索研究は別の証拠であり [10]、Jev の測定と呼べません。
安い呼出しだけでなく経路全体を計算
合成例:入力 1 万 token を百万当たり $2、出力千 token を $8 と仮定すると $0.028 です。現行価格ではありません。安価経路 $0.010 に移管・確認 $0.015、判断 $0.001 を加えると $0.026、節約は 7.1% だけです。再試行 $0.004 が加われば逆転します。
判断が時間の 20% で 200 倍高速化しても、Amdahl 則では全体約 1.248 倍です。並列処理は重複 span の合計でなくクリティカルパスを見ます。
失敗、検索、確認込みの受理修正単価を比較します。版とキャッシュ条件を一致させ、プロンプト課金と KV 常駐を同一視しないでください。
nᵤ、n꜀、nₒ は非キャッシュ入力、キャッシュ入力、出力の token 数、p は百万当たりドルです。C_d は判断料金。S の f は元の時間割合、s はその倍率で、直列かつ他処理不変を仮定します。
提案は実行権限ではない
パッチ準備の許可は本番展開の許可ではありません。ルーティング前と実行直前に動作・対象を確認し、承認を ID、ダイジェスト、有効期限、版に結び付けます。
危険文字列の検索だけでは shell を保護できません。子プロセス、import、symlink が影響を変えます。限定操作、正規化パス、隔離、資源制限を使い、本番資格情報を渡しません。テストもコード実行です。
コメントとログにも注入があります。出典は権限ではありません。書込タイムアウトは未実行を意味しないため照合が必要です。SQLite は外部 API と原子的には更新できません。
全体再構築の前に判断点を一つ導入
導入には skill、呼出し可能なツール、全ターンを制御するネイティブ harness の三段階があります。skill 導入だけで全制御は得られません。使用版の拡張点を確認します。
まず証拠順位を影運用で記録し、実行を変えず比較します。少数タスクで有効化し即時ロールバックを残します。独立した文脈と短い結果を渡せる段階でルーティングを追加します。
アダプターは構造検証、解決済みモデル版、期限、同時数と失敗費用を管理します。キャッシュにモデル・質問・方針版と状態ハッシュを含め、テナント間共有を避けます。公式 API と skill は末尾です [11] [12]。演習は固定応答であり有料呼出しを行いません。
有効な場面と未解決の課題
決定的な判定はコード、関連性は embedding や reranker、有界判断は決定モデル、新しいパッチは生成モデルに任せます。すべての分岐を AI 化する必要はありません。
購買者は開発基盤チームなどで、費用と機密条件を満たす正しいタスクを求めます。専業は遅延・校正、総合モデルは統合・キャッシュ、harness は作業と監査、自己運用はデータ管理で差別化します。市場占有率や買収の主張ではありません。
希少事象、候補欠落、削除した依存関係、判定器の相関誤りが残ります。過剰な並列化は費用を増やします。ルーター最適化は再帰的知能改善の証明ではありません。
実践、検証と面接練習
Python 3.11 以降で python3 lab.py を実行します。依存、鍵、通信は不要です。固定応答なので乱数 seed は不要です。メモリー内 SQLite に異なる判断が 5 件残り、同一要求は再利用されます。プロセスを越える復旧の実装ではありません。
必須証拠、確率検証、経路提案、方針適用の順に読みます。ハッシュで再生を識別します。貪欲選択は最適解保証がなく、token 数は仮定値です。shell やパッチ生成は行いません。
policy/assertion/implementation の選択、予算不足の拒否、曖昧・不正応答の review、deploy の deny を確認します。版変更では新規記録になります。未承認提供者、NaN、候補欠落、方針版変更も試し、それぞれ確認、構造拒否、構造拒否、新規 ID を期待します。永続化前に同時処理と復旧を追加します。
原 agent、規則、構造化 LLM、Jev を同じ未使用課題と権限で比較します。文脈選択と routing は別々に追加します。成功率、解決単価、p50/p95、キャッシュ、人手時間、違反を記録し、難度別反復と不確実性を報告します。校正用と最終テスト用を分けます。
Brier は (p−y)² の平均で例は 0.255 です。4 例では校正を証明できません。閾値別の自動処理率と誤りを併記します。全件人手なら自動化はゼロです。証拠不足、注入、停止、古いハッシュ、書込結果不明も対象にします。
Python 教材をダウンロード"""Python 3.11+, standard library only. Offline harness simulation, NOT Jev.
No network, shell execution, real code edits, GPU or model benchmark.
Run: python3 lab.py
"""
from dataclasses import dataclass
from hashlib import sha256
import json
import math
import sqlite3
@dataclass(frozen=True)
class Chunk:
id: str
revision: str
text: str
tokens: int # Synthetic fixture sizes, not a tokenizer measurement.
utility: float
mandatory: bool = False
def select(chunks, budget):
if budget < 0 or len({c.id for c in chunks}) != len(chunks):
raise ValueError("invalid budget or duplicate chunk")
if any(c.tokens <= 0 or not math.isfinite(c.utility) for c in chunks):
raise ValueError("invalid chunk")
pinned = [c for c in chunks if c.mandatory]
left = budget - sum(c.tokens for c in pinned)
if left < 0:
raise ValueError("mandatory evidence exceeds budget")
result = pinned[:]
# A transparent greedy heuristic; not an optimal dependency-aware solver.
for c in sorted((c for c in chunks if not c.mandatory),
key=lambda c: (-c.utility / c.tokens, c.id)):
if c.tokens <= left:
result.append(c)
left -= c.tokens
return result
def validate_answer(answer):
if not isinstance(answer, dict) or set(answer) != {"choice", "probabilities"}:
raise ValueError("invalid answer schema")
p = answer["probabilities"]
if not isinstance(p, dict) or set(p) != {"local", "frontier", "review"}:
raise ValueError("unknown candidates")
if any(type(x) not in (int, float) or not math.isfinite(x) or not 0 <= x <= 1
for x in p.values()) or not math.isclose(sum(p.values()), 1.0, abs_tol=1e-8):
raise ValueError("invalid probabilities")
if answer["choice"] not in p or p[answer["choice"]] != max(p.values()):
raise ValueError("choice does not match maximum")
return p
def choose_route(answer, action, policy):
# These are typed fixture actions. No shell-string safety claims.
if action not in policy["allowed_actions"]:
return "deny"
try:
p = validate_answer(answer)
except ValueError:
return "review"
target = answer["choice"]
if target not in policy["eligible_routes"] or p[target] < policy["threshold"]:
return "review"
return target
def record(db, state, action, policy, answer):
# Identity includes all decision inputs, not just an action name.
payload = json.dumps([state, action, policy, answer], sort_keys=True,
separators=(",", ":"), allow_nan=False)
key = sha256(payload.encode()).hexdigest()
existing = db.execute("SELECT result FROM events WHERE id=?", (key,)).fetchone()
if existing:
return existing[0], True
result = choose_route(answer, action, policy)
with db:
db.execute("INSERT INTO events VALUES (?, ?, ?)", (key, payload, result))
return result, False
def run():
policy = {"version": "policy-1", "allowed_actions": ["inspect", "propose_patch"],
"eligible_routes": ["local", "frontier", "review"], "threshold": 0.9}
chunks = [Chunk("policy", "r1", "Keep retry cap; do not deploy.", 40, 1, True),
Chunk("assertion", "r1", "Expected at most three attempts.", 60, 1, True),
Chunk("implementation", "r1", "Current retry loop.", 120, 0.96),
Chunk("old_chat", "r0", "Superseded discussion.", 400, 0.1)]
chosen = select(chunks, 240)
assert [x.id for x in chosen] == ["policy", "assertion", "implementation"]
try:
select(chunks, 99)
except ValueError:
pass
else:
raise AssertionError("must reject missing mandatory evidence")
state = {"task": "retry-incident", "revision": "r1", "question_version": "q1",
"chunks": [c.__dict__ for c in chosen]}
good = {"choice": "local", "probabilities": {"local": 0.94, "frontier": 0.04, "review": 0.02}}
low = {"choice": "local", "probabilities": {"local": 0.55, "frontier": 0.4, "review": 0.05}}
malformed = {"choice": "delete_production", "probabilities": {"other": 1.0}}
# In-memory SQLite tests replay logic without leaving personal data behind.
with sqlite3.connect(":memory:") as db:
db.execute("CREATE TABLE events (id TEXT PRIMARY KEY, payload TEXT, result TEXT)")
assert record(db, state, "inspect", policy, good) == ("local", False)
assert record(db, state, "inspect", policy, good) == ("local", True)
assert record(db, state, "inspect", policy, low)[0] == "review"
assert record(db, state, "inspect", policy, malformed)[0] == "review"
assert record(db, state, "deploy", policy, good)[0] == "deny"
changed = dict(state, revision="r2")
assert record(db, changed, "inspect", policy, good) == ("local", False)
count = db.execute("SELECT COUNT(*) FROM events").fetchone()[0]
assert count == 5
n, p = 3, 0.8
confidence = (p - 1/n) / (1 - 1/n)
speedup = 1 / (0.8 + 0.2/200)
assert math.isclose(confidence, 0.7)
# Synthetic binary forecasts; Brier is not measured on Jev.
forecasts, outcomes = [0.9, 0.8, 0.4, 0.1], [1, 0, 1, 0]
brier = sum((p-y)**2 for p, y in zip(forecasts, outcomes)) / len(outcomes)
print(json.dumps({"mode": "offline_fixture_not_jev", "network_calls": 0,
"selected_chunks": [x.id for x in chosen], "audit_rows": count,
"choice_confidence": round(confidence, 6),
"synthetic_task_speedup": round(speedup, 6),
"synthetic_brier": round(brier, 6),
"replay_schema_policy_revision_checks": "passed"}, indent=2))
if __name__ == "__main__":
run()
期待出力
{
"mode": "offline_fixture_not_jev",
"network_calls": 0,
"selected_chunks": [
"policy",
"assertion",
"implementation"
],
"audit_rows": 5,
"choice_confidence": 0.7,
"synthetic_task_speedup": 1.248439,
"synthetic_brier": 0.255,
"replay_schema_policy_revision_checks": "passed"
}
任意の API 契約例:未実行
JSON は公式 POST https://api.typesafe.ai/v1/systemone の契約例であり送信しません。認証は公式資料に従い、鍵は私有サーバーで保持します。jev-latest の実際の版と SDK の lockfile を記録してください。実 API の成功確認は行っていません。
{
"model": "jev-latest",
"state": {
"goal": "Identify evidence for a retry amplification incident",
"revision": "example-r1",
"evidence": "Fixture: retry loop restarts its attempt counter after a timeout; required cap is three attempts."
},
"questions": {
"subsystem": {
"type": "choice",
"instructions": "Which subsystem is directly implicated by the supplied evidence?",
"criteria": {
"retry_control": "Attempt counting, stopping and retry budget",
"rendering": "Displaying a user interface",
"unknown": "The supplied evidence does not identify a subsystem"
}
}
}
}
独自の模擬質問:企業の実際の出題ではありません
1. 判断 200 倍がタスク 200 倍にならない理由は?
ヒント:不変の経路。解答:
2. confidence 0.99 は展開を許可しますか?
ヒント:判断と権限。解答:いいえ。範囲、対象、承認、最新ダイジェストが必要です。
3. 安価モデルの経路が高くなるのは?
ヒント:往復の移管。解答:再読込、確認、キャッシュ損失と失敗が節約を上回ります。受理修正単価で比較します。
4. 有用な校正と全件人手依頼をどう区別しますか?
ヒント:リスクと処理率。解答:自動誤り率、処理率、人手費用を併記し、未使用データと希少重大事象を含めます。
採点:1—用語、2—モデルとランタイムの区別、3—実装と費用・確率、4—版と障害と権限、5—公平なタスク比較と限界の説明。
次の学習
前提知識を理解する
手法を支える共通の基礎を復習し、算例と確認問題で理解の不足を見つけます。
エージェントは観測、提案、権限確認、実行、結果確認を繰り返す状態付きループです。スキーマは引数形式を検証するだけで、権限や副作用の完了を証明しません。モデルの文章は提案です。呼出しの試行、成功応答、検証済みの完了を区別します。
解答を見る前に考える
決済ツールが要求を受け取った後でタイムアウトしました。直ちに再試行すべきですか。
段階的な解説
いいえ。決済は成功し応答だけ失われた可能性があり、結果は不明です。冪等キーと状態確認を使うか、照合まで停止します。無条件の再試行は不可逆操作を重複させ得ます。ステップ上限ではこの誤りを直せません。
実践とのつながり
ツール利用にはアプリ側の状態管理、認可、停止条件が必要です。既知の事実、不確かな結果、未確認の操作を記録します。自律性には検証可能な完了と限定された権限が必要です。
理解を示すには
成功、拒否、タイムアウト、不正形式を追跡します。拒否された操作が実行されず、再試行が冪等であることを確認します。回数、時間、費用を別々に制限し、まず模擬ツールで検証します。
完全な Python 例を実行
Python 3.10+・標準ライブラリのみ・決定的計算で乱数シード不要・通信なし。保存して下のコマンドを実行します。教育用の確認で、モデルの性能評価ではありません。
Python をダウンロード · agent.pypython3 agent.py# Python 3.10+; standard library; deterministic; no network.
# In-memory mock only: no real payment or network call.
ledger = {}
def pay(key, amount):
if key in ledger:
if ledger[key] != amount:
raise ValueError("same key with different request")
return "already applied"
ledger[key] = amount
return "applied"
assert pay("order-1", 10) == "applied"
# Pretend the reply was lost. Reconcile and retry with the same key.
assert ledger.get("order-1") == 10
assert pay("order-1", 10) == "already applied"
assert len(ledger) == 1
try:
pay("order-1", 20)
raise AssertionError("conflicting retry accepted")
except ValueError:
pass
print("one effect; duplicate retry suppressed")
期待する出力
one effect; duplicate retry suppressed
基礎解説更新:
参考文献と追加チュートリアル
- TypeSafe — Introductionhttps://docs.typesafe.ai/introduction
- Jev Engineering for Coding Agents — PDF · 2026-09https://jevforagents.com/media/Jev-Engineering-for-Coding-Agents.pdf
- InstructGPT — arXiv:2203.02155v1 · 2022-03-04https://arxiv.org/abs/2203.02155v1
- TypeSafe — Introducing System One Models & Jev · 2026-09-15https://typesafe.ai/blog/introducing-system-one-models-and-jev
- TypeSafe — AI primer / RLCDhttps://docs.typesafe.ai/introduction/machine-learning-primer
- TypeSafe — Choicehttps://docs.typesafe.ai/primitives/choice
- TypeSafe — Scorehttps://docs.typesafe.ai/primitives/score
- TypeSafe — Noulhttps://docs.typesafe.ai/primitives/noul
- TypeSafe — Confidencehttps://docs.typesafe.ai/confidence
- FastContext — arXiv HTML v1https://arxiv.org/html/2606.14066v1
- TypeSafe — API / Quick starthttps://docs.typesafe.ai/introduction/quickstart
- TypeSafe — Agent skillshttps://github.com/typesafe-ai/skills
- TypeSafe — Workflow evaluationshttps://evals.typesafe.ai/
- InstructGPT — PDF v1https://arxiv.org/pdf/2203.02155v1
- FastContext — abstract / version historyhttps://arxiv.org/abs/2606.14066v1
- FastContext — PDF v1https://arxiv.org/pdf/2606.14066v1