技術説明、パラメータ名、解答は現在英語です。
注意力とマスク
方法を読み、一つの変数を変えて出力を比較してください。
因果注意力の基準
Future positions must receive zero probability.
ローカル計算・シミュレーション · ラボを開く ↗双方向コンテキスト
Removing the mask exposes future keys.
ローカル計算・シミュレーション · ラボを開く ↗集中した注意力
Larger logits concentrate probability on the largest visible score.
ローカル計算・シミュレーション · ラボを開く ↗均一な注意力
Equal visible logits yield uniform weights.
ローカル計算・シミュレーション · ラボを開く ↗滑らかな注意力
A smaller scale moves weights toward uniform without changing visibility.
ローカル計算・シミュレーション · ラボを開く ↗埋め込みの幾何
方法を読み、一つの変数を変えて出力を比較してください。
コサイン近傍
A large document norm should not dominate cosine ranking.
ローカル計算・シミュレーション · ラボを開く ↗内積のノルム偏り
The long vector may outrank a better-aligned short vector.
ローカル計算・シミュレーション · ラボを開く ↗クエリの回転
Rotating the query changes which document aligns best.
ローカル計算・シミュレーション · ラボを開く ↗反対方向のベクトル
Opposite vectors receive negative cosine scores.
ローカル計算・シミュレーション · ラボを開く ↗ゼロベクトル
The lab returns zero scores for an undefined cosine denominator.
ローカル計算・シミュレーション · ラボを開く ↗KV キャッシュとページング
方法を読み、一つの変数を変えて出力を比較してください。
GQA の基準
Eight KV heads use one quarter the cache of 32 heads.
ローカル計算・シミュレーション · ラボを開く ↗マルチヘッドキャッシュ
More KV heads scale cache bytes linearly.
ローカル計算・シミュレーション · ラボを開く ↗マルチクエリキャッシュ
One KV head sharply reduces logical cache size.
ローカル計算・シミュレーション · ラボを開く ↗長文コンテキストのバッチ
Sequence and batch size multiply memory demand.
ローカル計算・シミュレーション · ラボを開く ↗ページの断片化
One extra token allocates an additional page per sequence.
ローカル計算・シミュレーション · ラボを開く ↗ニューラルネットを学習
小さなニューラルネットを学習させ、決定境界を観察します。
XOR 象限を学習
A nonlinear hidden layer can fit this non-linearly separable task.
ブラウザ内の実学習 · ラボを開く ↗隠れ層の容量不足
One hidden unit limits the available decision boundaries.
ブラウザ内の実学習 · ラボを開く ↗小さな学習率
A lower learning rate may need more epochs.
ブラウザ内の実学習 · ラボを開く ↗円の分類
The hidden layer can approximate a curved boundary.
ブラウザ内の実学習 · ラボを開く ↗乱数シードの影響
Initialization and sampled data affect the learning trajectory.
ブラウザ内の実学習 · ラボを開く ↗制限付きエージェント
方法を読み、一つの変数を変えて出力を比較してください。
人間の承認ゲート
A write pauses without the mock approval toggle.
ローカル計算・シミュレーション · ラボを開く ↗承認済み模擬書き込み
Approval permits only the local mock write.
ローカル計算・シミュレーション · ラボを開く ↗ツールの許可リスト
A disallowed calculator call stops the workflow.
ローカル計算・シミュレーション · ラボを開く ↗予算の枯渇
The second paid action is blocked before exceeding budget.
ローカル計算・シミュレーション · ラボを開く ↗メモリの切り捨て
Only the latest result survives FIFO truncation.
ローカル計算・シミュレーション · ラボを開く ↗ハイブリッド検索と再順位付け
方法を読み、一つの変数を変えて出力を比較してください。
ハイブリッド融合
Combining independent ranks can promote shared candidates.
ローカル計算・シミュレーション · ラボを開く ↗語彙検索のみ
Exact query words alone set the ranking.
ローカル計算・シミュレーション · ラボを開く ↗ベクトル検索のみ
Only vector direction determines the ranking.
ローカル計算・シミュレーション · ラボを開く ↗オラクル再順位付けの上限
Perfect labels can improve ordering only inside the candidate pool.
ローカル計算・シミュレーション · ラボを開く ↗候補の不足
Even an oracle cannot recover documents excluded before reranking.
ローカル計算・シミュレーション · ラボを開く ↗LLM 評価者の監査
方法を読み、一つの変数を変えて出力を比較してください。
評価者の混合一致率
Agreement and order consistency measure different properties.
ローカル計算・シミュレーション · ラボを開く ↗完全一致
Perfect labels yield agreement and consistency of one.
ローカル計算・シミュレーション · ラボを開く ↗常に最初を選ぶ
Selecting the first position fails swap consistency.
ローカル計算・シミュレーション · ラボを開く ↗引き分けの多いデータ
A large tie class can make aggregate agreement misleading.
ローカル計算・シミュレーション · ラボを開く ↗一貫して誤る評価者
A judge can be order-consistent and disagree with every human label.
ローカル計算・シミュレーション · ラボを開く ↗モデルルーティングとフォールバック
方法を読み、一つの変数を変えて出力を比較してください。
二段階ルーティング
Most traffic uses the cheap path; failures add strong-model cost.
ローカル計算・シミュレーション · ラボを開く ↗強力モデルのみ
Strong-only routing provides a simple cost baseline.
ローカル計算・シミュレーション · ラボを開く ↗頻繁なフォールバック
High fallback frequency can erase routing savings.
ローカル計算・シミュレーション · ラボを開く ↗低コストモデルの障害
Every request pays both cost and latency before successful fallback.
ローカル計算・シミュレーション · ラボを開く ↗一次モデルの障害なし
Expected cost is a weighted average without retries.
ローカル計算・シミュレーション · ラボを開く ↗量子化と外れ値
方法を読み、一つの変数を変えて出力を比較してください。
4 ビット量子化
Fewer representable values introduce rounding error.
ローカル計算・シミュレーション · ラボを開く ↗8 ビット再構成
More quantization levels usually reduce reconstruction error.
ローカル計算・シミュレーション · ラボを開く ↗2 ビットの限界
Only three signed levels preserve little detail.
ローカル計算・シミュレーション · ラボを開く ↗外れ値によるスケール変化
An outlier enlarges the global step and collapses small values.
ローカル計算・シミュレーション · ラボを開く ↗全ゼロテンソル
The zero-range safeguard reconstructs all zeros exactly.
ローカル計算・シミュレーション · ラボを開く ↗リクエストキャッシュと TTL
方法を読み、一つの変数を変えて出力を比較してください。
局所性の基準
Repeated keys can avoid repeated model work.
ローカル計算・シミュレーション · ラボを開く ↗容量不足のスラッシング
A tiny cache evicts useful entries before reuse.
ローカル計算・シミュレーション · ラボを開く ↗TTL の期限切れ
Entries expire at the next request with this interval.
ローカル計算・シミュレーション · ラボを開く ↗高い再利用率
Temporal locality improves the hit rate.
ローカル計算・シミュレーション · ラボを開く ↗すべて異なるリクエスト
Unique keys provide no exact-match cache savings.
ローカル計算・シミュレーション · ラボを開く ↗Tokenizers · RAG chunking · Sampling · Evals
プロンプト差分とトークン変化
2つのバージョンを行ごとに比較し、トークンとUTF-8バイトの変化を計測。
ツールを開く →JSONLデータセット検査
不正レコード、重複、長すぎる入力、訓練と検証の完全一致を発見。
ツールを開く →RAGチャンク実験室
Unicodeを壊さない境界、重複範囲、実際のトークン数を確認。
ツールを開く →対応あり評価比較
同じサンプルで2つのシステムを比較し、再現可能なbootstrap区間を算出。
ツールを開く →GPUメモリー見積もり
実行前に重み、KVキャッシュ、全量学習状態を分解。
ツールを開く →サンプリング実験：logitsからトークンへ
temperature、top-k、top-pを再現可能なローカル分布で試します。
ツールを開く →投機的デコーディング実験
採択率と遅延を明示し、ドラフトモデルが速くなる条件を検討します。
ツールを開く →外部 API を使わないローカル教材です。合成データの結果は本番測定ではありません。