Token Lab検索

← ツールに戻る
ローカルのみ · モデル呼び出しなし

デバッグを減らし、発見を増やす。

AIエンジニア、研究者、博士課程向けの7つのローカルツール。データ検査、実験比較、サンプリングとデコーディングの仮説検証。

トークナイザー · コンテキスト予算 · リクエスト検査 →

01

プロンプト差分とトークン変化

2つのバージョンを行ごとに比較し、トークンとUTF-8バイトの変化を計測。

ツールを開く →
02

JSONLデータセット検査

不正レコード、重複、長すぎる入力、訓練と検証の完全一致を発見。

ツールを開く →
03

RAGチャンク実験室

Unicodeを壊さない境界、重複範囲、実際のトークン数を確認。

ツールを開く →
04

対応あり評価比較

同じサンプルで2つのシステムを比較し、再現可能なbootstrap区間を算出。

ツールを開く →
05

GPUメモリー見積もり

実行前に重み、KVキャッシュ、全量学習状態を分解。

ツールを開く →
06

サンプリング実験:logitsからトークンへ

temperature、top-k、top-pを再現可能なローカル分布で試します。

ツールを開く →
07

投機的デコーディング実験

採択率と遅延を明示し、ドラフトモデルが速くなる条件を検討します。

ツールを開く →