トークナイザー

プロンプト、コード、多言語テキストを貼り付けると、計数が自動更新されます。

01エンコーディングと例を選ぶ

エンコーディング

例を試す

トークン化するテキスト

—UTF-8 · 最大100,000 UTF-16コード単位

各色が1つのトークンです。選択するとIDとデコードされた断片を表示します。

空白 → · 改行 → ↵IDを表示

総トークン数—エンコードしたテキストのみ

文字数 / トークン—見た目の文字ではなくUnicodeコードポイント

UTF-8バイト数—バイトとトークンは異なる単位です

選択中のトークントークンを選択 ↗テキストとトークンIDの対応を確認

トークンがUTF-8文字の一部だけを含む場合、単独では�と表示されます。列全体をデコードすれば元のテキストに戻ります。表示は最大2,000トークンですが、計数と出力にはすべて含まれます。

準備完了 · テキストのみ。APIメッセージの付加情報は含みません。

入力を分け、出力用の領域を確保して、最も大きい部分を確認します。

コンテキスト上限（任意設定）出力用の予約トークンメッセージ・ツールなどの付加情報（推定）

各部分を個別にエンコードして合計します。実際には区切り、メッセージ形式、ツール、メディアが加わります。対象モデルの上限を確認し、APIのusageと比較してください。

JSONを貼り付け → フィールドのサイズを確認 → 埋め込みメディアをローカルで表示。

最大12 MiB UTF-8 · 外部URLは自動取得しません

完全なJSONリクエストを貼り付けるか、サンプルを読み込んでください。

サイズは各JSON値をシリアライズしたUTF-8バイト数です。親と子の値は重複します。Base64はデータ量を約3分の1増やします。メディアのバイト数はモデルのトークン数とは異なります。