Token LabBuscar

Tokenizador & Inspector de solicitudes

Sin clave API · Los datos permanecen en el navegador

Cargando el tokenizador…

Tokenizador

Pega un prompt, código o texto multilingüe. El recuento se actualiza al escribir.

01Elige una codificación y un ejemplo

Prueba un ejemplo

02Introduce el texto

—UTF-8 · Hasta 100.000 unidades de código UTF-16

03Explora la secuencia de tokens

Cada color representa un token. Selecciónalo para ver su ID y el fragmento decodificado.

Espacios → · Saltos de línea → ↵
Total de tokens—Solo el texto codificado
Caracteres / token—Puntos de código Unicode, no glifos
Bytes UTF-8—Bytes y tokens son medidas diferentes
Token seleccionadoSelecciona un token ↗Explora la relación entre el texto y los IDs

Un token puede contener solo parte de un carácter UTF-8 y mostrarse como �. Decodificar toda la secuencia restaura el texto. Se muestran hasta 2.000 tokens; el recuento y la exportación incluyen todos.

04Compara o exporta

Listo · Solo texto; no incluye la sobrecarga de mensajes de la API.