Tokens y tokenizadores: del texto a la entrada del modelo

Un token no es una palabra

El modelo recibe IDs de tokens. El tokenizador transforma el texto en enteros mediante un vocabulario y reglas de codificación. Una palabra frecuente puede ocupar un token; un nombre poco común, varios. Los espacios, los signos y los saltos de línea también cuentan.

BPE forma unidades de subpalabras mediante reglas de combinación aprendidas. Los fragmentos visibles sirven para depurar, no para analizar lingüísticamente una frase.

Ejecuta un ejemplo reproducible

Elige cl100k_base e introduce exactamente Hello, world!, con coma y espacio. Obtendrás cuatro IDs: 9906, 11, 1917, 0. Selecciona cada bloque de color. Después elimina la coma o cambia las mayúsculas y observa el resultado.

Al pasar a o200k_base cambia el vocabulario, por lo que pueden cambiar los IDs y el recuento. Un ID solo tiene sentido junto con su codificación. Exporta ambos.

import { encode, decode } from
  'gpt-tokenizer/encoding/cl100k_base';

const text = 'Hello, world!';
const ids = encode(text);
// [9906, 11, 1917, 0]
console.log(ids.length); // 4
console.log(decode(ids) === text); // true

Verifica antes de integrar

Decodifica toda la secuencia y compárala con el original. Un token puede dividir un carácter UTF-8 y mostrarse como � por separado, aunque la secuencia completa se reconstruya correctamente.

Este contador procesa texto, no una solicitud API completa. Roles, definiciones de herramientas y medios pueden añadir uso. Contrasta el resultado local con la respuesta de la API antes de aplicarlo a facturación o límites estrictos.