Por qué los idiomas, emojis y JSON cambian el recuento

Tres medidas diferentes

Los puntos de código Unicode representan texto; los bytes UTF-8, su almacenamiento; los tokens, su representación con un vocabulario concreto. Un emoji visible puede contener varios puntos de código, y un punto puede ocupar varios bytes o tokens.

La aproximación inglesa de cuatro caracteres por token no sirve como presupuesto multilingüe. Mide tu prompt real con su codificación.

Compara la misma entrada

Carga Idiomas y emojis y pulsa Comparar codificaciones. Ambos recuentos usan exactamente el mismo texto. Repite con tus prompts en español, japonés, coreano o chino: la proporción puede cambiar entre ejemplos.

JSON añade claves, comillas, signos y espacios. Compara una versión formateada con otra compacta. Eliminar espacios reduce bytes, pero el efecto sobre tokens depende de la codificación y del texto cercano.

import { encode } from 'gpt-tokenizer/encoding/cl100k_base';
// npm install gpt-tokenizer@4.1.0
const samples = [
  'Hello, world!', '你好，世界！',
  '¡Hola, mundo!', 'こんにちは、世界！',
  '안녕하세요, 세계!', '👨‍👩‍👧‍👦'
];
for (const text of samples) {
  const ids = encode(text);
  console.log(text, ids.length);
}

Optimiza el significado

Elimina primero campos innecesarios, documentos repetidos e historial irrelevante. Conserva las restricciones y la evidencia. Un prompt visualmente más corto no siempre tiene menos tokens, y reducirlos no garantiza mantener la calidad.

Crea un pequeño conjunto de pruebas multilingües. Tras cada cambio, evalúa tanto el recuento como la corrección de las respuestas. No uses estas codificaciones como contadores exactos de tokenizadores ajenos.