토크나이저

프롬프트, 코드, 다국어 텍스트를 붙여 넣으면 토큰 수가 자동으로 갱신됩니다.

01인코딩과 예제 선택

인코딩

예제 실행

토큰화할 텍스트

—UTF-8 · 최대 100,000 UTF-16 코드 단위

각 색상은 토큰 하나를 나타냅니다. 선택하면 ID와 디코딩된 조각을 확인할 수 있습니다.

공백 → · 줄바꿈 → ↵ID 표시

전체 토큰—인코딩된 텍스트만 계산

문자 / 토큰—시각적 글자가 아닌 유니코드 코드 포인트

UTF-8 바이트—바이트와 토큰은 서로 다른 단위입니다

선택한 토큰토큰 선택 ↗텍스트와 토큰 ID의 관계 확인

토큰에 UTF-8 문자의 일부만 들어 있으면 �로 보일 수 있습니다. 전체 시퀀스를 디코딩하면 원문이 복원됩니다. 최대 2,000개 토큰을 표시하지만 계산과 내보내기는 전체를 포함합니다.

준비 완료 · 텍스트만 계산하며 API 메시지 오버헤드는 제외합니다.

입력을 나누고 출력 공간을 확보한 다음 가장 큰 부분을 확인하세요.

컨텍스트 한도 (직접 설정)출력용 예약 토큰메시지 / 도구 / 기타 오버헤드 (추정)

각 부분을 개별 인코딩한 뒤 합산합니다. 실제 요청에는 구분자, 메시지 형식, 도구, 미디어 등이 추가됩니다. 대상 모델의 한도를 확인하고 API usage와 비교하세요.

JSON 붙여 넣기 → 필드 크기 확인 → 포함된 미디어를 로컬에서 디코딩 및 미리보기.

최대 12 MiB UTF-8 · 외부 URL은 자동으로 불러오지 않습니다

전체 JSON 요청을 붙여 넣거나 예제를 불러오세요.

필드 크기는 직렬화한 JSON 값의 UTF-8 바이트입니다. 부모와 자식의 크기는 중복됩니다. Base64는 크기를 약 3분의 1 늘립니다. 미디어 바이트는 모델의 미디어 토큰과 다릅니다.