Token Lab검색

← 도구로 돌아가기
로컬 전용 · 모델 호출 없음

디버깅은 줄이고, 발견은 늘리고.

AI 엔지니어, 연구자, 박사과정 학생을 위한 로컬 도구 7개. 데이터 검사, 실험 비교, 샘플링과 디코딩 가설 검증을 제공합니다.

토크나이저 · 컨텍스트 예산 · 요청 검사기 →

01

프롬프트 차이와 토큰 변화

두 버전을 줄 단위로 비교하고 토큰 및 UTF-8 바이트 변화를 측정합니다.

도구 열기 →
02

JSONL 데이터셋 검사

잘못된 레코드, 중복, 긴 입력, 학습·검증 집합의 정확한 겹침을 찾습니다.

도구 열기 →
03

RAG 청크 실험실

유니코드 안전 경계, 겹침 범위, 실제 텍스트 토큰 수를 확인합니다.

도구 열기 →
04

대응 평가 결과 비교

같은 예제에서 두 시스템을 비교하고 재현 가능한 bootstrap 구간을 계산합니다.

도구 열기 →
05

GPU 메모리 추정기

실행 전에 가중치, KV 캐시, 전체 학습 상태를 분해해 봅니다.

도구 열기 →
06

샘플링 실험: logits → 토큰

재현 가능한 로컬 분포에서 temperature, top-k, top-p를 테스트합니다.

도구 열기 →
07

추측 디코딩 실험

수락률과 지연 가정을 명시해 초안 모델의 가속 및 감속 조건을 살펴봅니다.

도구 열기 →