기술 설명, 매개변수 이름과 참고 답변은 현재 영어입니다.
어텐션과 마스크
방법을 읽고 입력 하나를 바꾸어 내보낸 결과를 비교하세요.
인과 어텐션 기준
Future positions must receive zero probability.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗양방향 문맥
Removing the mask exposes future keys.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗집중된 어텐션
Larger logits concentrate probability on the largest visible score.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗균일한 어텐션
Equal visible logits yield uniform weights.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗부드러운 어텐션
A smaller scale moves weights toward uniform without changing visibility.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗임베딩 기하
방법을 읽고 입력 하나를 바꾸어 내보낸 결과를 비교하세요.
코사인 최근접
A large document norm should not dominate cosine ranking.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗내적의 크기 편향
The long vector may outrank a better-aligned short vector.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗쿼리 회전
Rotating the query changes which document aligns best.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗반대 방향
Opposite vectors receive negative cosine scores.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗영벡터 경계
The lab returns zero scores for an undefined cosine denominator.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗KV 캐시와 페이징
방법을 읽고 입력 하나를 바꾸어 내보낸 결과를 비교하세요.
GQA 기준
Eight KV heads use one quarter the cache of 32 heads.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗멀티헤드 캐시
More KV heads scale cache bytes linearly.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗멀티쿼리 캐시
One KV head sharply reduces logical cache size.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗긴 문맥 배치
Sequence and batch size multiply memory demand.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗페이지 단편화
One extra token allocates an additional page per sequence.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗신경망 학습
작은 신경망을 학습하고 결정 경계를 관찰하세요.
XOR 사분면 학습
A nonlinear hidden layer can fit this non-linearly separable task.
브라우저 실제 학습 · 실험 열기 ↗은닉층 용량 부족
One hidden unit limits the available decision boundaries.
브라우저 실제 학습 · 실험 열기 ↗느린 학습
A lower learning rate may need more epochs.
브라우저 실제 학습 · 실험 열기 ↗원형 분류
The hidden layer can approximate a curved boundary.
브라우저 실제 학습 · 실험 열기 ↗시드 민감도
Initialization and sampled data affect the learning trajectory.
브라우저 실제 학습 · 실험 열기 ↗제한된 에이전트
방법을 읽고 입력 하나를 바꾸어 내보낸 결과를 비교하세요.
사람의 승인 단계
A write pauses without the mock approval toggle.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗승인된 모의 쓰기
Approval permits only the local mock write.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗도구 허용 목록
A disallowed calculator call stops the workflow.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗예산 소진
The second paid action is blocked before exceeding budget.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗메모리 잘라내기
Only the latest result survives FIFO truncation.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗하이브리드 검색과 재정렬
방법을 읽고 입력 하나를 바꾸어 내보낸 결과를 비교하세요.
하이브리드 결합
Combining independent ranks can promote shared candidates.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗어휘 검색만
Exact query words alone set the ranking.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗벡터 검색만
Only vector direction determines the ranking.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗오라클 재정렬 상한
Perfect labels can improve ordering only inside the candidate pool.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗후보 부족
Even an oracle cannot recover documents excluded before reranking.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗LLM 심판 감사
방법을 읽고 입력 하나를 바꾸어 내보낸 결과를 비교하세요.
심판의 혼합 일치율
Agreement and order consistency measure different properties.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗완벽한 일치
Perfect labels yield agreement and consistency of one.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗항상 첫 번째 선택
Selecting the first position fails swap consistency.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗무승부가 많은 데이터
A large tie class can make aggregate agreement misleading.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗일관되게 틀리는 심판
A judge can be order-consistent and disagree with every human label.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗모델 라우팅과 폴백
방법을 읽고 입력 하나를 바꾸어 내보낸 결과를 비교하세요.
2단계 라우팅
Most traffic uses the cheap path; failures add strong-model cost.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗강력한 모델만
Strong-only routing provides a simple cost baseline.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗빈번한 폴백
High fallback frequency can erase routing savings.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗저비용 모델 장애
Every request pays both cost and latency before successful fallback.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗기본 모델 장애 없음
Expected cost is a weighted average without retries.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗양자화와 이상치
방법을 읽고 입력 하나를 바꾸어 내보낸 결과를 비교하세요.
4비트 양자화
Fewer representable values introduce rounding error.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗8비트 복원
More quantization levels usually reduce reconstruction error.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗2비트 스트레스 테스트
Only three signed levels preserve little detail.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗이상치가 지배하는 스케일
An outlier enlarges the global step and collapses small values.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗모든 값이 0인 텐서
The zero-range safeguard reconstructs all zeros exactly.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗요청 캐시와 TTL
방법을 읽고 입력 하나를 바꾸어 내보낸 결과를 비교하세요.
지역성 기준
Repeated keys can avoid repeated model work.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗용량 부족 스래싱
A tiny cache evicts useful entries before reuse.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗TTL 만료
Entries expire at the next request with this interval.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗높은 재사용 부하
Temporal locality improves the hit rate.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗모두 고유한 요청
Unique keys provide no exact-match cache savings.
로컬 계산 / 시뮬레이션 · 실험 열기 ↗Tokenizers · RAG chunking · Sampling · Evals
프롬프트 차이와 토큰 변화
두 버전을 줄 단위로 비교하고 토큰 및 UTF-8 바이트 변화를 측정합니다.
도구 열기 →JSONL 데이터셋 검사
잘못된 레코드, 중복, 긴 입력, 학습·검증 집합의 정확한 겹침을 찾습니다.
도구 열기 →RAG 청크 실험실
유니코드 안전 경계, 겹침 범위, 실제 텍스트 토큰 수를 확인합니다.
도구 열기 →대응 평가 결과 비교
같은 예제에서 두 시스템을 비교하고 재현 가능한 bootstrap 구간을 계산합니다.
도구 열기 →GPU 메모리 추정기
실행 전에 가중치, KV 캐시, 전체 학습 상태를 분해해 봅니다.
도구 열기 →샘플링 실험: logits → 토큰
재현 가능한 로컬 분포에서 temperature, top-k, top-p를 테스트합니다.
도구 열기 →추측 디코딩 실험
수락률과 지연 가정을 명시해 초안 모델의 가속 및 감속 조건을 살펴봅니다.
도구 열기 →외부 API 없는 로컬 교육용 실험입니다. 합성 데이터는 운영 환경 측정이 아닙니다.