RAG 分块实验室
观察 Unicode 安全的分块边界、重叠范围与真实文本 Token 数。
学习指南与本课目录
LEARNING CONTRACT理解 → 实现 → 研究
目标：解释本课机制、复现一个例子、测试一个失败案例。读完不自动代表掌握。
- 理解层：写明假设、形状/单位和一个反例。
- 实现层：复算数值例子并检查边界。
- 研究层：在匹配预算下比较一个替代方法。
01设置参数
02填入输入
设置参数、载入示例，或粘贴自己的输入。
03查看结果
设置参数、载入示例，或粘贴自己的输入。
页面可能仅展示部分内容；导出的 JSON 报告包含全部计算结果。
如何理解结果
分块大小与 overlap 按 Unicode 码点计算，不是 Token。段落优先模式会在分块后半段寻找换行边界。逐块计算 Token。更大的 overlap 会重复文本，也可能增加 embedding 工作量，但本工具不评估检索质量。最多 100,000 码点、2,000 块。
方法参考
假设、参考实现与验收
块长和重叠单位为 Unicode 码点，不是 token 或 UTF-8 字节。去掉重叠后应重建原文，再独立计 token。
已复核计数单位、统计假设及数值例子；提供商计费和真实 GPU 分配仍须实测。
运行前：预测一个边界情况
块长和重叠单位为 Unicode 码点，不是 token 或 UTF-8 字节。去掉重叠后应重建原文，再独立计 token。
提示：隔离假设
固定基线输入，只改变一个参数或边界；同时比较数值与声明单位。单例通过仅验证该样例。
最小可运行算例
将算例及所链接模块保存在同一目录。使用 Node.js 22 或更高版本，然后运行 node rag-chunker.mjs. npm install gpt-tokenizer@4.1.0
import {encode as rawEncode} from 'gpt-tokenizer/encoding/cl100k_base';
import {promptDiff,inspectDataset,chunkDocument,compareScores,estimateVRAM,samplingLab,speculativeLab} from './research-core.mjs';
const encode=s=>rawEncode(s,{disallowedSpecial:new Set()});
const text='你好🌍 abc '.repeat(8);
const result=chunkDocument(text,16,5,'fixed',encode);
const rebuilt=result.chunks.map(c=>Array.from(c.text).slice(c.overlapWithPrevious).join('')).join('');
console.log(rebuilt===text); // true测试与迁移
块长和重叠单位为 Unicode 码点，不是 token 或 UTF-8 字节。去掉重叠后应重建原文，再独立计 token。
在下方笔记记录输入、代码版本、期望值和实测值；再构造违反上述假设的反例，解释原结论为何不再成立。
下载完整代码包（.tar.gz） · 完整参考代码与回归检查预测、检验与证据记录
展开答案前先预测一个结果；练习后记录差异和迁移测试。记录仅存本地，在不同语言版本间共用。
打开记录／导出／清除 →数学复核范围逐篇记录，不代表完成论文实证复现；可在笔记中记录疑似错误。 复核范围