LLM 与 Agent 学习路线图:从模型原理到工程落地 llm LLM 与 Agent 学习路线图:从模型原理到工程落地 置顶! 有更新! 从 Tokenizer 和 Transformer 起步,沿着模型训练、API 与流式协议、推理部署、Agent 运行时、RAG、安全护栏和生产运维展开。全篇按先... 0 评论 0 浏览
常用工具网站导航 导航 常用工具网站导航 置顶! 有更新! 导航页已改成:https://lacknb.com 文件加速下载 https://d.serctl.com/ 可以用来下载直链 https://ghproxy.... 0 评论 0 浏览
LLM 训练 TRN-01|预训练语料与 Token 数据管线 llm LLM 训练 TRN-01|预训练语料与 Token 数据管线 用 9 篇退款与报表说明文档走完预训练数据管线:许可白名单、网页清洗与邮箱脱敏、精确与近似去重、测试集去污染、文档级切分、分词打包与 uint16 分片,最后手算... 0 评论 0 浏览
LLM 评测 LE-07|什么是评测,如何跑通第一条用例 llm LLM 评测 LE-07|什么是评测,如何跑通第一条用例 有更新! 用金额为 10、空、0 的三行退款 CSV 做第一条评测用例。先写出正确答案,再让同一个评分器检查可解析性、字段、条数和均值,最后用一段标准库 Python 记录... 0 评论 0 浏览
LLM 评测 LE-01|从业务目标到数据集、基线和评分 llm LLM 评测 LE-01|从业务目标到数据集、基线和评分 有更新! 把单条退款评测扩成可版本化的数据集,加入黄金样本、边界情形和历史失败,用固定切分与相同评分器比较两种统计口径,记录参考答案、分层和失败原因,再用 SHA-256 ... 0 评论 0 浏览
LLM 评测 LE-08|如何设计可测试的评分器与评分准则 llm LLM 评测 LE-08|如何设计可测试的评分器与评分准则 有更新! 为退款统计评分器写已知正误的测试,从 JSON Schema 过渡到数值公差和业务不变量,再用解释是否交代空值、零值和分母来定义人工评分准则,并明确平局、拒答和工... 0 评论 0 浏览
LLM 评测 LE-10|常用 LLM 评测数据集测什么,应该怎么选 llm LLM 评测 LE-10|常用 LLM 评测数据集测什么,应该怎么选 有更新! 从 MMLU、C-Eval、GSM8K 和 HumanEval 各读一条有来源的公开样本,比较选择题、数值答案与代码补全的判定方式,说明准确率、答案抽取、功能测试... 0 评论 0 浏览
LLM 评测 LE-02|公开基准实战,怎样复现并比较模型结果 llm LLM 评测 LE-02|公开基准实战,怎样复现并比较模型结果 有更新! 用 LM Evaluation Harness 在 Apple Silicon CPU 上固定 GSM8K 的八条测试样本,实际比较 Qwen 与 SmolLM2... 0 评论 0 浏览
LLM 评测 LE-03|LLM-as-a-Judge 与人工校准 llm LLM 评测 LE-03|LLM-as-a-Judge 与人工校准 有更新! 用退款均值解释制定人工评分准则,再让本地模型给成对答案评分。交换答案位置,保留平局与无法判定,对比人工标注、有效覆盖率和换位一致性,并说明哪些业务字段应留给确定性... 0 评论 0 浏览
LLM 评测 LE-09|怎样判断两版效果差异是否可信 llm LLM 评测 LE-09|怎样判断两版效果差异是否可信 有更新! 用八条退款任务、每题三次试验比较两版提示,先计算同题差值和分层结果,再以题为单位做成对重采样。用固定随机种子复算不确定区间,并说明同题的多次试验怎样影响推断和业务... 0 评论 0 浏览