LLM 与 Agent 学习路线图:从模型原理到工程落地 llm LLM 与 Agent 学习路线图:从模型原理到工程落地 置顶! 有更新! 从 Tokenizer 和 Transformer 起步,沿着模型训练、API 与流式协议、推理部署、Agent 运行时、RAG、安全护栏和生产运维展开。全篇按先... 0 评论 0 浏览
常用工具网站导航 导航 常用工具网站导航 置顶! 有更新! 导航页已改成:https://lacknb.com 文件加速下载 https://d.serctl.com/ 可以用来下载直链 https://ghproxy.... 0 评论 0 浏览
LLM 入门 F-12|推理时计算与 Reasoning 模型怎样比较? llm LLM 入门 F-12|推理时计算与 Reasoning 模型怎样比较? 有更新! 以四道退款汇总题为固定样本,区分逐 Token 解码、服务端推理强度和应用层多次采样。用同一套评分脚本比较正确率、Token 用量、延迟和输出预算触顶率,并提供可... 0 评论 0 浏览
LLM 入门 F-11|GRPO 怎样用同组答案的奖励更新模型? llm LLM 入门 F-11|GRPO 怎样用同组答案的奖励更新模型? 有更新! 拿同一条退款统计题的四个答案,逐项检查奖励、计算组内平均与标准差,再做一次简化的策略更新。看清优势、旧策略、概率比率和参考模型的分工,并用满分同组与弱校验说明评测... 0 评论 0 浏览
LLM 入门 F-10|模型从预训练到会按要求回答 llm LLM 入门 F-10|模型从预训练到会按要求回答 有更新! 用同一条退款统计请求,对照原始文本、示范答案、偏好对和可验证奖励分别提供什么训练信号。通过一个小实验手算下一 Token 损失和回答遮罩,再解释全量微调与 LoR... 0 评论 0 浏览
LLM 入门 F-09|多模态请求如何进入模型? llm LLM 入门 F-09|多模态请求如何进入模型? 有更新! 用一张带蓝色单元格的报表截图,追踪图文消息、像素小块、视觉向量和语言模型的输入位置。实测同一问题在纯文本和两种图像尺寸下占用多少位置,再用小模型验证图文输入如何汇... 0 评论 0 浏览
LLM 入门 F-08|模型精度与量化:权重怎样缩到 4 位? llm LLM 入门 F-08|模型精度与量化:权重怎样缩到 4 位? 有更新! 从报表模型的一次点积出发,手算比例因子、整数编码、恢复误差和低比特打包。比较 FP16、BF16、INT8、INT4,区分权重量化与键值缓存量化,再看 GPTQ、... 0 评论 0 浏览
LLM 入门 F-07|TTFT、TPOT、ITL 与吞吐怎样量? llm LLM 入门 F-07|TTFT、TPOT、ITL 与吞吐怎样量? 有更新! 把一次固定长度的报表请求拆成排队、模型首个输出、服务发出文本和页面呈现。用逐事件时钟手算首 Token 延迟、逐 Token 间隔与请求耗时,再对比排队增加和页面... 0 评论 0 浏览
LLM 入门 F-14|FlashAttention 如何减少注意力的显存读写? llm LLM 入门 F-14|FlashAttention 如何减少注意力的显存读写? 有更新! 从一行注意力分数手算整行与分块 Softmax,理解 FlashAttention 为什么能保留数学结果,又少搬运完整的分数矩阵。文章给出 CPU 数值对照及可选... 0 评论 0 浏览
LLM 入门 F-06|KV Cache 如何加速 Decode? llm LLM 入门 F-06|KV Cache 如何加速 Decode? 有更新! 从上一篇的增量生成出发,打开两层模型的 K、V 缓存,实测追加一个 Token 前后的张量形状与字节数。用固定 Qwen 配置估算长上下文的容量和读取成本,并对照... 0 评论 0 浏览