在约束中生长:一个端侧类人认知系统的完整设计(修订版)
一份端侧类人认知系统的完整设计:统一计算图 + 三个门控、可寻址的记忆分层、只在输出端做温度不做具体性、导入而非采集的多模态、一份自洽且标了「目标」的功耗预算,以及一整节失败模式。修订版修掉了初稿里最贵的那个错——把不可寻址的权重和可寻址的记忆写进了同一层。
一份端侧类人认知系统的完整设计:统一计算图 + 三个门控、可寻址的记忆分层、只在输出端做温度不做具体性、导入而非采集的多模态、一份自洽且标了「目标」的功耗预算,以及一整节失败模式。修订版修掉了初稿里最贵的那个错——把不可寻址的权重和可寻址的记忆写进了同一层。
很多工作拿一个通用美学分数当质量指标。这篇给出三条独立的、来自论文的反对理由:审计查出系统性偏好、零结果可能只是量不准、以及视觉语言模型在字体识别上瞎得极其有规律。
同一个人的多次采样要彼此不同、又要认得出是同一个人——这个要求在通用图像生成里有一个成熟的定义,在中文书法与手写生成的四篇最强工作里却没有一篇正面处理,而且失败形态各不相同。
SIL Open Font License 1.1 的 FAQ 里有两条专门写 AI 与机器学习的条款:一条说不行,一条说行——但它们的分界线不在「有没有用 AI」,而在「产物是不是一个字体」。本文逐字引用这两条原文,说明它们怎么共同构成一条产品边界,以及为什么别人的先例只提供沉默、不提供授权。
一句 2010 年综述摘要里的弱判断,被我们写成了「压感从静态图像不可辨识」。这篇把这句话里的三件事拆开,说明该改成什么,以及改完之后有一条独立于「不可辨识」的更硬的理由。
把重建误差当主信号是很多生成模型的默认选择,而这条主信号可能测不出你要的东西:DiffInk 的一张表里重建准确率几乎不动、下游生成却翻了一倍,另一篇论文干脆把渲染器从反传路径上整个摘了下来。
六个在文献调研里真实踩中过的陷阱:curl 返回 200 且退出码 0 但文件被截断、凭印象构造的 DOI 指向一篇真实但无关的论文、相邻编号能解析、raw 域名永远不能列目录、两个 API 对「不存在」都返回 200、LaTeXML 把每个数字藏进 math alttext。它们的共同点不是答错,而是安静地答对——所以只能用判据挡,不能用报错挡。
把 block 里的每个设计,和它在推理侧逼出来的工程一项项对上。KV Cache、GQA、RoPE、量化、投机解码不是五个独立技术,而是同一个注意力公式的直接推论。
从 Q/K/V、FFN、门控这些看似冗余的设计出发,把 transformer block 拆到零件级别,讲清楚每个零件为什么必须在那个位置。
从因果掩码出发,把 decoder-only 模型的一次前向传播拆到零件级别,并解释 KV Cache、采样、量化这些推理优化到底在优化什么。