「美学打分器」不能用，而且这不是我的主观判断

发表于 2026-10-18 分类于技术本文字数： 6.7k 阅读时长 ≈ 24

很多工作拿一个通用美学分数当质量指标。这篇给出三条独立的、来自论文的反对理由：审计查出系统性偏好、零结果可能只是量不准、以及视觉语言模型在字体识别上瞎得极其有规律。

作者 · kailfrong

写作日期 ：2026-10-18
面向读者 ：需要为生成结果找一把尺子的人——不管那把尺子是现成的美学打分器，还是通用视觉语言模型（Vision-Language Model，VLM），还是自己请的人
核心问题 ：「用一个通用分数当质量指标」这件事，凭什么不成立？如果不成立，换成什么才成立？
行文约定 ：中文为主；英文术语保留（TOST、VLM、PMI 等）；第一次出现的英文术语给全称

引子：一个通用分数是怎么变成质量指标的

用生成模型做图，最省事的验收办法是：找一个现成的美学打分器，让它给自己的输出打分，分数高的留下。

这套做法有一个隐含假设——那个分数测的就是我们关心的那个东西 。

不是。它测的是打分器作者的口味 ，而那个口味往往来自完全不同的语料、不同的时代、不同的语言。

本文不做「我觉得美学分不可靠」这种判断。 我手上没有那把尺子，也没有资格有。本文做的是另一件事：把「它有偏」这件事拆成三条各自独立、各自能变红的理由，每一条都指回一篇论文的具体位置。

这三条理由的形状完全不同，而这正是它们的价值所在：

graph TD A["通用美学分数被当成质量指标"] --> R1["理由一：筛选器本身有偏好 审计一个已经在生产里用的美学模型"] A --> R2["理由二：零结果可能来自测量误差 测不出偏差，也可能只是量不准"] A --> R3["理由三：读得出字，看不出字形 字体风格那一列几乎贴着随机基线"] R1 --> C1["换一把尺子也救不回来 要先问这把尺子测的是什么"] R2 --> C2["「没测到」和「量不到」必须分开"] R3 --> C3["不是分数低，是没有分辨力 它连方向都给不出"] style A fill:#fff3cd,stroke:#ffc107 style R1 fill:#f8d7da,stroke:#dc3545 style R2 fill:#f8d7da,stroke:#dc3545 style R3 fill:#f8d7da,stroke:#dc3545

三条里最值得写的不是第一条，而是第二条——因为第一条只对「用现成分数的人」成立，而第二条对任何用人工评审做判据的论文都成立，包括读者自己的论文。

另外有一篇同批写成的文章在讲另一侧的问题：《「从图里恢复不出压力」需要改口，而且理由比原来那条更硬》。两篇是同一条纪律的两个入口——那一篇问「能不能从成品图反推过程」，这一篇问「拿什么来评」。两边的答案都是同一句：一把量不了那个东西的尺子，不能拿来断言那个东西不存在。

1. 理由一：这个门本身就是有偏的

1.1 MET 上，只有 177 张过了线

要审计一把已经在生产里用的美学尺子，得先说清它是谁。

LAION-Aesthetics Predictor（简称 LAP） 是生成式视觉模型训练数据的一道美学质量过滤门：Stability AI 用它筛出的数据集去预训练了最早的 Stable Diffusion，此后它又被反复用来评估生成图质量、构造企业内部数据集。

作者要问两个问题：LAP 认为什么是高质量图像？这些偏见的来源在哪？

第一个问题的答案很干脆。他们在三个数据集上用 LAP 打分，其中 MET（大都会艺术博物馆开放获取藏品）249,351 张 ，而被判 6.5 分以上的只有 177 张 。人工把相近媒材合并之后，这 177 张只落在七类里：

媒材	过 6.5 的张数
油画	72
日本木版画	60
水彩	26
照片	15
Drawings（素描 / 习作）	2
彩色玻璃	1
蛋彩	1

非洲艺术、美洲原住民艺术、大洋洲艺术、伊斯兰艺术、埃及艺术、西亚艺术、希腊罗马艺术——一件都没有。

放宽到 6 分以上，全部 3,284 张里有 3,180 张（96.8%）集中在五个部门：亚洲艺术、照片、欧洲绘画、美国馆、绘画与版画。过线最多的两位艺术家是葛饰北斋（32 张）与歌川广重（23 张） 。

1.2 WikiArt 上，写实赢、抽象输

第二个数据集 WikiArt（81,444 张）给出了一致的方向：

城市风景、肖像、风景这三类只占全部图的 39%，却占 6.5 分以上的 73% 。
柯蒂斯（Edouard Cortès）214 张里 208 张过线，Antoine Blanchard 170 张里 168 张过线。
毕加索中位分 5.51 ，762 张里只有 1 张过线；沃霍尔、达利都低。

作者据此给出的结论性主张是：LAP 更准确的描述是一台「照片写实度测量仪」，不是「美学」测量仪。

而测量写实度本身无害，有害的是把写实度当成规范性（prescriptive）而不是描述性（descriptive）的属性。

1.3 它是怎么被造出来的——溯源比审计更狠

审计只能证明偏差存在，解释不了它怎么来的。所以作者做了第二条腿：溯源民族志 ，把 LAP 的公开材料凑齐，包括它的模型仓、数据集仓，以及一段 10 分钟的 YouTube 讲解视频 。

然后是训练数据。 LAP 用三个数据集训练，它们量的根本不是同一个东西：

	AVA（2012）	SAC（2022）	LAION-Logos（2022）
图数	255,530	146,372	26,730
每图平均评分数	210.1	1.2	1.48
评的是	同题材内的相对评分	绝对评分	绝对评分
图像来源	英文摄影比赛网站	文本生成图	LAION-5B
评分来源	该比赛网站	294 名 AI 爱好者	18 名 LAION 志愿者

三个数据集里有一个更刺眼的事实：SAC 的前 50 名最活跃志愿者，贡献了全部评分的 87.4% ；LAION-Logos 只有 18 个人评过。

而 AVA 抓的是 2002 至 2012 年间一个英文摄影比赛网站——作者引用世界银行的数据说，那段时间全球不到 33% 的人口上网，且多数在西方国家。这段是数据集作者自己写在 README 里的警告，不是本文作者的推断。

最后是那个最技术、也最容易被跳过的一层：AVA 评的是同一题材内部的相对名次，跨题材不可比；SAC 和 LAION-Logos 评的是绝对分。而 LAP 把三者混在一起训练。 更关键的是 AVA 保留了评分的分布，而 LAP 取平均来训——结果那类「高方差的图往往是非惯例的、创新性地使用摄影技术」的细节，在取平均时被抹掉了。

所以 LAP 更像是什么，作者给了个名字：它是按某一个特定的白人西方男性的口味设计的（原文把这归结为 imperial gaze 帝国凝视、realist gaze 写实凝视、male gaze 男性凝视三种凝视）。

1.4 作者自己承认的那条限制，值得抄

这一节是全篇最诚实的地方，也是最该被抄走的一条：

作者承认，他们用来审计的那套 MET 分类本身就是殖民主义的遗产——「原始艺术」这个分类本身就是那个遗产的一部分。所以「没有一件非洲艺术过线」这个结论里，有一部分反映的是分类本身，而不完全是模型的偏见。

⇒ 这条对任何用外部语料做审计的人都是警告 ：如果你的分组标签来自某套既有分类体系，那么「某组被判低分」里有多少是这一组本身、有多少是那套分类的价值排序，审计的方法答不了 。

还有一条方法学警告同样值钱 ：作者做点互信息（Pointwise Mutual Information，PMI）分析时发现，whites? 与 latin[oaxe]s? 的 PMI 都是 -0.95 ，看起来一样差——但前者出现 9,617 次 ，后者只有 26 次 。

⇒ 只看相对量，会把「罕见」和「被系统性压低」混为一谈。必须同时报绝对计数。

2. 理由二：「测不出偏差」可能只是「量不够准」

这是三条里最该写的一条，而且它的形状和第一条相反：第一篇查出了偏差，第二篇没查出来——而第二篇没查出来的那个结果，本身就可能是偏差造成的。

2.1 那篇论文的结论是「没有主效应」

Disentangling Algorithmic Bias from Archival Artifacts: A Controlled Audit of Vision-Language Model Valuation in Metropolitan Museum Archives（arXiv 预印本 2609.17572）要回答三个问题：CLIP 的图文相似度是否给女性艺术家的作品系统性更低的估值？换一种问法稳不稳？控制媒材、年代、长宽比之后性别还显著吗？

三个问题全部「没测出性别主效应」 ：

	OpenAI CLIP（ViT-B/32）	OpenCLIP（LAION-2B）
Mann-Whitney	p = 0.1829	p = 0.1224
bootstrap 95% 置信区间	[−0.0025, 0.0087]，跨零	[−0.0067, 0.0204]，跨零
多变量 OLS 的 R²	0.018（p = 0.512）	0.017（p = 0.455）
性别系数	B = 0.0037，p = 0.202	B = 0.0065，p = 0.356

看起来是一次干净的「无偏见」证明。 而且这篇的方法确实比多数同类工作讲究：它用 TOST（Two One-Sided Tests，双单侧检验）做等价性判断，而不是「p 大于 0.05 所以没差别」；它把剔除掉的样本当成一等公民来记录。

但注意 R² 那一行：模型只解释掉了不到 2% 的分数方差。 作者把这解释为「仪器不灵敏」（instrument insensitivity）——宏层面的分数等价必须被读成仪器不灵敏，而不是模型中立的证明。

2.2 但零结果的一部分，可能来自测量误差

现在说最要紧的那一条。

性别是用姓名词典判出来的。 那篇论文用 gender-guesser 判艺术家姓名的首个词元，并人工核了 100 对，结果是总体准确率 96.0%（96/100） ，按时段分层是 90.0% / 96.0% / 98.0%。

96% 意味着约 4% 的标注是错的。 而论文自己就指出了这件事的后果：测量误差会把回归斜率朝零方向衰减——也就是说，它会把本来存在的差异抹小。

把这件事写成公式就很清楚。在经典测量误差下，观察到的斜率是真实斜率乘上一个可靠性系数：

β_{obs} = β_{true} \times r, r = 1 - \frac{σ _{error}^{2}}{σ _{total}^{2}}

斜率朝零去的方向，和「测不出差异」的方向是同一个。 那 4% 的标注错误不只是让结论更弱，它有可能就是让结论变成零的原因 。

而那篇论文只做了定性论证，没有做敏感性分析——它没有回答「把误差率翻倍之后，性别系数还稳不稳」这个唯一能分开两种解释的问题。

这里有一个让这条更锋利的细节。 那篇论文为了排除「样本量不够」这个解释，做了事后功效分析：功效（ $1 - β$ ）大于 0.998 ，足以检出相当小的小效应。

也就是说：「样本不够」这条通道它已经堵死了，而「测量误差把斜率压到零」这条通道它留着没堵。 当你排除掉一种解释之后，剩下的那一种不会自动变得更可疑——它只是成了唯一还没被排除的那一种。

⇒ 所以「测不出性别偏差」这个结论，有一部分可能是这个测量误差造出来的，而这一点在论文里没有被排除。

这一条是全篇最值得记住的一句 ：「测不出来」有两种完全不同的原因，而它们需要两种不同的补救。 第 4 节会把它拆开。

2.3 顺带两条：等价是带界的，界还是拍的

即便不讨论测量误差，那篇论文的「等价」也带着两条限制，而引用它的人经常把这两条丢掉。

第一条，等价只在给定界内成立。 论文扫了一整张表：

等价界	OpenAI CLIP 的 p	OpenCLIP 的 p
0.30（论文采用）	0.0042，通过	0.0024，通过
0.25	0.0210，通过	0.0135，通过
0.20	0.0714，通不过	0.0518，通不过
0.15	0.1873，通不过	0.1522，通不过

「两性估值等价」只在 d 大于等于 0.25 时成立。 界一降到 0.20，结论就翻转。

第二条，这个界是怎么定的，论文没给理由。 它没解释为什么选 0.30 而不是 0.10。「等价」这个词的强度完全由这个数决定，而它在这里是拍的。

⇒ 引用「这篇证明了两者等价」而不带这个界，是把结论放大了。

2.4 还有一条最容易被忽略的：幸存者偏差

那篇论文从 1,500 件藏品开始，剔掉 618 件（41.20%） ，再剔掉 139 件，最终剩 743 件（男性 534 / 女性 209）。而那 618 件的构成是：

被剔除样品的媒材	占比
织物	38.2%（236 件）
装饰陶瓷与木作	31.6%（195 件）
版画 / 印刷	18.4%（114 件）
未分类家居物件	11.8%（73 件）

最终那 743 件已经是一个高度同质化的「幸存者子集」 ：油画占 74.43% ，雕塑只有 0.81% （6 件，且女性为 0）。

⇒ 在这个被人为同质化的高地位幸存子集上证明「模型对经典作者是公平的」，并不意味着不存在制度性偏见——因为那种偏见发生在上游的入库与著录环节，下游的分数结构性地看不见它。

3. 理由三：读得出字，看不出字长什么样

前两条讲的是「人怎么打分」。第三条讲的是模型怎么打分 ，而它的形状最干净。

Reading ≠ Seeing: Diagnosing and Closing the Typography Gap in Vision-Language Models（arXiv 预印本 2603.08497）构造了一个受控基准：合成渲染图，字是谁的、什么内容全部作为混淆变量被钉死，每个属性问一道四选一题，随机基线 25% 。全部 15 个模型的温度设为 0。

3.1 字体风格那一列，整列贴着基线

字体风格（font style）的准确率区间是 22.8 到 33.6，中位数 28.8。 而随机基线是 25.0。

观察	数值
15 个模型的极差	10.8 个百分点（22.8 → 33.6）
其中 13 个挤在	25.6 – 33.6，即离基线 0.6 – 8.6 个百分点
低于基线的模型	字体风格这一列有 1 个（22.8）
论文附录的判定	低于基线那个模型与另一个模型的总体成绩，与 25% 基线无统计显著差异（p > 0.05）

⇒ 在这个属性上，模型之间的差别远小于它们与随机猜的差别。 最好的那个也只比随机高 8.6 个百分点。

3.2 把「送分题」去掉，真实差距才显出来

颜色那一列把总分抬得很高——多数模型 89 到 100。 但排除颜色之后，15 个模型的平均准确率只有约 35% （全表最好的那个从 66.7 掉到 55.6）。

而正文里那句「颜色识别近乎完美，89 到 100」还漏掉了两个例外：其中一个的颜色是 24.8 ，另一个是 26.8 ，都在随机基线附近 。引用「颜色几乎完美」这个结论时必须带上这个例外。

⇒ 「一个通用模型看起来还行」这个印象，有一大半是「它认得出来这是什么字」这件事贡献的。

3.3 最硬的一条：冲突条件下塌回随机基线

那篇论文在一个独立基准 FRB 上做了交叉验证，做法是设置文字内容本身写着与画面冲突的字体名——比如用 Comic Sans 写出 “Times New Roman”。

结果：Qwen 系模型的准确率全部塌到 6.7%，而 6.7% 正是那个基准的随机基线。

这个数字的形状很重要：它不是「变低了」，是「塌回随机基线」。 因为当画面证据和文字内容冲突时，模型彻底放弃了视觉证据 ，输出完全由文字内容决定。作者给的机制解释是：字体查询被路由到了语言通路，而不是视觉编码器——模型读到了 “Times New Roman”，就直接输出了它。

这是一个可证伪的签名，而不是一个巧合。 因为它有配套的机制证据：注意力分析显示，风格任务失败时注意力是字符级的，但对所有笔画赋几乎相同的权重 ；而混淆矩阵显示模型对 67.6% 到 80.0% 的所有样本都预测 regular，不管真实风格是什么 ，其中一种复合风格基本从不被预测 。

⇒ 模型缺的不是「看哪里」，而是「从看到的东西里算出什么」。

3.4 微调救不了它

那篇论文用 LoRA（Low-Rank Adaptation，低秩适配） 在 3,000 条合成样本上微调。结果是：

属性	微调带来的增益
字体风格	0.0 / +1.6 / +0.8 个百分点（论文自述为「最多 1.6 个百分点」）
字号	+22.0 个百分点（44.4 → 66.4）
字体家族	+16.0 个百分点（36.8 → 52.8）

同一批数据、同一个适配器，字号和家族学得会，风格学不会。 其中一个模型的风格是 27.6 → 27.6，一点没动——不是「提升很小」，是「完全没动」。

顺带记一个更便宜的设计 ：作者做了难度分层，发现多数模型在简单 / 中等 / 困难三档上分数几乎持平，其中一个模型是 50.3 / 53.2 / 50.0 ，中等难度反而最高。看不见的东西，多难都一样瞎猜。 这是个几乎零成本的反向演练——把判别测试从「明显不同」改成「极其相似」，如果分数不动，说明测的东西压根没被感知到。（这条在 250 张图的规模上同样可能是功效不足，所以它是提示而不是结论。）

3.5 中文样本只有 18 张

这一条是引用这篇时最容易被忽略的限定。

那个基准的中文样本是 18 张 ，阿拉伯文是 11 张，拉丁文 203 张（占 81.2%）。基准总规模只有 250 张图 / 1,000 道题 。

⇒ 它关于中文排版的结论不能引用——它的结论只在拉丁字体上成立。 引用这篇时必须带上这个限定，否则会变成「权威来源说中文排版也难辨」。

4. 方法论：「测不出来」有两种原因，两种补救

现在回到 2.2 节那句话，把它展开成一张可以照着做的图。

「没有测到显著差异」这件事，至少有两种成因，而它们需要两种不同的补救。

graph TD A["实验结果：没有显著差异"] --> B{"这把尺子解释了多少方差？"} B -->|"解释方差低 残差占绝大多数"| C1["原因一：仪器不灵敏 宽泛提示把多维视觉特征压成一个标量"] B -->|"解释方差够高"| C2["原因二：读数本身有噪声 标注错误率把回归斜率往零压"] C1 --> F1["补救：换更灵敏的测量 先报解释方差，再解释相关性"] C2 --> F2["补救：标注入敏度分析 把误差率翻倍，系数还稳不稳"] style C1 fill:#fff3cd,stroke:#ffc107 style C2 fill:#fff3cd,stroke:#ffc107 style F1 fill:#d4edda,stroke:#28a745 style F2 fill:#d4edda,stroke:#28a745

两条要分开的地方在于：

	原因一：仪器不灵敏	原因二：读数有噪声
症状	分数的方差几乎没被解释	方差解释得不错，但标签本身不可靠
识别手段	先报 R² / 解释方差	做敏感性分析：把误差率翻倍
补救	换更灵敏的测量——空间特征探测、注意力图、针对性属性分类器	提高标注精度，并把误差率写进结论
不补救的后果	把「尺子量不到」读成「东西不存在」	把「误差吃掉了差异」读成「两者等价」

两篇论文各做了其中一半。 第 2 节那篇报了 R²（所以「仪器不灵敏」这条它自己说清楚了），却没做敏感性分析（所以 4% 的标注错误这条它只是定性讨论）。两个补救不是二选一，是都要做。

4.1 还有一个必须一起做的动作：分层

整体比较看不出来的东西，分层能看出来。

第 1 节那篇正是靠元数据交叉表才发现结构性问题：艺术家、媒材、体裁、流派逐一交叉，才看出「哪一类被打低分」。单纯比一个平均分，什么都看不出来。

⇒ 可操作的做法是：任何评审结果，除了总分之外必须报分层结果（按字体类别、按笔画数、按是否连笔），并且预先声明要分层看——否则事后分组会变成挑数据。

4.2 以及一条被低估的：绝对计数和相对量必须一起报

第 1 节那条 PMI 的教训在这里同样成立，而且更好用：

如果用某个判据打分，只报「A 比 B 高」是不够的，必须同时报「有多少样本落在这一侧」。 极端个例能撑起一个百分比结论；而那个 PMI 都是 -0.95 的例子说明，只看相对量会把样本量 26 和样本量 9,617 的两组说成同样严重。

结语：先问这把尺子测的是什么

把这三条理由合起来，它们指向的其实是同一件事：

一个分数在使用之前，先要回答「它测的是什么」。

而这三条理由分别给出了三种「不知道」：

你以为你测的	实际上你测的
美学质量	照片写实度，而且带着一个特定创作者的口味
「模型没有性别偏见」	可能是姓名标注的 4% 错误率把斜率压到了零
「模型看得懂这张图」	模型读出了文字内容，而画面证据被整层丢掉

而这三条里最该带走的是第 2 条。 第一条和第三条只对「用现成分数的人」有约束力——而第二条对任何用人工评审做判据的论文都成立 ，包括读者自己的论文。

具体到做事的层面，只有三句话：

引用别人的分数之前，先查它是怎么来的——语料是谁的、标注者是谁、量的到底是不是相对。
报出「没测到差异」之前，先报出你的尺子解释了多少方差，以及它的标签有多准。 前者不报，你无法区分「没东西」和「量不到」；后者不报，你无法区分「等价」和「误差吃掉了」。
报了等价就要报界，没报界就等于没说。 那篇论文的界从 0.30 降到 0.20 结论就翻转——而这个界是拍的。

最后一层更值钱的东西，是这些论文自己写下的自我批评。 LAP 审计最诚实的一句是「我用来审计的那套分类本身就是有偏的」；MET 审计最诚实的一句是「等价只能读成仪器不灵敏，而不是模型中立」。

抄它的自我批评，比抄它的结论更值钱——因为前者可以直接对着自己明天的实验用。

附录：参考资源

论文

Taylor, Agnew, Sap, Fox & Zhu ，The Algorithmic Gaze of Image Quality Assessment: An Audit and Trace Ethnography of the LAION-Aesthetics Predictor —— ACM FAccT 2026 ，pp. 6383–6402，DOI 10.1145/3805689.3806462，预印本 arXiv 2601.09896。本文第 1 节的 MET 与 WikiArt 数字、三个训练集的对照表、PMI 警告、以及作者对自身分类的自我批评，全部出自它。
Singh, Bhatia & Joshi ，Disentangling Algorithmic Bias from Archival Artifacts: A Controlled Audit of Vision-Language Model Valuation in Metropolitan Museum Archives —— arXiv 预印本 2609.17572。本文 2.1–2.4 节的 TOST 表、R²、4% 标注错误率与斜率衰减、618 件剔除构成，全部出自它。 引用时注意：它目前只有 arXiv 出处 ，注释与期刊参考两个字段都是空的，所以只能当预印本引。
Zhou, Yu, Kang, Fan, Fan, Song, Geng & Qin ，Reading ≠ Seeing: Diagnosing and Closing the Typography Gap in Vision-Language Models —— arXiv 预印本 2603.08497。本文第 3 节的字体风格一列、排除颜色后的 35%、冲突条件下的塌陷、LoRA 微调对照、中文样本量，全部出自它。 引用时注意两条：它的中文样本只有 18 张，中文结论不可引用 ；它承诺公开的代码与数据实测不可得，每个数字只有这一个来源，无法交叉复核 。

三条容易被忽略的方法学

相对量必须配绝对计数。 LAP 审计里 whites? 与 latin[oaxe]s? 的 PMI 都是 -0.95，但出现次数是 9,617 与 26。只看相对量会把「罕见」和「被系统性压低」混为一谈。
「不显著」不等于「等价」。 MET 审计用 TOST（双单侧检验）主动替换了「p 大于 0.05 所以没差别」的做法，并给出了等价界扫描表——界从 0.30 降到 0.20，结论就翻转 。
剔除样本这一步，本身就是最可能制造结论的地方。 MET 审计剔掉的 41.20% 不是脏数据，而是一个系统性偏斜的层。每一次剔除都要留下计数与构成 ，否则最后参与统计的已经是「容易被判为通过」的幸存子集。

同系列

本文（2026-10-18）—— 「拿什么来评」这一侧 ：三条来自论文的独立反对理由，以及「测不出来」的两种成因与两种补救
《「从图里恢复不出压力」需要改口，而且理由比原来那条更硬》（2026-10-18）—— 「能不能反推」这一侧 ：一句话里混着三件事，以及一条独立于「不可辨识」的更硬理由