哪些归纳偏置活到了 scaling 时代：从时间序列预测十年复盘说起

Fri, 25 Sep 2026 00:00:00 +0000

结论先行：过去十年时间序列预测模型的设计史，可以重写成一部“押注竞赛”——每个方法都在押不同的数据结构假设：什么该成为一个 token、attention 该花在哪个轴上、要不要显式分解趋势、未来该一步步生成还是整窗输出。scaling 是选择环境：跨域预训练之后，trend 分解、频域基、严格 channel independence 这些强领域偏置大多被淘汰，patch、归一化、参数共享这些弱而通用的偏置活了下来。归纳偏置这个视角的全部用处，是逼你回答五个问题：假设了什么、针对哪个瓶颈、何时失效、能否让数据去学、放大后还值不值得保留。

引子：有限数据 + 归纳偏置 → 泛化

为什么一个只见过有限训练点的模型，能在没见过的点上做对预测？因为数据本身给不出答案：与训练数据完全一致的函数有无穷多个，它们在训练范围外彼此分歧。要让学习发生，学习器必须对“哪些解更合理”有一个系统性的偏好——这就是归纳偏置：

$$\text{有限数据} + \text{归纳偏置} \rightarrow \text{泛化}$$

No Free Lunch 定理给了它一个反面表述：如果对所有可能任务一视同仁，就不存在在任何任务上都更优的算法。现实学习之所以可能，是因为真实世界不是任意的，它有结构，而模型必须押注这些结构。

先澄清一个容易混淆的点。教科书（比如李航《统计学习方法》）给人的印象是归纳偏置≈假设空间，但它只是偏置的一部分：架构、损失函数、正则、优化器、参数共享、tokenization、归一化、数据增强、预测形式，甚至搜索与决策过程，每一处都在注入偏好。它贯穿学习流程的每个环节。

另外，这里的 bias 不是统计学里“估计有偏差”的那个 bias，它更接近 preference / prior / tendency：面对多个可能解时不保持中立，而是系统性偏向其中一部分。

下面这张图是整场讨论的全景框架，本文按其中第 5 到第 10 块展开：

模型演进：每个模型押了什么，买到什么，付出什么

用“它预先假定了什么结构”重读经典模型，会发现每个架构本质上是一笔押注：拿一个假设换样本效率，同时付出另一种能力作为代价。下图是五个模型的完整对照和 ViT patch 的拆解，正文只提炼主线。

五个模型的押注

模型	押了什么（归纳偏置）	买到什么	付出什么
MLP	复杂函数可由多层简单非线性映射组合；不假设输入有空间或时序结构	通用性强，能学习层次化表示	不利用任何数据结构，样本效率低
CNN	局部性、空间参数共享、平移等变	契合自然图像局部模式重复、相邻像素相关的分布	固定局部连接，对远距离关系不够灵活
RNN	信息可递归压缩进状态、时间上参数共享	契合序列天然有顺序，过去信息可压进固定状态	长程依赖难，并行性差
Transformer	token 间共享计算、基于内容动态决定关注谁、位置与因果另行编码	全局的、内容依赖的信息路由；表达灵活，易于 scaling	视觉/时序专用先验弱，数据和算力需求更高
ViT	把图像先离散成局部 token，再交给全局内容驱动的 attention	保留最少量 2D 结构，同时吃到 Transformer 的全局建模	局部先验弱于 CNN，小数据上不如 CNN 高效

这张表里有一个可读出的规律：越往下，假设越弱、越通用，对数据的要求越高。MLP 什么结构假设都不写；CNN 把“局部 + 共享”写死在架构里；Transformer 的合同里只写“token 间共享计算”这一条，其余留给数据说话。于是得到第一个判断：模型的发展不是“偏置越来越少”，而是偏置越来越通用、越来越抽象、越来越可学习。这个判断马上会在时间序列领域得到一次干净的检验。

Machine Learning on The Herta

哪些归纳偏置活到了 scaling 时代：从时间序列预测十年复盘说起

引子：有限数据 + 归纳偏置 → 泛化

模型演进：每个模型押了什么，买到什么，付出什么

五个模型的押注