"Real tasks" 又有多少轮得到 academia 做贡献: academia 看得到 bitter lesson, 却没有先进的认知去理解如何做 scaling, 判断什么方法是 scalable 的, 更遑论有足够的人才和算力去做真正的 scaling. 试图提出 "新范式", "统一架构" 的工作, 不少无非是对 bitter lesson 的拙劣解读, 在并不重要的问题下扑棱一下翅膀. 在今天 frontier labs 的 scale 下, academia 已经基本失去了在 real tasks 上 "评价一个方法是否有效" 的话语权.
历史经验告诉我们, 本质的改进无一不是基于对 "为什么" 的深刻理解, 只追求 "效果好" 的盲目优化会得到复杂, 不泛化, 无法经受时间检验的方法. 整个领域在 Neural Architecture Search 这个方向上浪费的时间就是最直接的例子.
Devil's in the details: 我第一次震惊于 details 的重要性, 是恺明向我展示 ResNet 的 loss curve 要怎么 smoothing. 在合理的 median-smoothing 下, 我们能看到以 epoch 为周期的 overfitting 现象, 在多年后被其他人称为 epochal sawtooth phenomenon: 每个 epoch 的 train loss 会缓慢上升, 再在下一个 epoch 开头骤然下降.
CVPR2017, 在夏威夷海边的晚宴上, 孙剑关于 research taste 给过这样一个建议: 遇到一个新问题 / 新方法, 你要去想, "如果我是恺明, 我会不会对这个问题 / 方法感兴趣?"
在 agent 能做的事情越来越多的今天, 作为指挥者的人需要亲自做的事情越来越少, 人的 taste 也越来越重要. Taste 是关于 "我要实现什么价值" 的 vision, 是关于 "我想要做什么" 的 motivation, 是关于 "做成什么样是好的" 的 judgement, 是关于 "为什么可以这样做" 的 curiosity.