分析神经网络规模下限，MNIST-1D数据集迈出了第一步

不管是按什么样的科学标准，人类基因组项目都是：它涉及数十亿美元的资金，数十家机构以及超过十多年的快速研究进展。但这仅仅是冰山一角。早在项目开始之前，科学家们就在全力整理人类遗传学这门复杂的科学。而大多数时候，他们研究的不是人类。遗传学的基础性发现都集中在如豌豆、霉菌、果蝇和小鼠等非常简单的生物体上，时至今日，生物学家为了节省时间、精力和金钱，将这些更简单的生物体作为遗传学的 "最小工作范例"。一个精心设计的果蝇实验，如，可以让我们学到关于人类的令人叹为观止的东西。

与果蝇相似的是深度学习中所使用的是MNIST数据集。大量的深度学习创新工作，包括，都从MNIST实验开始。一旦这些创新在小型实验中证明了自己的能力，科学家们就找到了将它们扩展到更大、更有影响力的应用。

果蝇和MNIST的关键优势在于它们可以极大地加快探索性研究的迭代周期。以果蝇为例，果蝇的生命周期只有几天，其营养需求可以忽略不计。这比哺乳动物，尤其是人类更容易与之合作。对于MNIST而言，训练一个强大的分类器只需要几十行代码，不到一分钟的时间，耗电量可忽略不计。这与最先进的视觉，文本和游戏模型形成鲜明对比，后者可能需要花费数月甚至电力资料来训练模型。  

然而，尽管MNIST具有历史意义，但它有三个显著的缺点。首先，它在区分线性、非线性和平移不变性的模型方面做得很差。例如，logistic、MLP和CNN基准在它身上获得94、99+和99+%的准确率。这就很难衡量CNN的空间先验的贡献，也很难判断不同正则化方案的相对有效性。其次，对于一个玩具（译者注：极小）数据集来说，它有些大。每个输入例子都是一个784维的向量，因此当执行超参搜索或调试元学习循环需要不小的计算量。第三，MNIST很难被改写。理想的小型数据集应该是程序化生成的，这样研究人员就可以轻易地改变背景噪声、平移性和分辨率等参数。

为了解决这些缺点，我们提出了MNIST-1D数据集。它是MNIST的一个极简化、低内存和低计算量的替代方案，专为探索性深度学习研究而设计，其中能够快速迭代是我们优先考虑的要求。训练实例小了20倍，但它们仍能更好地评估1）线性和非线性分类器之间的差异，以及2）是否具有空间归纳偏差（例如平移不变性）的模型。虽然数据集是程序自动化生成的，但仍可以类比到现实世界中的数字分类。   

（编辑：焦作站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!