1.正文

近期，科学家构建出了一个果蝇大脑的连接，这项研究似乎证明在果蝇的大脑中确实存在类似于ResNet的结构。

(相关资料图)

而现在是大模型的时代了，我们不妨重新审视（人工）神经网络和我们大脑的区别。

从根源上来说，神经网络来源于连接主义，本意当然是模拟大脑，试图通过复杂的连接来实现智能。

但从现实来看，随着我们对大脑的深入认识，神经网络的架构却没有翻天覆地的变化，一切其实是跟着需求来的，随着大家疯狂炼金，最终炼出了transformer这种东西，和我们大脑的架构其实并不相同。

然后模型就开始变得越来越大了，随之而来的事训练数据的急剧增大。

但，问题是，我们学习一个东西是不需要那么多数据量的啊。难道我们学会使用语言需要先过几个T的语料的吗？人类是可以很简单地实现小样本的学习的。

小样本学习的研究当然是有，但很明显，目前研究还很不充足。

那么，我们重新审视一下预训练和我们的大脑。

当直接训练被拆分为预训练和微调的时候，我们发现，微调其实是不需要那么多的训练数据的。预训练除了可以被看成一个独立的训练过程，还可以看成是一个初始化的过程。

让我们回到神经网络初始化那里去，我们知道，不同的初始化可能会导致模型性能最终收敛到不同的地方，一般来说，随机初始化后模型的性能往往很差，但需要承认的是，这并不是说我们完全没有可能获得一个非常完美的初始化的。

OK，回到人的大脑，这时候我们不要把大脑的起点设置为婴儿的诞生或是胎儿大脑成型，而是把大脑放到更深层的历史长河中去。这个答案可能就没有那么复杂了，即在基因里没准有一些东西，能够优化我们大脑的初始化。随着我们一代代地发展，我们大脑会初始化地更“优秀”。

虽然这只是我的一个偶然的想法，但其实如果真的是这样，也许能解决很多问题，即我们之所以能做到小样本学习是因为我们大脑的初始化更加优秀，而这是亿万斯年演化的结果。

当然，我个人是没有区去找有没有类似的研究或想法的，我对生物学也不是很了解。只是提出自己的一个偶然想法罢了。

2.补充

其实某天我睡觉的时候重新想了一下《德雷福斯》的具身智能（挖坑，之后有兴趣再展开谈吧），突然有了一些新的想法。

最近不是某个教大家如何坐火车之类的账号火起来了嘛，我突然想到，虽然ChatGPT能够提供很多生活的小建议，虽然new bing也能进行搜索给你一些更精准的答案（例如问路、问名胜古迹的信息），但它们的一个问题是不够具身。

举个最简单的例子，“如果我想一边野餐一边研究鲸鱼的身体结构呢？”（Mari：？）

所谓具身，一个理解可以是，它们其实并没有设身处地的为“我”着想，不能完全站在我的角度来实时解决我的问题，当然也不能站在自己的角度解决自己的问题。难道我们总能每时每刻把自己的需求形成一个合适的prompt去进行询问吗？

所以这个程度上来讲，PaLM-E是比目前很多多模态大模型更加高级的。

关键词：