第514章 用steamdeck安装AI大模型的体验gpt4all（第4页）

2022）。

只不过，这里的比较并不公平

——

它指的是小模型有人工调教，而大模型缺乏调教的情况。

chatgpt

不缺乏调教，因此我们并没有看到

gpt4all

能够以少量的参数达到

chatgpt

这么好的性能，即便它充分使用了

chatgpt

的输入输出数据。

训练大语言模型时，多大的语料会使得模型对外部世界真实认知产生质的飞跃（可以在各项任务上都有好的表现）？目前的经验是

300

亿单词的输入量

（zhang

et

al.

2020）。

但是大语料需要足够高的模型复杂度来承载。

模型相对输入数据过于复杂固然不好（过拟合，over-fit）。

然而一个太小的模型在面对大数据的时候，也会力不从心（欠拟合）。

大和小是需要相对判断的。

目前的

gpt4all

在一众巨无霸面前，无论如何也是个小模型。

chatgpt

这样的大语言模型让人们惊诧的地方，在于它能够有自己的「顿悟时刻」。

这种「顿悟时刻」如何出现的？现在学术界还在研究中。

但是有很多证据指向一些提示语（例如「一步步来」step

by

step）能够激活大语言模型的

chain-of-thought

（思维链），从而有助于解锁「顿悟」般的逻辑推理能力。

不过研究者同样证明了，这种「魔法」提示语有效的前提，是模型的参数量需要达到

1000

亿的规模

（wei

本章未完，点击下一页继续阅读