ChatGPT是在做什么?为什么它有效(一)
ChatGPT是在做什么?为什么它有效(一)
ChatGPT能够自动生成看起来很像人类写作的文本,这非常了不起且出乎意料。但是它是如何做到的?我的目的在于概述ChatGPT内部进行的过程,然后探讨它为什么能够成功地生成我们认为有意义的文本。我首先声明,我将集中讨论整体情况,并提到一些工程细节,但不会深入探讨它们。同时,我说的要点同样适用于其他当前的"大型语言模型”(LLMs),不仅仅限于ChatGPT。
一个足够大的网络可以做任何的事情
一个足够大的网络可以做任何的事情
ChatGPT 这样的东西的能力似乎如此令人印象深刻,以至于人们可能会想象,如果一个人能够“继续前进”并训练越来越大的神经网络,那么他们最终将能够“做所有事情”。如果一个人关心的是人类直接思维容易理解的事物,那么情况很可能就是这样。但过去数百年科学的教训是,有些事情可以通过形式过程来解决,但人类的直接思维却无法轻易理解。