ChatGPT作用的概述

type

Post

status

Published

date

Dec 4, 2023

slug

summary

正如我们所见，ChatGPT 中的实际神经网络由非常简单的元素组成，尽管有数十亿个元素。

ChatGPT的作用概述

ChatGPT 的基本概念在某种程度上相当简单。从网络、书籍等中人类创建的大量文本样本开始。然后训练神经网络来生成“像这样”的文本。特别是，让它能够从“提示”开始，然后继续使用“就像它所接受的训练一样”的文本。

正如我们所见，ChatGPT 中的实际神经网络由非常简单的元素组成，尽管有数十亿个元素。神经网络的基本操作也非常简单，本质上包括为每个新单词（或单词的一部分）传递从迄今为止生成的文本“一次通过其元素”（没有任何循环等）的输入。）它生成的。

但值得注意且出乎意料的是，这个过程可以产生成功地“像”网络上、书籍等中的文本。它不仅是连贯的人类语言，而且还“说出”“遵循”的内容。它的提示”利用了它“阅读”的内容。它并不总是说“全局有意义”的事情（或者对应于正确的计算）——因为（例如，没有访问 Wolfram | Alpha 的“计算超能力”）它只是说基于“听起来正确”的事情培训材料中的内容“听起来像什么”。

ChatGPT 的具体工程使其相当引人注目。但最终（至少在它可以使用外部工具之前）ChatGPT“只是”从它积累的“传统智慧统计数据”中提取出一些“连贯的文本线索”。但令人惊讶的是，结果与人类如此相似。正如我所讨论的，这表明至少在科学上非常重要的事情：人类语言（及其背后的思维模式）在某种程度上比我们想象的更简单，在结构上更“类似于法律”。ChatGPT 已经隐式地发现了它。但我们可以通过语义语法、计算语言等显式地公开它。

ChatGPT 在生成文本方面的作用非常令人印象深刻，而且结果通常与我们人类产生的结果非常相似。那么这是否意味着 ChatGPT 就像大脑一样工作？其底层人工神经网络结构最终以大脑的理想化为模型。当我们人类生成语言时，所发生的事情的许多方面似乎都非常相似。

当谈到训练（又名学习）时，大脑和当前计算机的不同“硬件”（也许还有一些未开发的算法思想）迫使 ChatGPT 使用可能相当不同的策略（并且在某些方面要少得多）效率）高于大脑。还有其他一些事情：与典型的算法计算不同，ChatGPT 内部没有“循环”或“重新计算数据”。这不可避免地限制了它的计算能力——即使对于当前的计算机来说也是如此，但对于大脑来说绝对是如此。

目前尚不清楚如何“解决这个问题”并仍然保持以合理效率训练系统的能力。但这样做可能会让未来的 ChatGPT 能够做更多“类似大脑的事情”。当然，大脑在很多事情上做得并不好——特别是涉及不可约计算的事情。对于这些，大脑和 ChatGPT 之类的东西都必须寻求“外部工具”——比如Wolfram 语言。

但现在看到 ChatGPT 已经能够做到的事情是令人兴奋的。在某种程度上，这是基本科学事实的一个很好的例子，即大量简单的计算元素可以做出非凡和意想不到的事情。但它也可能为我们提供了两千多年来最好的推动力，让我们更好地理解人类状况的核心特征，即人类语言及其背后的思维过程，其基本特征和原则可能是什么。

原文地址：https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/