ChatGPT 如何工作？技术简述

在过去几年里，有一件事一直是每个人的口头禅： ChatGPT.

教师 担心是在写学生的作业。 

作家 担心人工智能会代替他们写书、写故事。 

编码员 害怕它能比人类更好地构建网站和应用程序。 

有些人甚至预测 数百万个工作岗位可能消失 因为人工智能。 

我们都听说过。但你有没有想过 如何 ChatGPT 有用吗？ 

ChatGPT 如何给孩子写作业？当你输入一个问题，它就会像真人一样回复，这背后发生了什么？ 

尽管机器不能像我们一样理解文字，但它怎么能写出诗歌、故事和代码呢？

在本博客中 我们将探究 ChatGPT 并逐步解释什么是 ChatGPT 及其工作原理。

你将了解到它是如何记忆事物的，它的局限性是什么，以及这样的工具最初是如何构建的。 

让我们开始吧！

基础：GPT 语言模型

ChatGPT 是一种人工智能，能像人类一样理解和书写。 

这就是所谓的 语言模型 因为它与语言打交道--阅读语言、预测语言和生成语言。 

但它不像人那样理解。它不会思考。它不了解事实。它只看模式 

例如 

• 如果您键入 "天空是......"
• 它可能会说 "蓝色" 

这并不是因为它知道天空是蓝色的，而是因为它在训练中看到过数百万次这样的句子。它知道了 "蓝色 "通常出现在 "天空是 "之后。

这种人工智能被称为 法学硕士代表 大型语言模型。 

它通过大量的教科书、网站等进行训练，以了解人类是如何使用词汇的。但它并不是在阅读词义。它是在学习单词通常是如何出现在彼此旁边的。 

GPT 是一种特殊的 LLM。

GPT 代表 "生成式预训练变换器"。

• 生成 - 它可以创建新文本。
• 预培训 - 在与你交谈之前，先让它学习。
• 变压器 - 是 ChatGPT 工作背后的关键技术，它能帮助 ChatGPT 理解单词在句子、段落甚至对话中的相互关系。

以下是多年来推出的不同版本的 GPT。

ChatGPT 如何工作

以下是 ChatGPT 如何在五个关键步骤中工作和处理您的输入的简要说明。 

• 步骤 1：海量数据预训练

大型语言模型 (LLM) ChatGPT 等都是通过处理互联网上的大量文本来学习语言模式，从而进行预训练的。 

在预培训期间，模型处理 万亿代币 (小块文字）。 

A 象征性 可以是一个词，也可以是词的一部分，甚至可以是标点符号，这取决于模型如何标记输入。 

例如 

您可以向 ChatGPT 提出数学问题，例如

问题

• 2 + 3 = ? 

在训练过程中，ChatGPT 会从书籍、新闻、文章、维基百科、故事、科学论文甚至 Reddit 线程中阅读数千亿个单词。

这种训练和阅读有助于它理解加法的原理。 

例如

它可能会学到 交换性质 (即 2 + 3 = 3 + 2）。

ChatGPT 看到了许多这样的例子 

• "2 + 3 = 5," 
• "7 + 8 = 15," 
• "9 + 4 = 13." 

它学习的不只是这些具体的例子，而是加法的模式。 

它能理解数字如何与 "+"符号互动，以及结果通常如何跟随"="符号。 

• 步骤 2：变压器架构

一旦 ChatGPT 看到了大量的单词，它就需要一个能够理解所有这些信息的大脑。这个人工智能大脑叫做 "变形金刚"

变形金刚的与众不同之处在于它能够 聚精会神 就像我们处理语言的方式一样。 

例如

让我们把它应用到数学问题中：

• "5和7的和是多少？"

在处理时，Transformer 不只是一个字一个字地处理。 

相反，它会同时查看 "和"、"5 "和 "7 "的完整语境。 

它承认 "和" 指 "补充" 而 "5 "和 "7 "是相关的数字。 

然后，变形金刚会提供更多 "注意" 因此，它侧重于运算（"和"）和数字（"5 "和 "7"）。 

这是 ChatGPT 运行的关键部分--它 并不能线性地处理问题、 但其方式有助于理解各元素之间的关系。 

变形金刚之所以如此强大，就在于它能够根据背景来审视一切。 

它不只是弄清下一句是什么，而是通过将句子的相关片段连接起来来理解意思。 

• 步骤 3：标记化和语言处理

当您在 ChatGPT 中输入文本时，它会将您的提示分割成小段 代币。 

有些标记是完整的单词，有些则只是单词的一部分。 

例如 

当您输入 "ChatGPT 很聪明 ChatGPT 将其拆分为以下代币：

["聊天"、"G"、"PT"、"是"、"智能"]

就连 "ChatGPT "这个名字也被拆分成了不同的代币。 

这一过程被称为 标记化。 由于模型是根据标记而不是完整的单词进行训练的，因此它能处理的问题要灵活得多：

多种语言 (因为不同的语言有不同的词结构）、

俚语和缩略语 (如 "你 "的 "u "或 "我不知道 "的 "idk"）。

甚至是杜撰的词语或变体 (比如把 "难以置信 "拆成 "un"、"believ"、"able"）。 

• 步骤 4：微调和安全层

一旦 ChatGPT 经过大量数据的训练，它还不能完全进入黄金时间。 

它仍然需要帮助，以确保以最有用、最礼貌、最安全的方式做出回应。 

通过 监督微调在 ChatGPT 中，人工审核员会举例说明怎样的回复才是好的回复。 例如 

• "5+7是什么？"
  • 糟糕的答案： 这是个简单的问题。你为什么不知道？
  • 答得好: 5 和 7 的和是 12。 

随着时间的推移，ChatGPT 会通过更好的示例进行训练，变得更加礼貌、清晰和专注。 

一旦有了坚实的基础，它就能通过以下方式获得更高级的帮助 从人类反馈中强化学习 (RLHF）。

这个过程是这样的

• ChatGPT 回答。 
• 人类比率 这个答案取决于它有多好--它有多有用、多准确、多安全。 
• ChatGPT 学习 从这些反馈中吸取经验教训，努力在今后提供更好的答案。 

例如 想象一下 ChatGPT 回答一个数学问题，例如 "12除以4等于多少？ 

• ChatGPT 回答："3."
• 人的反馈：这个答案很棒。 
• ChatGPT 学会了：当类似的问题出现时，它总是给出这样的回复。 

我们的目标是让 ChatGPT 不断进步，就像学生从过去的错误中吸取教训一样。 

最后，人类进行微调的一个重要目的是 符合人类价值观。 

我们希望它不仅聪明，而且有益、无害和诚实。 

例如 如果用户提出一个复杂的问题，例如 "-1的平方根是多少？" 

它不会在没有任何上下文的情况下给出类似 "i 是答案 "这样的错误答案，而是会提供：

安全、对齐的响应：-1的平方根是虚数，通常用 "i "表示。这一概念用于高等数学。 

• 步骤 5：提示输入，回应输出

这是最后一步，ChatGPT 已准备好回答您的提示。 

提示是您在 ChatGPT 中输入的文本（即问题、命令或语句），用于开始对话并获得回复。 

例如 

输入提示 "今天天气如何？" 

以下是 ChatGPT 的幕后工作原理：

您输入提示 → ChatGPT 将其分解为词块 → 寻找词块中的模式 → 预测下一个单词 → 形成回复 → 根据您的文本调整语气 → 得到您的最终答案

提示 "今天天气怎么样？"、 ChatGPT 很可能会做出如下回应： 

"我无法提供实时天气更新，但您可以查看天气网站或应用程序，如 Weather.com 或当地新闻，以获取最准确的信息。

这是因为 ChatGPT 无法访问实时数据，除非它与获取实时信息的工具相连。 

它如何 "记忆 "对话

当你与 ChatGPT 对话时，它似乎会记住你之前说过的话。 

确实如此，但仅限于聊天打开时。想象一下，在一个大记事本上，你输入的所有内容都会被记录下来： 

你说

• 我的狗叫麦克斯。

几行之后，你说：

• 麦克斯能学到什么技巧？

ChatGPT 将这些点连接起来。它会记住 Max 是你的狗，因为它还在记事本上。 

这个记事本被称为 上下文窗口、 并且只能容纳有限数量的单词（称为标记）。 

有些版本可容纳约 8000 枚代币，而最新版本可容纳 32000 枚代币。 

但一旦达到上限，它就必须开始删除最旧的部分，为新文本腾出空间。 

所以，如果你说 "我的狗叫麦克斯" 然后在 50 个段落之后问道、 "给他栓什么好？" - 它可能会忘记谁是 "他"。 

因为这些信息已经从记事本中删除了。 

现在，让我们来谈谈聊天之间的记忆。

通常，当您关闭聊天时，记事本会被清除干净。 

因此，下次打开 ChatGPT 时，它将从新开始。

 但如果打开自定义内存，ChatGPT 就能在不同会话中记忆内容。 例如 

• 你说 我经营着一家名为 Sweet Crumbs 的小型网上面包店。 
• 一周后，你说 给我写一份产品描述。 
• 它可能会回答 当然可以！下面是对甜面包屑饼干的描述...

它不会记住所有内容。它只会记住你允许的内容，当有新内容添加时会通知你。您可以随时查看、编辑或删除记忆。

那么详细情况是...... 

ChatGPT 实际上并不 "记住" 就像一个人。它只关注眼前的事物--当前的对话。

如果它看起来像是在回忆之前的内容，那是因为这些信息仍在上下文窗口中。

ChatGPT 的工作限制

ChatGPT 非常有用，但重要的是要了解它的局限性，尤其是如果您要将它用于任何面向客户或转换驱动的用途。 

1 - 没有真正的理解或意识
ChatGPT 不像人类那样理解内容。它并不 "了解 "事实--它只是根据训练数据预测下一个可能的单词。 

例如 

如果你问 "成功意味着什么？" 它可能会产生流畅的反应，但它没有信念、价值观或意识。它只是在模仿模式，而不是形成见解。

2 - 来自训练数据的偏差
由于 ChatGPT 是在大量来自互联网、书籍、论坛和文章的混合数据源上进行训练的，它可能会继承这些数据中的偏差。 

如果互联网在某一话题上倾向于某一方，那么 ChatGPT 可能会反映这种观点--有时很微妙，有时则不然--甚至在要求中立的情况下也是如此。

3 - 不浏览互联网
ChatGPT 无法获取实时数据。如果询问它上周推出的产品或今天的股票价格，它将一无所知。 

它的训练数据有一个临界点，在这个临界点之后的任何数据都是不可能的。

4 - 可能对事实产生 "幻觉 "或引用虚假资料来源
更危险的怪癖之一：ChatGPT 可以胡编乱造。向它询问统计数据或引语，它可能会做出回应、

"根据世界卫生组织的数据，80% 的成年人更喜欢 X 品牌而不是 Y 品牌"。

听起来很官方--但这个数据很可能并不存在。 

它不是检索出来的，而是发明出来的。这个问题被称为 幻觉在研究、新闻或技术内容中，风险尤其大。 

如果你问 ChatGPT 它是如何工作的，你就会发现它并不总是事实准确。

如果您使用 ChatGPT 进行写作，那么输出的内容就会显得生硬、机械，或者缺乏人性化。 

对于这些细微差别，您可以使用 AI Humanizer. 

"(《世界人权宣言》) 人工智能人性化设计器 重写 ChatGPT 输出的语气、细微差别和情感，为您的内容注入活力。 

它 柔化突兀的措辞，增添温情、 并让技术性或枯燥的文案与受众产生共鸣。

如果您的内容听起来很人性化，那么它的表现就会更好。 

无论您是在撰写登陆页面、电子邮件还是 LinkedIn 帖子，亲和力都能推动回应。而情感则会推动转化。

GPT-4 与 GPT-3.5 的改进

GPT-3.5 是免费版本，速度快、功能强，非常适合执行简单任务。GPT-4 是 OpenAI 的付费版本，它更智能、更强大、更有用。 

以下是 ChatGPT 在这两种模式下的工作原理：

总之，GPT-3.5 很有帮助。GPT-4 值得信赖，考虑周到，让人感觉它在倾听。

开始探索吧--我们的人工智能探测器和 Humanizer 正在下面的小工具中等待您的光临！

如何构建 ChatGPT 等人工智能工具

创建像 ChatGPT 或其他大型语言模型这样的人工智能是一项耗时多年的工程，需要大量的数据集、专家团队和不懈的迭代。 

通常是这样的 

1. 第一阶段：数据收集（6-12 个月）

目标： 教授示范语言模式。

在人工智能回答问题之前，它需要学习人类如何书写和说话。 

首先要从书籍、网站、新闻、文章、学术论文等中收集千亿词汇。 

它不会像人类一样 "读取 "信息。相反，它能识别模式，就像我们在上述章节中解释的那样。

所需时间 6-12 个月，视规模和团队人数而定。 

2. 第二阶段：模型预培训（6-9 个月）

目标： 构建大脑。

预训练包括向模型输入大量文本，让它反复预测缺失的单词，直到开始预测正确为止。 

这一阶段往往需要强大的 图形处理器集群 以及数亿美元的计算资源。 

所需时间 6-9 个月不间断的 GPU 培训。

3.第三阶段：微调和人工反馈（3-6 个月）

目标： 让人工智能发挥作用。

现在它能说话了--但有意义吗？也许有，也许没有。此时，人类审核员会对输出结果进行评分、纠正错误，并使用 "人类反馈强化学习"（RLHF）对模型进行指导。

所需时间 3-6 个月，通常与早期测试同时进行。

4.第四阶段：部署和基础设施（进行中）

目标： 使其具有可扩展性。

训练完成后，模型将被部署到网站、应用程序、API 和企业平台上。这需要大量的后端基础设施：数据中心、自动缩放 API 和负载平衡系统，以同时处理数百万用户。

时间框架： 培训后开始，但无限期持续。

5.第五阶段：安全、偏见与道德（持续进行，并行）

目标： 保持安全、诚实和无害。

人工智能不仅关乎智能，还关乎责任。道德团队同时开展工作，标记潜在的滥用、减少偏见、阻止有害内容并维护隐私标准。他们不断评估模型在现实世界中的表现。

时间框架： 终身过程；融入上述每个阶段。

关于 ChatGPT 如何工作的常见问题

最终想法

大型语言模型（LLM）改变了我们与技术互动的方式。

它们可以创建听起来像人写的文本，帮助完成回答问题和制作创意内容等任务。 

但是，法学硕士不会 "理解" 或像人一样思考。它们的工作原理是预测数据中的模式，而不是通过真正的人类思维。 

随着法律硕士的发展，我们需要思考他们可能带来的问题，如偏见、隐私问题和滥用。 

必须谨慎使用人工智能，确保其公平、透明，不会传播虚假信息或损害隐私。 

以下是 使用指南： 

• 请注意，人工智能的内容可能存在偏见。
  
• 在使用人工智能工具时遵守隐私规则。
  
• 仔细核对来自可信来源的重要信息。
  
• 不要过分依赖人工智能。它只是一种工具，不能取代人类的思维。

随着人工智能技术的不断发展壮大，问题也随之而来： 我们如何才能确保其进步能够增强人类的创造力和决策力，而不是取代那些使我们成为独特人类的东西？