ChatGPT为什么是一个字一个词输出?ChatGPT温度说明

先做个广告:如需代注册GPT4或充值 GPT4.0会员(plus),请添加站长微信:gptchongzhi

但凡体验过OpenAI官网的或者是国内ChatGPT 3.5api正版的,大多都应该注意到ChatGPT的输出是一个字一个字来的,感觉看起来好高大上的样子,其实不然......

推荐使用GPT中文版,国内可直接访问:https://ai.gpt86.top 

接下来给大家尽量用一些简单的概念能够解释清楚

ChatGPT可以自动生成一些东西,甚至表面上读起来像人类写的文本,有时候也会出乎意料的好。但它是如何做到的呢?

我在这里的目的是粗略地概述 ChatGPT 内部发生的事情,然后探索为什么它可以在生成我们认为有意义的文本方面做得如此出色

首先要解释的是,ChatGPT 从根本上一直试图做的是产生迄今为止获得的任何文本的“合理延续”,其中“合理”是指“人们在看到数十亿个网页上写的内容后,可能期望接下来的内容是什么。

因此,假设我们用文本“The best thing about AI is its ability to”。想象一下,扫描数十亿页的人类书写文本(例如在网络和数字书籍中)并找到这些文本的所有实例,然后查看下一个单词在哪一部分时间出现。ChatGPT 高效的做了这样的事情,其实ChatGPT并不理解你说的这段文本的的具体意思以及隐藏的含义。但最终结果是,它产生了一个可能跟随的单词排名列表,以及“概率”:

值得注意的是,当 ChatGPT 做一些像写一篇文章这样的事情时,它本质上所做的只是一遍又一遍地问“给定到目前为止的文本,下一个词应该是什么?——每次都加一个字。(更准确地说,它正在添加一个“Token”,这可能只是一个单词的一部分,这就是为什么它有时可以“编造新词”。

在每一步它都会得到一个带有概率的列表。但是它实际上应该选择哪一个来添加到它正在写的文章?有人可能会认为它应该是“排名最高”的词(即分配最高“概率”的词)。但这就是所谓的巫术开始出现的地方了。

如果我们总是选择排名最高的词,我们大概率会得到一篇非常“平淡”的文章,似乎永远不会“表现出任何创造力”(甚至有时会逐字重复)。但是,如果有时(随机)我们选择排名较低的单词,我们会得到一篇“更有趣”的文章。

这里存在随机性的事实意味着,如果我们多次使用相同的提示,我们每次都可能会得到不同的文章。而且,为了与所谓的巫术想法保持一致,有一个特定的所谓“temperature(温度)”参数来确定使用排名较低的单词的频率,对于文章的生成,事实证明 0.8 的“温度”似乎是最好的。

截止到现在,你应该理解了为什么ChatGPT是一个字一个输出的了

但是不同场景,不同目的,不同需求,怎么控制输出的好坏或者怎么控制输出的准确性呢?我好像又挖坑了[捂脸]

好吧,自己挖的坑,自己填

上面给大家抛出来了一个概念“temperature(温度)”,当然这个温度其实是来源于酿酒行业的蒸馏概念,具体来源是............

算了,不给大家再挖坑了,直接说“temperature”的作用吧假设我们有一个语言模型,它预测句子“老鼠吃了_____”中的最后一个单词。

注意看上图,默认是cheese最高,但是随着temperature的调整,其他选项也给予了一定的权重,当然老鼠吃法棍的可能性比很低,除非这是一只法国老鼠,这也就是temperature起到的一定作用。

较高的temperature使模型更具“创造性”,这在生成小说或广告词时很有用。较低的temperature使模型更“自信”,这在问答等应用中很有用。

所以对于普通用户晦涩难懂的“temperature”概念,我更愿意称之为“创造性”不同的创造性适用于不通的场景中:

限制发挥类任务:如问答,准确性的答案,建议设置为:0~0.3

日常写作类任务:如写文章、写小说、写简历,建议设置为:0.5~0.7

营销或者广告类文案的编写,就需要它很强的发挥,建议设置为:0.8~1

当然,上面的建议也只是建议,每个人在真正使用的过程中,才能够真正体会到创造性(temperature)的灵活性。

chatgpt plus(GPT4)代充值

本文链接:https://shikelang.cc/post/96.html

ChatGPT温度

更多ChatGPT相关文章

网友评论