用 chatGPT4打游戏是个什么体验

先做个广告：如需代注册ChatGPT或充值 GPT4.0会员（plus），请添加站长微信：gptchongzhi

由 NVIDIA 领导的研究团队开源了 Voyager，这是一种基于大语言模型 (LLM) 的终身学习代理。Voyager 在没有人为干预的情况下不断探索世界，在流行游戏《我的世界》中学习不同的技能并取得新发现。
推荐使用GPT中文版,国内可直接访问：https://ai.gpt86.top

先看下动图，具体视频可以到官网看，或者你已经安装了游戏，可以根据后面的教程自己运行这个 AI 程序：

《我的世界》这款游戏，大家应该都很熟悉，而 NVIDIA 已经把大语言模型用在了玩儿《我的世界》上，合成新物品、解锁成就、开拓地图，各个能力无所不能。用 GPT4 做加持，让它和「同行」的机器人迅速拉开差距。

我们先看对比图，在看介绍：

Voyager 在测试过程中显示出强大的情境终身学习能力，并且在玩 Minecraft 时表现出非凡的熟练程度，远远优于同类机器人。

• 它获得的独特物品增加了 3.3 倍，
• 行进距离增加了 2.3 倍，
• 解锁关键技术树里程碑的速度比之前的 SOTA 快了 15.3 倍，
• Voyager 能够在新的 Minecraft 世界中利用学到的技能库从头开始解决新任务，而其他技术则难以推广。

团队

创建 Voyager 的研究团队包括来自 NVIDIA、加州理工学院、德克萨斯大学奥斯汀分校 (UT Austin)、斯坦福大学和亚利桑那州立大学 (ASU) 的研究人员。

在一篇总结 Voyager 研究成果的论文（发表在 arXiv 上）中，研究团队将之前基于 LLM 的代理所面临的挑战描述如下：

『开发在开放世界中不断探索、规划和发展新技能的具有普遍能力的智能体，是 AI（人工智能）社区面临的重大挑战。基于 LLM 的智能体是最近取得的进展，预训练 LLM 对世界的知识，以生成一致的行动计划和可操作的政策，但这些代理人获得知识的时间很长，不是可以更新、积累和迁移的终身学习者。』

研究团队描述了 Minecraft 的特点如下。『与使用 AI 研究的许多其他游戏不同， Minecraft 提供了一个独特的游乐场，拥有无限的可能性，而不是强加预定义的最终目标或固定的故事。现实的终身学习代理必须能够在这些游戏中表现得与人类一样好。』

该论文的作者之一、NVIDIA 的 AI 科学家 Jim Huang 博士在 2023 年 5 月 27 日发布在 Twitter 上的一条推文中说，『具有通用能力的自主代理是 AI 的下一个前沿领域。Minecraft 是无限可能性的终极试验台对于代理商。』

实现

Voyager 由三个主要模块实现：

• 自动化课程以最大限度地探索
• 用于存储和检索复杂行为的可执行代码的不断增长的技能库
• 一种重复的提示机制，结合环境（游戏）反馈、执行错误和自我验证来完善程序

Voyager 通过提示和上下文学习与黑盒 LLM (GPT-4) 交互。这避免了对模型参数进行微调的需要。

自动课程

自动课程考虑探索进度和代理状态以最大化探索。GPT-4 将根据『发现尽可能多的不同事物』的总体目标生成课程。

技能库

图表的上半部分显示了新技能的添加。每个技能都带有嵌入式描述的索引，以便将来在类似情况下进行搜索。下图为技能搜索。当面对自动化课程中建议的新任务时，查询并确定前五项相关技能。复杂的技能可以通过组合简单的程序来合成，航海者的能力会随着时间的推移而迅速提高。

重复提示机制

图的左侧显示了来自环境的反馈。GPT-4 知道在 Minecraft 中制作一根棍子需要两块木头。右侧显示执行错误。GPT-4 明白 Minecraft 中没有『金合欢锯』，所以必须制作一把『木锯』。

终身学习能力强

Voyager 在上下文中展示了强大的终身学习能力，与传统的 SOTA（最先进的）相比，在 Minecraft 中获得的独特物品增加了 3.3 倍，独特物品增加了 2.3 倍，旅行距离增加了一倍，达到主要科技树里程碑的速度提高了 15.3 倍。研究人员说：

虽然其他技术难以推广，但 Voyager 可以利用新 Minecraft 世界中学到的技能库从头开始解决新任务。

Voyager 通过自我探索不断发现新的 Minecraft 物品和技能，显著优于现有的基于 LLM 的代理。X轴显示提示的迭代次数。

使用

该项目已经开源，如果你有《我的世界》账号和 OpenAI 账号，那么可以直接按照下面方法运行该项目，让 AI 替你玩儿游戏。

首先，提前装好《我的世界(Minecraft)》。项目 Python 依赖：

git clone https://github.com/MineDojo/Voyager
cd Voyager
pip install -e .

项目 NodeJS 依赖：

cd voyager/env/mineflayer
npm install -g npx
npm install
cd mineflayer-collectblock
npx tsc
cd ..
npm install

然后执行下面代码登录游戏就可以让 AI 帮你探索世界了：

from voyager import Voyager
# You can also use mc_port instead of azure_login, but azure_login is highly recommended
azure_login = {
    "client_id": "YOUR_CLIENT_ID",
    "redirect_url": "https://127.0.0.1/auth-response",
    "secret_value": "[OPTIONAL] YOUR_SECRET_VALUE",
    "version": "fabric-loader-0.14.18-1.19", # the version Voyager is tested on
}
openai_api_key = "YOUR_API_KEY"
voyager = Voyager(
    azure_login=azure_login,
    openai_api_key=openai_api_key,
)
# start lifelong learning
voyager.learn()