不用羡慕 NVIDIA 了! AMD 也推出自家 CPU 和 GPU 本地运行的 AI 聊天机器人

上个月NVIDIA为用户推出专属能在本地运行的Chat with RTX聊天机器人时,相信不少AMD用户都眼红玩不到,而好消息是,随着AMD近期也在努力耕耘AI这块,这次没有拖太久,稍早就宣布推出AMD用户专属的AI聊天机器人,而且不只是GPU用户,符合的CPU用户也能使用。

不用羡慕 NVIDIA 了! AMD 也推出自家 CPU 和 GPU 本地运行的 AI 聊天机器人 -

AMD 稍早在官方博客中,宣布推出自家 LLM 聊天机器人「LM Studio」,支持 AMD Ryzen AI 处理器和 AMD Radeon RX 7000 系列显卡,载点不一样,下载时要注意看是处理器版、还是显卡版(目前还处于预览版)。

虽然说是自家专属的 LLM 聊天机器人,但跟 NVIDIA 不一样,AMD LM Studio 仅支持最新一代处理器和显卡,意味着上一代 Radeon RX 6000 系列是没办法用的,这真的有点可惜。

我的电脑没有 AMD 硬件,因此就没办法示范给大家看,不过 AMD 在文章中有详细说明该怎么使用:

  1. 下载正确版本的 LM Studio
  2. 运行文件
  3. 在搜索栏中复制粘贴以下指令,看你要运行哪一个模型,搜索结果会显示于左侧
    如果你要运行 Mistral 7b,请搜索
    如果你要运行 LLAMA v2 7b,请搜索 TheBloke/OpenHermes-2.5-Mistral-7B-GGUFTheBloke/Llama-2-7B-Chat-GGUF
  4. 你也可以尝试其他模型
    不用羡慕 NVIDIA 了! AMD 也推出自家 CPU 和 GPU 本地运行的 AI 聊天机器人 -
  5. 于右侧面板中向下滑动,直到找到Q4_K_M模型文件,按旁边的下载按钮。 对于Ryzen AI用户来说,AMD建议使用这一个,接着就等待下载完成:
    不用羡慕 NVIDIA 了! AMD 也推出自家 CPU 和 GPU 本地运行的 AI 聊天机器人 -
  6. 前往聊天标签,于上方中间选择你要使用的模型,然后等待读取完成:
    不用羡慕 NVIDIA 了! AMD 也推出自家 CPU 和 GPU 本地运行的 AI 聊天机器人 -
  7. 如果你是使用 AMD Ryzen AI PC,那可以开始聊天。 如果你是 AMD Radeon RX 7000 系列显卡用户,那请操作以下步骤,于右侧打勾「GPU Offload」选项,选择 Max 面板,确认 AMD ROCm™ 显示有检测到 GPU 类型:
    不用羡慕 NVIDIA 了! AMD 也推出自家 CPU 和 GPU 本地运行的 AI 聊天机器人 -

至于聊天质量怎么样,我猜测有可能跟英伟达的 Chat With RTX 差不多,中文支持性没有到很好,这部分只能 AMD 用户自行测试看看了。

虽然 NVIDIA 和 AMD 的聊天机器人,没有开放给其他品牌、以及自家老 CPU 和 GPU,现今网络上其实也有其他软件可以做到在电脑本地安装 LLM 大型语言模型,像我们之前介绍过的 GPT4All,就能安装超多模型,比 N 家和 A 家的还多,有需要的人也能试试看。

(0)
打赏 微信扫一扫 微信扫一扫

相关推荐

发表评论

登录后才能评论