Google内部评估ChatGPT,光在GPT-3等级就已通过Google的3级工程师测试

谷歌内部评估ChatGPT,光在GPT-3等级就已通过谷歌的3级工程师测试

谷歌正在测试新的AICG产品,这些产品可能会影响未来谷歌服务的样貌,包括有一个新的聊天机器人,以及将这个聊天机器人整合到搜索引擎的潜在方式。

根据cnbc的报导,谷歌 的云端运算部门正在进行一个名为「Atlas」的计画,是完全针对ChatGPT而来的。 这些计划包括测试一个内部名称叫「见习生Bard」的聊天机器人,员工可以对它提出问题,并收到与ChatGPT类似的详细答案。 另外,还有一个产品部门一直在测试一种新的桌上型搜索引擎的设计,可以用问答的形式来使用。

最近几周,谷歌的高层一直在向更多员工征求对这些工作的意见。 根据CNBC采访了相关人士,得到了更多细节。

谷歌 与ChatGPT之间的对决,可以从先前的一次谷歌全体员工会议讲起。 当时因为ChatGPT突然流行起来,会议上有员工对公司在人工智能方面的竞争优势提出了担忧。

ChatGPT它是由OpenAI推出的,这是一家位于旧金山的新创公司,不过背后有微软的资金支持。

谷歌 的人工智能主管迪恩(Jeff Dean)当时告诉员工,ChatGPT 提供的答案并不见得准确。 而谷歌在提供错误信息方面的声誉风险要大得多,因此在移动上比一家小型创业公司要保守。

当时他也和首席执行官皮查伊表示,谷歌可能会在今年某个时候向公众推出类似产品。 谷歌的首要业务是网络搜索引擎,该公司长期以来一直表示自己是人工智能领域的先锋。

见习生Bard(Apprentice Bard)

目前已知谷歌正在进行的一项工作就是在测试一个名为Apprentice Bard的聊天机器人,它使用了谷歌的大型语言模型LaMDA。

「为了应对ChatGPT的来袭,LaMDA团队被要求将对应ChatGPT的工作列为第一优先,」CNBC表示一份谷歌的内部备忘录写道。 「在短期内,这项工作优先于其他项目,」电子邮件继续说,并警告一些员工停止参加与这无关的会议。

见习生Bard看起来与ChatGPT类似。 员工可以在对话框中输入一个问题,得到一个答案,然后对回答进行回应。 根据CNBC查看的几个回答,Apprentice Bard的回答可以包括最近的事件,这点因为ChatGPT并没有连网的功能,因此还做不到。

例如,谷歌一个测试者就问了「见习生Bard」一个相当切身而且即时的问题:谷歌是否会有新一轮的裁员。 (该公司先前解雇了12000名员工,占其员工总数的6%。 )

「根据我的资料库资料,谷歌 不太可能在 2023 年进行新一轮的裁员,」Bard 回应。 「进行裁员一般是为了降低成本和结构,但公司的财务状况良好。 事实上,谷歌的收入在2021年增长了34%,公司的股价自2022年1月以来已经上涨了70%。」

谷歌版本的聊天搜索引擎

此外,他们也在测试一个备用的搜索页面,可能会使用问答的形式来呈现搜寻的答案。 这点应该是针对微软结合了ChatGPT的Bing聊天机器人而来。

根据描述,主搜索页面提供了五个不同的潜在问题提示,直接放在主搜索栏下方,取代了目前的「好手气」栏位。 然后搜寻栏的最右端有一个小的聊天标志。

当你输入一个问题时,在搜索栏的正下方会显示一个灰色的气泡把搜索结果列出来,这比目前的条列式搜索结果相比,提供了更类似人类的回应。 在它的正下方,页面建议了几个与第一个问题相关的后续问题。 然后在这个下面,则是传统的谷歌搜索结果:网页标题以及链接。

「我们长期以来一直专注于开发和部署人工智能,以改善人们的生活,」谷歌一位发言人说。 「我们相信,人工智能是基础性和变革性的技术,对个人、企业和社区都非常有用,正如我们的人工智能原则所概述的,我们需要考虑这些创新可能产生的更广泛的社会影响。 我们继续在内部测试我们的人工智能技术,以确保它是有帮助的和安全的,我们期待着很快在外部分享更多经验。」

ChatGPT的能力可在谷歌被聘为3级工程师

此外,谷歌团队也一直在测试LaMDA与ChatGPT之间进行对比。 在一份文件中,披露了ChatGPT在编程的能力表现印象深刻。

「令人惊讶的是,ChatGPT在面试编程职位时,足以被L3录用,」在一份比较LaMDA和ChatGPT的内部文件中,这份文件中指出ChatGPT的编程能力令他们印象深刻,而在同一份文件中并没有说明LaMDA是否会有类似的表现,不过从语意上看来应该表现不及ChatGPT。

文件中还有一个例子,问这两个聊天机器人,ChatGPT和AlphaCode(Alphabet子公司DeepMind拥有的一个编码引擎)是否会取代程序员。

「不,ChatGPT和AlphaCode不会取代程序员,」LaMDA的回答,随后是四段解释,包括「编程是一项团队工作」,虽然聊天机器人「可以帮助程序员更有效率地工作」,但它「不能取代伟大程序所需具备的创造力和艺术性」。

ChatGPT的回应也类似,称「ChatGPT或Alphacode不太可能取代程序员」,因为它们没有能力完全取代人类程序员的专业知识和创造力…… 编程是一个复杂的领域,需要对计算机科学原理有深刻的理解,并有能力适应新技术。”

还有另一个问题要求其按照魏斯·安德森(美国电影导演、编剧和监制,曾获柏林影展最佳导演奖和英国电影学院奖最佳原创剧本奖)风格写一个诙谐有趣的电影场景,扮演一个在香水店中被保全审问的店员。 LaMDA以剧本的形式写出来,而ChatGPT则以叙述的形式写出来,但时间更长,更有深度。

当然了,以上的测试都还是ChatGPT在GPT-3时代的测试结果,而现在GPT-4推出了,恐怕这些测试也仅供参考,LaMDA也要追的更累了。

(0)
打赏 微信扫一扫 微信扫一扫

相关推荐

发表评论

登录后才能评论