国外研究指出ChatGPT的代码Debug能力比现有其他软件还要强大

IGN • 2023年10月2日 05:49 • 投稿

随着 ChatGPT 爆红，越来越多人拿它来测试各种工作行业的内容，除了大家都知道的写文章、报告、解答问题等等，前阵子国外还有团队研究 ChatGPT 的 Debug 能力，没想到出乎意料的惊人，现阶段就已经比现有的其他软件还要强大，意味着未来如果持续训练，能做到怎样程度真的无法评估。

国外研究指出ChatGPT的代码Debug能力比现有其他软件还要强大

来自美因茨大学（Johannes Gutenberg University）与伦敦大学学院（University College London）的研究人员将 40 条错误代码丢给不同 Debug 软件，包括 Codex、CoCoNut 和 Standard APR，另外还有目前最火热的 ChatGPT，当然，ChatGPT 是一个机器人聊天，因此 Debug 过程中他们是通过聊天方式来问 ChatGPT 这程式代码有没有问题。

首次测试ChatGPT侦错能力跟其他软件差不多，修复了19个问题，Codex修复21个，CoCoNut则是19个，Standard APR仅7个，但ChatGPT回答初始问题后，其Debug能力就渐渐提升，最终ChatGPT可以修复31个问题，而且更强大地方在，它还会提供更多解答。

研究人员表示：「ChatGPT 一个强大优势是，我们可以在对话中与系统进行对谈，来更详细地指定请求。对于我们大多数的请求，ChatGPT 都会要求提供相关问题和错误的更多信息。所以说，通过给予 ChatGPT 提示，就能进一步提高其成功率。」

有一些问题 ChatGPT 可以快速修复，但有一些则需要多次来回，像下图这个案例，研究人员希望 ChatGPT 建议用 n&=n-1 替换 n^=n-1，但 ChatGPT 回答的第一件事是：如果没有更多相关信息，我无法判断程序是否有错误。随后研究人员提供更多提示，在第三个回应中终于发现问题所在：
国外研究指出 ChatGPT 的代码 Debug 能力比现有其他软件还要强大 - 电脑王阿达