开发人员本应是生成式人工智能发展的最大受益者之一,因为特殊工具可以让代码编写变得更快、更容易。但根据编程指标分析公司Uplevel最近的一项研究,生产力的提高并没有实现,至少目前还没有。
这项研究跟踪了约800名开发人员,比较了他们在三个月内使用和不使用GitHub的Copilot编程助手时的产出。令人惊讶的是,在衡量拉取请求周期时间和吞吐量等关键指标时,Uplevel发现使用Copilot的用户并没有获得有意义的改进。
Uplevel的数据分析师马特-霍夫曼(MattHoffman)向《首席信息官》(CIO)杂志解释说,他们的团队最初认为,由于开发人员在提交代码之前使用了人工智能工具来帮助审核代码,因此开发人员将能够编写更多代码,缺陷率也可能会下降。但他们的研究结果却打破了这些预期。
据《首席信息官》报道,事实上,研究发现,使用Copilot的开发人员在代码中引入的错误多出了41%。Uplevel也没有发现任何证据表明人工智能助手有助于防止开发人员倦怠。
这一消息反驳了Copilot的制造商GitHub和其他人工智能编程工具支持者关于大幅提高工作效率的说法。早些时候,GitHub赞助的一项研究称,在Copilot的帮助下,开发人员编写代码的速度提高了55%。
鉴于Copilot早期的一份报告显示近30%的新代码涉及人工智能辅助,开发人员确实看到了积极的成果,而这一数字很可能还在增长。不过,使用量增加背后的另一种可能是编程员产生了依赖性,变得懒惰。
在实际工作中,人工智能编程助手的使用体验迄今为止好坏参半。在定制软件公司GehtsoftUSA,首席执行官IvanGekht告诉《首席信息官》,他们发现人工智能生成的代码在理解和调试方面具有挑战性,因此有时从头开始重写会更有效率。
去年的一项研究显示,ChatGPT答错了一半以上的编程问题,这似乎印证了他的看法,尽管自那以后,聊天机器人经过多次更新后已经有了很大改进。
Gekht补充说,软件开发"90%是大脑的功能--理解需求、设计系统、考虑限制和约束",而将所有这些转化为代码则是工作中较为简单的部分。
然而,在云计算提供商InnovativeSolutions,首席技术官TravisRehl报告说,由于使用了ClaudeDev和Copilot等工具,开发人员的工作效率提高了三倍。
这些相互矛盾的说法凸显出,我们可能仍处于人工智能编程助手的早期阶段。但随着工具的快速发展,谁知道它们的未来会走向何方呢?
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】