首个AI程序员,演示视频大幅度造假???
不久之前震撼硅谷的Devin,再度震撼硅谷——但这次是被打假。
事情是这样的:油管程序员博主Internet of Bugs(以下简称光头哥)对Devin的视频进行了逐帧分析,逐一举证说明了Devin并不如演示中那般神奇。
甚至有“自己现写bug然后当场修复”的骚操作。
其它“罪证”,包括但不限于:
号称能解决任何Upwork任务,但演示中解决的问题并不是prompt要解决的那一个,做无用功;
看起来在修复bug,实际上修复的bug人类程序员根本就不会犯;
没有意识到简单两步就能解决问题,花里胡哨一顿操作,其实是自己把任务搞复杂了;
修改代码的水平一言难尽。
此外,光头哥花了半个多小时,把Devin演示视频中的upwork任务完成了一遍——而Devin完成任务可能用时6个多小时。
啊这这这,真是好、大、一、口、瓜!
要知道,其背后公司Cognition AI手握10块IOI金牌的活招牌,还在推出Devin当月宣布成功融资2100万美金。
推特和YC上已经吵翻天了,让这件事的讨论度高居不下。
还有人表示自己很受伤,再也不会相信各种冒出来的创业公司的东西了。
完整详情,一起接着往下看。
此次出来声张正义的光头哥,从事软件行业已经35年。他首先声明自己的立场:我并不反对高科技,但我确实反对过度炒作。
他自己也经常使用GitHub Copilot、ChatGPT、LIama2、Stable Diffusion。
事实上,在Devin刚推出时候,他就反对过“世界上第一个AI软件工程师”这一说法。
此次则主要针对的是一些更为具体的说法。
比如之前Devin号称能够靠处理upwork任务来赚钱的。但在真正的演示中Devin并没有做到这一点。
不信?没关系,光头哥带着逐帧的证据来了。
总结如下:
Devin所处理的任务并非随机,而是精心挑选;
与客户实际需求有很大的出入;
实际操作过程,数次自己创造bug然后再修复