今日运势评分

-4

本月运势

癸未月

震荡偏多

劫财夺财,卯冲酉
戊不受田田主不祥
寅不祭祀神鬼不尝

嫁娶,开光,出行,理发,作梁,出火,拆卸,修造,开市,交易,立券,挂匾,动土,入宅,移徙,安床,栽种

伐木,祭祀,纳畜,祭祀

月相

小望

冲顶回落

日冲

Powered by RitMEX

TRUMP8.58 0.79%

SUI2.89 1.34%

TON2.81 2.18%

TRX0.29 0.19%

DOGE0.17 1.50%

XRP2.30 1.82%

SOL151.39 1.74%

BNB661.70 0.33%

ETH2594.40 2.29%

BTC108420.38 0.47%

ETH Gas0.45 Gwei

贪婪
65

让 AI 编程去干活能挣到 40 万美元?

AI对于程序员的替代性,目前并没有那么夸张。

作者:谭梓馨,头部科技

图片来源:由无界AI生成

大型语言模型 (LLM)正在改变软件开发方式,AI现在能不能大规模替代人类程序员成为一个备受行业关注的话题。

在短短两年时间里,AI大模型已经从解决基础计算机科学问题,发展到在国际编程竞赛中与人类高手一较高下的程度,例如OpenAI o1曾在与人类参赛者相同的条件下参加2024国际信息学奥林匹克竞赛(IOI)并成功获得金牌,展现了强大的编程潜力。

同时,AI迭代速率也在加快。在代码生成评估基准SWE-Bench Verified上,2024年8月GPT-4o的得分是33%,但到了新一代o3模型得分已翻倍为72%。

为了更好衡量AI模型在现实世界中的软件工程能力,今天,OpenAI开源推出了一个全新的评估基准SWE-Lancer,首次将模型性能与货币价值挂上了钩。

SWE-Lancer是一个包含1400多个来自Upwork平台自由软件工程任务的基准测试,这些任务在现实世界中的总报酬价值约100万美元,让AI去编程能挣到多少钱?

新基准的“特色”

SWE-Lancer基准任务价格反映真实的市场价值情况,任务越难,报酬越高。

其中既包括独立工程任务,也包括管理任务,可在技术实施方案之间进行选择,该基准不仅针对程序员,也针对整个开发团队,包括架构师和管理人员。

相较于此前的软件工程测试基准,SWE-Lancer具有多项优势,例如:

1、全部1488个任务代表了雇主向自由工程师支付的真实报酬,提供了自然的、由市场决定的难度梯度,报酬从250美元到3.2万美元不等,可谓相当可观。

其中35%的任务价值超过1000美元,34%的任务价值在500美元到1000美元之间。个体贡献者(IC)软件工程(SWE)任务这一组包含了764个任务,总价值41.4775万美元;SWE管理任务这一组包含724个任务,总价值58.5225万美元。

2、现实世界中的大规模软件工程,不仅需要具体敲代码可开发,还需要有能力的技术统筹管理,该基准测试使用真实世界的数据评估模型充当SWE“技术主管的”角色。

3、具备高级全栈工程评测能力。SWE-Lancer代表现实世界的软件工程,因为其任务来自拥有数百万真实用户的平台。

其中的任务涉及移动和网页端的工程开发、与API、浏览器和外部应用程序的交互,以及复杂问题的验证和复现。

例如,有的任务是花费250美元提高可靠性(修复双触发的API调用问题)、1000美元修复漏洞(解决权限差异问题)和1.6万美元实现新功能(在网页、iOS、安卓和桌面端添加应用内视频播放支持等)。

4、领域多样性。74%的IC SWE任务和76%的SWE管理任务都涉及应用逻辑,而17%的IC SWE任务和18%的SWE管理任务涉及UI/UX开发。

就任务难度而言,SWE-Lancer选取的任务非常具有挑战性,开源数据集中的任务平均需要26天才能在Github上解决。

此外,OpenAI表示无偏数据收集情况,它们从Upwork上选择了具有代表性的任务样本,并聘请了100名专业软件工程师为所有任务编写和验证了端到端测试。

AI编码赚钱能力PK

尽管很多科技大佬不断在宣传中声称AI模型可以取代“低级”工程师,但企业是否完全能用LLM取代人类软件工程师仍然要打个大大的问号。

首批评测结果显示,在完整的SWE-Lancer数据集上,目前被测试的AI金牌选手模型收益都远低于100万美元的潜在总报酬。

整体来看,所有模型在SWE管理任务上的表现都会优于IC SWE任务,而IC SWE任务在很大程度上仍未被AI模型充分攻克,目前受测模型表现最好是OpenAI竞争对手Anthropic开发的Claude 3.5 Sonnet。

在IC SWE任务上,所有模型单次通过率和收益率均低于30%,在SWE管理任务上,表现最佳的模型Claude 3.5 Sonnet得分是45%。

Claude 3.5 Sonnet在IC SWE和SWE管理任务上均表现出强劲性能,在IC SWE任务上比表现第二好的模型o1高出路9.7%,在SWE管理任务上高出3.4%。

如果转换成收益,表现最佳的Claude 3.5 Sonnet在完整数据集上总收入超过40万美元。

值得关注的一点是,更高的推理计算量会对“AI赚钱”大有帮助。

IC SWE任务上,研究人员对启用了深度推理工具的o1模型进行的实验表明,更高的推理计算量能将单次通过率从9.3%提升至16.5%,收益也相应从1.6万美元增至2.9万美元,收益率从6.8%提高到12.1%。

研究人员总结,最佳模型Claude 3.5 Sonnet虽然解决了26.2%的IC SWE问题,但剩下的大多数解决方案仍存在错误,想实现可靠部署还需要许多完善工作。其次是o1,然后是GPT-4o,并且管理任务的单次通过率通常是IC SWE任务单次通过率的两倍以上。

这也意味着,即便AI代理取代人类软件工程师的观点被炒作得非常火,但企业当下仍需三思而行,AI模型可以解决一些“低级”编码问题,但还不能取代“低级”软件工程师,因为它们无法理解一些代码错误存在的原因,并继续犯了更多延伸错误。

目前的评估框架尚不支持多模态输入,此外,研究人员还没有对“投资回报率”进行评估,例如完成一项任务时,对支付给自由职业者的报酬与使用API的成本进行对比,这会是该基准下一步完善的重点。

做一个“AI增强型”程序员

就目前来看,AI要真正替代人类程序员还有很长一段路要走,毕竟开发一个软件工程项目,不光是按要求生成代码那么简单。

例如,程序员常常会遇到极为复杂、抽象、模糊的客户需求问题,这需要对各种技术原理、业务逻辑和系统架构有深入理解,在优化复杂的软件架构时,人类程序员能够综合考虑系统未来的可扩展性、可维护性和性能等因素,而AI可能难以做出全面的分析判断。

此外,编程不仅仅是实现现有逻辑,还需要大量的创造力和创新思维,程序员需要构思新算法、设计独特的软件界面和交互方式等,这种真正新颖的想法和解决方案是AI的短板。

程序员通常还需要与团队成员、客户及其他利益相关者进行沟通与协作,需要理解各方需求和可实现程度,清晰表达自己的观点,并与他人协同完成项目,此外,人类程序员具备持续学习并适应新变化的能力,他们能快速掌握新知识和技能,并将其应用到实际项目中,而一款成功的AI模型还需要各种训练测试。

软件开发行业也受到各种法律和监管约束,如知识产权、数据保护和软件许可等,人工智能可能难以完全理解并遵守这些法律法规要求,从而埋下法律风险或责任纠纷。

长期来看,AI技术进步带来的程序员岗位替代性依然存在,但短期来看,“AI增强型程序员”才是主流,掌握对最新AI工具的使用是优秀程序员的核心技能之一。

欢迎加入深潮TechFlow官方社群

Telegram订阅群:https://t.me/TechFlowDaily
Twitter官方账号:https://x.com/TechFlowPost
Twitter英文账号:https://x.com/BlockFlow_News
作者头部科技
相关文章
2025.07.08 - 17 小时前
AI + 加密支付:数字化转型新范式
加密支付与 AI 的融合并非简单技术叠加,而是通过重构 「价值流转 - 数据处理 - 用户激励」 的经济逻辑,催生全新商业范式。
2025.07.07 - 前天
多模态视频生成技术突破,Web3 AI 有何机会?
当 AI 从过去集中式大规模资源调配逐渐趋于模块化协作是一种对去中心化平台的新需求。
AI
2025.07.07 - 前天
AI 在抢谁的工作?400 万份聊天记录揭晓了答案
别怕 AI 来抢饭碗,要学会怎么与它相处。
AI
2025.07.04 - 5 天前
挖出潜力代币:如何用 AI 模型构建市盈率监控系统?
教你如何对市盈率进行分析,并借助AI模型构建相应的监控系统。
AI
2025.07.04 - 5 天前
金融科技的未来引擎,蚂蚁国际用“区块链 + AI”重塑全球资金管理
区块链和 AI 技术,正彻底改变资金、信息和生意在经济体中的连接方式。
2025.07.04 - 5 天前
以太坊不再缺席,Virtuals ACP 打开 AI 万亿经济之门
Virtuals 将带着 ACP 写下 AI 新商业逻辑的第一行代码。
2025.07.03 - 6 天前
「赛博菩萨」发威,AI 巨头的「免费午餐」时代终结了
从「防火墙」到「防虫网」,Cloudflare 或许将改写网络内容付费历史。
AI
2025.07.03 - 6 天前
AI 重构搜索:谁能夺下智能时代的主入口?
AI 时代的生态入口,仍是搜索。
AI
2025.07.03 - 6 天前
实测 Bitget GetAgent:从“韭菜”到“明牌王者”只差一个 AI 助手
从产品的视角,聊聊这个AI助手的真实表现和潜在影响。
2025.07.02 - 7 天前
AI「下沉」是 Web3 的机遇吗?
只有当 AI 真正「下沉」到每个设备时,去中心化协作才会从概念变成刚需?
AI