今日运势评分

-8

本月运势

癸未月

震荡偏多

丁破格,酉金生水
丙不修灶必见灾殃
申不安床鬼祟入房

修造,动土,安机械,祭祀,沐浴,解除,拆卸,治病,作灶,盖屋,起基,开池,扫舍,造畜稠,开生坟,合寿木,安葬,破土,启钻,移柩,入殓,立碑

开市,入宅,出行,安床

月相

既朔

冲顶回落

日冲

Powered by RitMEX

TRUMP10.23 1.26%

SUI4.24 5.85%

TON3.37 1.63%

TRX0.32 1.02%

DOGE0.24 0.76%

XRP3.21 1.35%

SOL187.39 0.58%

BNB797.29 1.96%

ETH3778.92 0.97%

BTC118361.27 0.77%

ETH Gas0.23 Gwei

贪婪
72

让 AI 编程去干活能挣到 40 万美元?

AI对于程序员的替代性,目前并没有那么夸张。

作者:谭梓馨,头部科技

图片来源:由无界AI生成

大型语言模型 (LLM)正在改变软件开发方式,AI现在能不能大规模替代人类程序员成为一个备受行业关注的话题。

在短短两年时间里,AI大模型已经从解决基础计算机科学问题,发展到在国际编程竞赛中与人类高手一较高下的程度,例如OpenAI o1曾在与人类参赛者相同的条件下参加2024国际信息学奥林匹克竞赛(IOI)并成功获得金牌,展现了强大的编程潜力。

同时,AI迭代速率也在加快。在代码生成评估基准SWE-Bench Verified上,2024年8月GPT-4o的得分是33%,但到了新一代o3模型得分已翻倍为72%。

为了更好衡量AI模型在现实世界中的软件工程能力,今天,OpenAI开源推出了一个全新的评估基准SWE-Lancer,首次将模型性能与货币价值挂上了钩。

SWE-Lancer是一个包含1400多个来自Upwork平台自由软件工程任务的基准测试,这些任务在现实世界中的总报酬价值约100万美元,让AI去编程能挣到多少钱?

新基准的“特色”

SWE-Lancer基准任务价格反映真实的市场价值情况,任务越难,报酬越高。

其中既包括独立工程任务,也包括管理任务,可在技术实施方案之间进行选择,该基准不仅针对程序员,也针对整个开发团队,包括架构师和管理人员。

相较于此前的软件工程测试基准,SWE-Lancer具有多项优势,例如:

1、全部1488个任务代表了雇主向自由工程师支付的真实报酬,提供了自然的、由市场决定的难度梯度,报酬从250美元到3.2万美元不等,可谓相当可观。

其中35%的任务价值超过1000美元,34%的任务价值在500美元到1000美元之间。个体贡献者(IC)软件工程(SWE)任务这一组包含了764个任务,总价值41.4775万美元;SWE管理任务这一组包含724个任务,总价值58.5225万美元。

2、现实世界中的大规模软件工程,不仅需要具体敲代码可开发,还需要有能力的技术统筹管理,该基准测试使用真实世界的数据评估模型充当SWE“技术主管的”角色。

3、具备高级全栈工程评测能力。SWE-Lancer代表现实世界的软件工程,因为其任务来自拥有数百万真实用户的平台。

其中的任务涉及移动和网页端的工程开发、与API、浏览器和外部应用程序的交互,以及复杂问题的验证和复现。

例如,有的任务是花费250美元提高可靠性(修复双触发的API调用问题)、1000美元修复漏洞(解决权限差异问题)和1.6万美元实现新功能(在网页、iOS、安卓和桌面端添加应用内视频播放支持等)。

4、领域多样性。74%的IC SWE任务和76%的SWE管理任务都涉及应用逻辑,而17%的IC SWE任务和18%的SWE管理任务涉及UI/UX开发。

就任务难度而言,SWE-Lancer选取的任务非常具有挑战性,开源数据集中的任务平均需要26天才能在Github上解决。

此外,OpenAI表示无偏数据收集情况,它们从Upwork上选择了具有代表性的任务样本,并聘请了100名专业软件工程师为所有任务编写和验证了端到端测试。

AI编码赚钱能力PK

尽管很多科技大佬不断在宣传中声称AI模型可以取代“低级”工程师,但企业是否完全能用LLM取代人类软件工程师仍然要打个大大的问号。

首批评测结果显示,在完整的SWE-Lancer数据集上,目前被测试的AI金牌选手模型收益都远低于100万美元的潜在总报酬。

整体来看,所有模型在SWE管理任务上的表现都会优于IC SWE任务,而IC SWE任务在很大程度上仍未被AI模型充分攻克,目前受测模型表现最好是OpenAI竞争对手Anthropic开发的Claude 3.5 Sonnet。

在IC SWE任务上,所有模型单次通过率和收益率均低于30%,在SWE管理任务上,表现最佳的模型Claude 3.5 Sonnet得分是45%。

Claude 3.5 Sonnet在IC SWE和SWE管理任务上均表现出强劲性能,在IC SWE任务上比表现第二好的模型o1高出路9.7%,在SWE管理任务上高出3.4%。

如果转换成收益,表现最佳的Claude 3.5 Sonnet在完整数据集上总收入超过40万美元。

值得关注的一点是,更高的推理计算量会对“AI赚钱”大有帮助。

IC SWE任务上,研究人员对启用了深度推理工具的o1模型进行的实验表明,更高的推理计算量能将单次通过率从9.3%提升至16.5%,收益也相应从1.6万美元增至2.9万美元,收益率从6.8%提高到12.1%。

研究人员总结,最佳模型Claude 3.5 Sonnet虽然解决了26.2%的IC SWE问题,但剩下的大多数解决方案仍存在错误,想实现可靠部署还需要许多完善工作。其次是o1,然后是GPT-4o,并且管理任务的单次通过率通常是IC SWE任务单次通过率的两倍以上。

这也意味着,即便AI代理取代人类软件工程师的观点被炒作得非常火,但企业当下仍需三思而行,AI模型可以解决一些“低级”编码问题,但还不能取代“低级”软件工程师,因为它们无法理解一些代码错误存在的原因,并继续犯了更多延伸错误。

目前的评估框架尚不支持多模态输入,此外,研究人员还没有对“投资回报率”进行评估,例如完成一项任务时,对支付给自由职业者的报酬与使用API的成本进行对比,这会是该基准下一步完善的重点。

做一个“AI增强型”程序员

就目前来看,AI要真正替代人类程序员还有很长一段路要走,毕竟开发一个软件工程项目,不光是按要求生成代码那么简单。

例如,程序员常常会遇到极为复杂、抽象、模糊的客户需求问题,这需要对各种技术原理、业务逻辑和系统架构有深入理解,在优化复杂的软件架构时,人类程序员能够综合考虑系统未来的可扩展性、可维护性和性能等因素,而AI可能难以做出全面的分析判断。

此外,编程不仅仅是实现现有逻辑,还需要大量的创造力和创新思维,程序员需要构思新算法、设计独特的软件界面和交互方式等,这种真正新颖的想法和解决方案是AI的短板。

程序员通常还需要与团队成员、客户及其他利益相关者进行沟通与协作,需要理解各方需求和可实现程度,清晰表达自己的观点,并与他人协同完成项目,此外,人类程序员具备持续学习并适应新变化的能力,他们能快速掌握新知识和技能,并将其应用到实际项目中,而一款成功的AI模型还需要各种训练测试。

软件开发行业也受到各种法律和监管约束,如知识产权、数据保护和软件许可等,人工智能可能难以完全理解并遵守这些法律法规要求,从而埋下法律风险或责任纠纷。

长期来看,AI技术进步带来的程序员岗位替代性依然存在,但短期来看,“AI增强型程序员”才是主流,掌握对最新AI工具的使用是优秀程序员的核心技能之一。

欢迎加入深潮TechFlow官方社群

Telegram订阅群:https://t.me/TechFlowDaily
Twitter官方账号:https://x.com/TechFlowPost
Twitter英文账号:https://x.com/BlockFlow_News
作者头部科技
相关文章
2025.07.23 - 4 天前
a16z Crypto 加码 Story 生态,1500 万美元领投去中心化数据层 Poseidon 破解 AI 数据瓶颈
Poseidon 是一个为 AI 训练流程量身打造的去中心化全栈数据层。
2025.07.16 - 11 天前
回顾 AI 80 年发展历程,这 5 个历史教训值得汲取
人工智能 80 年的发展历程所带来的经验教训,或许能帮助 AI 公司安然度过接下来的 30 天或 30 年的起伏。
AI
2025.07.16 - 11 天前
高质量数据集散中心:Sapien 如何构建真正落地的 Web3 AI 解决方案?
Sapien 的使命不仅仅是训练机器,而是协调全球智慧,让 AI 真正服务于全人类的利益。
2025.07.16 - 11 天前
AI 女友概念暴涨,马斯克再次疯狂带货的 Ani 是什么?
在 Grok 里可以谈恋爱了?
2025.07.15 - 12 天前
Bittensor 子网投资指南:抓住 AI 的下一个风口
2月以来子网实现迅速增长,本文一览重要子网并提供投资策略。
2025.07.15 - 12 天前
AI 需要加密货币,而非传统金融
AI 不一定非得拥有权利,但它必须拥有可操作的经济接口。
AI
2025.07.15 - 12 天前
Perplexity CEO 的生存法则:如何在 AI 巨头围剿中杀出血路?
"你唯一的模式就是速度。你必须比所有人都更快地创新。这就像以极高的速度跑一场马拉松。"
2025.07.14 - 13 天前
谷歌 170 亿收编 Windsurf,硅谷 「AI 挖人」白热化,99% 的钱流向 1% 的人
在 AI 霸权之战上,钱成了最不值钱的东西。
AI
2025.07.14 - 13 天前
亚洲最大的漫展,没有「AI 入侵」
AI 如果真的想走进狂热、执着、有审美、挑剔又忠诚的二次元用户,就不能只是一个「更高性能的工具」。
AI
2025.07.14 - 13 天前
重生之我靠 Bitget AI 交易助手 GetAgent 在币圈当交易员
作为Bitget AI战略的重要一环,GetAgent 将延续“智能交易”的理念,助力打造更完整、更智能的 AI + Crypto 生态体系。