2026年7月1日，一篇来自微软内部的论文出现在arXiv上。三位微软研究者——Emerson Murphy-Hill、Jenna Butler和Alexandra Savelieva——基于公司数万名工程师在2026年初的真实使用数据，分析了Claude Code和GitHub Copilot CLI两种命令行AI编程工具的采用模式和产出影响。这不是又一份开发者问卷调查。这是迄今为止第一篇使用企业级遥测数据来同时分析AI编程工具”谁会用”和”用了之后产出多少”的实地研究。
三项核心发现
论文围绕三个现实问题展开：谁会尝试使用这些工具？谁会持续使用？工具产生的额外产出是否值得企业花出去的token费用？
三个核心结论如下。
第一，首次使用的传播主要依赖社交网络。一个工程师是否尝试Copilot CLI，最有力的预测因素是同事和上级是否已经在用。具体数据：当同一个skip-level manager下的同事中有超过四分之一已在使用时，该工程师尝试的概率比基准线高出216%。直属经理在使用时，概率高出82%。经常互审代码的同事在使用时，概率高出54%。
第二，持续使用与代码活跃度相关，与人口特征无关。职级、司龄、角色——这些”你是谁”的标签对留存率几乎没有解释力。真正区分”试试就走”和”留下来用”的，是工程师的代码活跃度（每周创建2个以上PR的人留存率高31%）和他们之前是否已经在用IDE版的Copilot。而后者的关系是反直觉的：之前在IDE里大量使用Copilot的人更愿意尝试CLI版，但更不愿意持续使用——一种”我有替代品，所以不急”的模式。
第三，工具使用者合并的PR数量比不使用的情况下高出约24%。这个提升在四个月的观察期内没有衰减——与之前关于Cursor在开源项目中效果仅维持两个月的研究形成了对比。
剂量效应：多用的确多产
研究对”用量”做了精细的剂量-反应分析。与同一工程师不使用工具的周相比：每周使用3天，PR量提升15%；每周使用5天以上，PR量提升50.1%。曲线单调递增——不存在”用了一点点反而降速”的情况。
这个提升不只来自”写得更快”。论文引用了微软内部的开发者调查反馈：有工程师说这些工具让他们敢于接手”过去绝不会碰的大改动”；有人说可以同时并行多个工作流——“一边更新文档、一边分析质量问题、一边做原型、一边为团队写工具”。输出增加，部分原因是开发者开始做原本不会做的事，而不仅仅是做得更快。
Copilot CLI跑赢了Claude Code
论文中一个出人意料的结果是工具间的对比。在PR合并量的提升上，Copilot CLI是Claude Code的约2.2倍——Copilot CLI使用者每周PR提升24.9%，Claude Code使用者提升11.4%。
这个差异与2026年初公开社区的普遍看法相反。当时The Pragmatic Engineer的调查显示Claude Code是开发者最青睐的AI编程工具。论文提出了两种解释：两种工具被用于不同类型的任务；Copilot CLI作为微软自家产品，在集成度和组织适配性上天然占优。
论文还引用了一位开发者的反馈：“参加完内部工作坊后，我彻底放弃了Claude Code，只用Copilot CLI了。“工具迁移的方向与数据走势一致。
谁受益最大
职级维度上，资深工程师（IC5、IC6）更愿意尝试这些工具，但各职级的留存率差异不大。年限维度上，新入职不到一年的工程师尝试意愿略高，但论文提醒这个数据需谨慎解读——新人的PR增速可能部分来自入职爬坡而非工具。管理者（M4-M6）在采用和留存上与中级IC没有统计显著差异。
开发者调查中的一段话解释了资深工程师的优势：“资深的开发者知道如何把工作拆成小块，知道AI产出的代码是否正确、完整、合理。对初级开发者来说，他们’不知道自己不知道什么’，很难有效使用这些工具。“
社区怎么看
论文在Hacker News上获得53个推荐和28条评论。讨论的焦点并不在数据方法上——CausalImpact和固定效应Poisson模型的严谨性基本被认可——而是在产出指标的选择上。
多位评论者指出PR合并量不等于生产力。“只看PR合并数而不看生产环境的bug、事故报告、功能交付量，就像只看代码行数一样。“一位评论者写道。另一个人的切身体验是：“我确实看到AI使用者开了更多PR，但为了跟上审查节奏，我花在review上的时间也更长了。把这一点和微软此前的反复裁员放在一起，你会有自己的判断。”
还有人指出论文本身的价值定位：“对已经在全公司铺开AI工具的决策者来说，合并PR数可能是唯一可量化的指标。论文至少在摘要里明确承认了PR不代表价值。比大多数号称’测度生产力’的企业内部报告诚实得多。“
论文没回答的问题
论文的结论部分坦率地列出了一个更根本的未解问题：这些多出来的PR是否带来了更好的软件？研究界还没有公认的质量衡量标准。PR量是一个容易抓取的代理指标，但代理指标的危险在于——用论文自己的话——“一个合并的PR不等于它交付的价值。”
另一个更微妙的问题来自论文自身的讨论段落：Copilot CLI之所以在微软内部跑赢Claude Code，会不会只是因为微软作为GitHub的拥有者，在组织层面对自家工具做了更多适配？这个问题的答案，对于任何需要在Claude Code、Copilot CLI、Gemini CLI之间做选择的组织来说，都至关重要。
在token消耗已经可以烧掉百万美元级别的2026年，AI编程工具的产出测量，正在从一个学术问题变成一个预算问题。
本文的素材来自公开信息和社区讨论。如果你对这个话题有更深入的一手经验，欢迎指出文中的不足。
参考链接
- Adoption and Impact of Command-Line AI Coding Agents: A Study of Microsoft’s Early 2026 Rollout of Claude Code and GitHub Copilot CLI（arXiv论文）
- Hacker News 社区讨论
- Microsoft Ends Claude Code Use Internally, Shifts to GitHub Copilot CLI by June 2026（Windows News报道）