AI 코딩 에이전트, 코드 더 만들었지만 소프트웨어는 늘지 않아
하버드 워킹페이퍼는 코딩 활동 증가가 완료된 업무의 유의한 증가로 이어지지 않았다고 분석했다.
TL;DR
- 워킹페이퍼는 718개 기업, 72만 5,000명 이상의 근로자가 남긴 약 3억 건의 엔지니어링 기록을 분석했다.
- 코딩 에이전트 도입 뒤 코드, 커밋, 풀 리퀘스트가 늘었지만 완료된 이슈나 대형 기능은 유의하게 늘지 않았다.
- 검토 경과 시간도 증가했다. 이 연구는 관찰 자료에 기반해 보편적인 인과 효과를 입증하지 않는다.
하버드 연구자 피오나 첸과 제임스 스트래턴은 718개 기업, 72만 5,000명 이상의 근로자가 남긴 약 3억 건의 엔지니어링 업무 기록을 분석했다. 2021년 1월부터 2026년 3월까지의 자료를 이용한 8월판 워킹페이퍼다. [1]
연구진은 코딩 에이전트 도입 뒤 근로자당 코드 줄 수가 30%, 커밋이 20%, 풀 리퀘스트가 23% 늘어난 것으로 추정했다. 분석한 해결 이슈나 대형 소프트웨어 기능에서는 통계적으로 유의한 증가를 찾지 못했다. [1]
Ars Technica는 도입 뒤 풀 리퀘스트 제출부터 병합까지의 경과 시간이 평균 49% 늘었다고 보도했다. 이는 대기와 재작업을 포함할 수 있는 처리 시간이지 검토자가 실제로 일한 시간의 직접 측정은 아니다. [2]
이 결과는 엔지니어링 분석 플랫폼을 이용하는 기업의 관찰 자료에 기반하므로 모든 조직에서 AI가 변화를 일으켰다는 인과 증명은 아니다. 완료된 작업의 추정치도 효과가 정확히 0이라는 증명이 아니라 불확실성이 있다. [1]
Why it matters
이 연구는 검토와 통합 단계가 AI 생성 코드 증가를 완성된 소프트웨어로 전환하는 데 제약이 될 수 있음을 보여준다.
Editor's note
관찰 연구의 추정치이며 코드량과 완료된 작업량을 구분했다.