Why Agent Hype can fall short of reality – Joel Becker, METR

핵심 요약

• SWE-bench와 같은 벤치마크는 AI 모델의 발전 속도를 보여주지만, 실제 개발 환경에서는 이러한 성능이 직접적으로 생산성 향상으로 이어지지 않을 수 있습니다.
• METR의 연구에 따르면, 숙련된 개발자들이 AI 도구를 허용했을 때 오히려 작업 완료 시간이 19% 증가하는 역설적인 결과가 나타났습니다.
• AI의 높은 벤치마크 성능이 실제 생산성으로 이어지지 않는 이유로는 AI의 낮은 신뢰성, 복잡한 코드베이스에서의 성능 저하, 작업 간의 상호 의존성, 그리고 개발자의 AI 사용법 숙련도 부족 등이 지적됩니다.