Emulated: The Data for Fully Autonomous Software Engineers and Companies — Joseph Wang

핵심 요약

• AI 에이전트는 점점 더 긴 시간 동안 감독 없이 유용한 작업을 수행하는 방향으로 나아가고 있으며, 이를 위해서는 데이터와 모델 레이어에서의 발전이 필요합니다.
• 기존 벤치마크(SweBench Pro, Terminal Bench 등)의 작업은 코드베이스 내에서만 이루어지며, 50~100턴 동안 수천 줄의 PR을 생성하지만 실제 인간 엔지니어의 업무(고객 소통, 다양한 접근 방식 시도, 성능 테스트, 인프라 관리 등)를 포함하지 못합니다.
• Emulated는 실제 소프트웨어 엔지니어링 회사를 컨테이너화된 환경으로 시뮬레이션하며, 프로젝트, 인시던트, 고객 대화와 같은 조직적 맥락을 포함합니다. 에이전트는 네트워크 장애, 데이터 손상, 시계 불일치와 같은 확장 시에만 나타나는 문제를 다루고, 분산 클러스터 조율 및 운영상의 영향 범위를 고려하며 실시간 트래픽을 처리해야 합니다.