Computer Use at the Edge of the Statistical Precipice — Pierluca D'Oro, Programma Labs

핵심 요약

• 재생 에이전트는 프론티어 모델에서 성공적인 행동 궤적을 기록하고 이를 맹목적으로 반복하여 벤치마크를 통과하는 방식으로, 기존 벤치마크의 결정론적 특성을 악용합니다.
• Pass@k와 같은 기존 평가 지표는 결정론적 환경에서 재생 에이전트의 성공률을 측정하는 것과 같다는 것이 증명되었습니다. (창작자 평가: 이는 지표의 신뢰성에 대한 근본적인 문제를 제기합니다)
• 견고한 환경 설계를 위한 PRISM 원칙은 다음과 같습니다: 특권 검증 (Privileged Verification), 현실성 (Realism), 무결성 확인된 구성 (Integrity Checked Configurations), 샌드박스 실행 (Sandboxed Execution), 그리고 데이터, 테마, 초기 화면 전반에 걸친 다요인 변이 (Multifactorial Variation).