Training Your Own Agent Models With RL Is Now Practical - Jason Mancuso, Modal
본 영상은 Reinforcement Learning (RL)을 사용하여 에이전트 모델을 실용적으로 훈련하는 방법을 설명합니다. 특히, 프로덕션 환경의 에이전트 데이터를 활용하여 SFT(Supervised Fine-Tuning)보다 안정적이고 일반화가 뛰어난 RL 훈련 레시피를 제시하며, Modal 플랫폼을 통해 이를 효율적으로 확장하는 방안을 논의합니다.
핵심 요약
- 모델을 고정된 백엔드로 간주하고 교체하는 전략은 장기적으로 경쟁력이 떨어지며, 프로덕션 에이전트 배포는 RL 훈련에 필요한 기반(하네스, 평가)을 이미 갖추고 있음을 주장합니다.
- Supervised Fine-Tuning (SFT)는 프로덕션에서 기록된 트레이스에 의존하지만, 에이전트의 분기 구조로 인해 학습된 모델이 예상치 못한 시나리오에 취약해질 수 있습니다. RL은 훈련 중에 이러한 분기를 탐색하여 더 나은 일반화 성능을 제공합니다.
- RL 훈련을 위한 환경은 프로덕션 에이전트 하네스와 평가(AB 테스트 등)를 통해 구축할 수 있으며, 실제 사용자 데이터를 활용하여 실패 사례를 마이닝하고 이를 개선하기 위한 태스크를 생성함으로써 학습 품질을 높일 수 있습니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입