Stop Making Models Bigger, Make Them Behave — Kobie Crawdord, Snorkel
본 영상은 2350억 파라미터 모델이 도구 사용 작업에서 40억 파라미터 모델에 비해 낮은 성능을 보이는 사례를 분석합니다. 40억 파라미터 모델을 RLHF(Reinforcement Learning from Human Feedback)로 미세 조정하면 도구 사용 능력이 향상되어 더 큰 모델을 능가할 수 있음을 보여줍니다. 이는 모델 크기보다 데이터 품질과 특정 행동 교정이 성능 향상에 더 중요함을 시사합니다.
핵심 요약
- 2350억 파라미터 모델이 YouTube 광고 수익 성장률 계산 시 존재하지 않는 테이블에 쿼리하고, 두 번의 시도 후 응답이 없자 결국 환각(hallucination)을 일으켜 잘못된 답변을 생성했습니다. [07:30]
- 반면, RLHF로 미세 조정된 40억 파라미터 모델은 'get_table_name' 도구를 사용하여 사용 가능한 테이블을 먼저 확인하고, 스키마를 검사한 후 쿼리를 실행했습니다. [14:30]
- 40억 파라미터 모델은 쿼리 실행 중 컬럼 오류를 만났으나, 이를 스스로 수정하여 올바른 컬럼을 찾아 정확한 답변을 도출하는 능력을 보였습니다. [15:30]
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입