Our Smaller Model Beat Opus on Finance Tasks - Alexander Shevchenko, Ramp
Ramp Labs의 Alexander Shevchenko는 애플리케이션 회사에서도 최첨단 모델을 기다리지 않고 자체 연구를 통해 혁신을 이룰 수 있음을 보여줍니다. Qwen 3.5 모델을 금융 QA 작업에서 Claude Opus 4.6보다 뛰어난 성능을 내도록 파인튜닝하고, KV 캐시 '카트리지'로 컨텍스트를 20~30배 늘리는 기술, 그리고 10,000개의 병렬 에이전트를 활용하여 Ramp 시스템을 모의 해킹하고 7개의 고위험 취약점을 발견한 사례를 소개합니다.
핵심 요약
- Ramp는 LLM 사용이 123% 증가하는 동안, 최신 모델을 통해 단위 경제적 측면에서 기능별 비용이 저렴해지는 '쓴맛 나는 교훈'을 경험하고 있습니다. (창작자 평가: Bitter lesson filled pattern)
- 2023년에는 GPT-4와 같은 모델로 에이전트를 만드는 것이 어려웠지만, 2026년 현재는 모델 성능 향상으로 훨씬 쉬워졌습니다. 그럼에도 더 나은 사용자 경험을 위해 연구가 필요하다고 주장합니다.
- Ramp Sheets의 후속으로, Qwen 3.5 35B 모델을 금융 QA 작업에 특화하도록 파인튜닝하여 당시 Claude Opus 4.6보다 높은 정확도를 달성했으며, Haiku 수준의 지연 시간으로 제공 가능했습니다. (창작자 평가: very successful example of post-training)
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입