Preferences Over Benchmarks: Model Routing — Archana Kamath & Tyler Gillam, DigitalOcean

핵심 요약

• 단일 모델에 대한 의존은 비용 폭증, 작업에 과도한 성능 요구, 모델 장애 시 위험 증가 등의 문제를 야기합니다. 이는 클라우드 비용 최적화와 마찬가지로 수개월 내 해결해야 할 과제입니다.
• 작업의 특성(분류, 코드 완성, 코드 생성, 보안 등)과 시스템 프롬프트, 도구, 비용, 지연 시간, 사용자 선호도 등 복합적인 요소를 고려해야 최적의 모델을 선택할 수 있으며, 벤치마크만으로는 이를 파악할 수 없습니다.
• DigitalOcean의 인퍼런스 라우터는 사용자의 선호도를 자연어 또는 결정 트리 규칙으로 설명하면, 요청별로 가장 적합한 모델을 200ms 미만의 속도로 선택하며 추가 비용 없이 제공됩니다.