Build Your Own Local Routing Layer (SwitchYard)

핵심 요약

• 에이전트 시스템에서 라우팅 레이어의 필요성은 비용 절감, 속도 향상, 모델 전문성 활용, 개인 정보 보호 강화 등 네 가지 주요 요인으로 설명됩니다.
• NVIDIA Switchyard는 RouteLLM을 기반으로 구축되었으며, 프록시 기능과 함께 무작위, LLM 분류기, 스테이지 라우팅, 에스컬레이션 등 다양한 라우팅 전략을 지원합니다.
• NVIDIA Nemotron 3.5 Lightning (30B MOE) 모델은 높은 처리량을 자랑하며, 로컬에서 실행 시 API 기반의 Kimi K3보다 복잡한 추론 작업에서 훨씬 빠른 속도를 보였습니다.