What Makes Open Models Fast in Production — Sujee Maniyam, Nebius
이 영상은 Nebius Token Factory의 Sujee Maniyam과 Dylan Bristot가 오픈 소스 LLM을 프로덕션 환경에서 빠르고 저렴하게 서빙하기 위한 엔지니어링 최적화 기법들을 소개합니다. 하드웨어부터 모델 서빙, 캐싱, 양자화까지 다양한 기술을 통해 오픈 모델의 성능을 극대화하는 방법을 다룹니다.
핵심 요약
- 오픈 소스 LLM이 프로덕션에서 경쟁력을 갖추었으며, 이는 비용 절감과 벤더 종속성 해소에 기여합니다.
- Nvidia 하드웨어 최적화, 엔진 선택, 캐시 인식 라우팅(cache-aware routing)을 통해 LLM 서빙 성능을 향상시킬 수 있습니다.
- Speculative decoding은 더 작은 모델이 토큰을 빠르게 생성하고 더 큰 모델이 이를 검증하는 방식으로, LLM의 추론 속도를 최대 30%까지 향상시킬 수 있습니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입