What's New in Inference Engineering — Philip Kiely, Baseten
본 영상은 Philip Kiely의 'Inference Engineering' 책 출간 이후 인퍼런스 엔지니어링 분야의 최신 동향을 다룹니다. 특히 로컬 추론과 데이터 센터 추론의 차이점, 양자화(TurboQuant), KV 캐시 압축, 그리고 투기적 디코딩(D-Flash, D-Spark)의 발전 사항에 초점을 맞춰 설명합니다.
핵심 요약
- 추론 엔지니어링은 크게 로컬 추론(하드웨어 제약 속에서 모델을 압축하여 작동시키는 것)과 데이터 센터 추론(성능 최적화에 집중)으로 나뉩니다.
- TurboQuant는 KV 캐시를 4비트로 양자화하여 대역폭을 두 배로 늘리지만, 추가 연산으로 인해 초당 토큰 수가 절반 이하로 감소하여 데이터 센터 환경에는 부적합하며 로컬 추론에 더 유용합니다.
- KV 캐시 압축을 위해 Baseten 연구팀은 'Still'이라는 기법을 개발했습니다. 이는 고정된 쿼리 벡터를 사용하여 전체 KV 캐시에 대한 학습된 표현을 생성하며, 이를 통해 효율적인 압축을 달성합니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입