Frontier AI On Your Laptop.
이 영상은 DeepSeek V4 Flash 모델을 128GB 메모리의 로컬 장치에서 실행하기 위한 Dwarf Star (DS4) 프로젝트를 소개합니다. Dwarf Star는 Mixture of Experts (MoE) 아키텍처의 특성과 선택적 양자화를 활용하여 대규모 모델을 효율적으로 압축하고, SSD 스트리밍과 KV 캐시 최적화를 통해 로컬 하드웨어에서도 준수한 성능을 제공합니다.
핵심 요약
- 2840억 파라미터의 DeepSeek V4 Flash 모델은 일반적인 16비트 양자화 시 568GB가 필요하지만, Dwarf Star를 통해 128GB 메모리에서도 실행 가능합니다.
- Dwarf Star는 2840억 파라미터 모델을 약 81GB로 압축하며, 이는 128GB 메모리의 MacBook Pro 또는 DGX Spark에 적합합니다.
- Mixture of Experts (MoE) 구조에서 중요 파라미터(로드 베어링 벽)는 4비트로 유지하고, 덜 사용되는 라우팅된 전문가(가구)는 2비트로 양자화하여 성능 저하를 최소화합니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입