DeepSeek Just Made Long Context Cheap
DeepSeek V4.1 Flash 모델은 KV 캐시 메모리를 획기적으로 줄여 장기 컨텍스트 처리 효율성을 극대화했습니다. 이 모델은 레이어 공유, 4비트 양자화, 디스크 캐시 비저장 등을 통해 메모리 사용량을 890바이트/토큰으로 감소시켜, 에이전트 및 대규모 코드베이스 처리에 드는 비용을 절감합니다. 다만, 복잡한 과학적 추론이나 방대한 사실적 기억력에서는 최신 모델 대비 성능 격차를 보입니다.
핵심 요약
- DeepSeek V4.1 Flash는 KV 캐시 메모리를 토큰당 890바이트로 대폭 줄여, 이전 버전 대비 437배 작아졌습니다. (창작자 평가: Incredible)
- 모델 아키텍처 변경의 핵심은 ▲모델을 절반으로 나누는 CED(Causal Encoder-Decoder) ▲레이어 간 메모리 공유(CSA2: Compressed Sparse Attention 2) ▲4비트 양자화 ▲로컬 캐시를 디스크에 저장하지 않는 방식입니다.
- CED 아키텍처는 모델을 인코더 20개 레이어와 디코더 20개 레이어로 나누며, 디코더는 공유된 KV 캐시를 사용해 메모리 요구량을 줄입니다. 이로 인해 컨텍스트 입력(프리필)이 응답 생성(디코드)보다 절반의 컴퓨팅 파워만 소모합니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입