Diffusion Nemotron: Nvidia's "Two Brain" Diffusion Model
NVIDIA는 텍스트 생성을 위해 'Two Tower'라는 새로운 확산 언어 모델인 Nemotron을 개발했습니다. 이 모델은 기존의 순차적 토큰 예측 방식 대신 병렬 처리를 사용하여 2.4배 더 빠른 생성을 목표로 하며, 아키텍처의 절반을 동결(frozen)하여 효율성을 극대화합니다. 이는 기존 모델의 품질을 98.7% 유지하면서 연산 및 메모리 제약을 극복하려는 시도입니다.
핵심 요약
- NVIDIA의 Nemotron은 텍스트 생성을 위해 확산 모델을 활용하며, 기존의 순차적(autoregressive) 방식 대신 병렬 생성으로 연산 및 메모리 제약을 극복합니다.
- Two Tower 아키텍처는 동일한 52개 레이어의 모델 두 개를 사용하며, 하나는 컨텍스트(context) 모델로 그대로 동결(frozen)되고 다른 하나는 노이즈(noise)를 채우는 디노이저(denoiser)로 재훈련됩니다.
- 각 타워는 Mamba 2, 셀프 어텐션(self-attention), MoE(Mixture of Experts)를 조합한 아키텍처를 사용하며, MoE는 128개 중 6개 전문가와 공유 전문가를 활성화하여 각 타워는 약 30억 개의 파라미터를 사용합니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입