GLM 5.2: What Makes it So Special?
GLM 5.2 모델은 7440억 개의 파라미터를 가진 Mixture-of-Experts (MoE) 아키텍처와 100만 토큰의 긴 컨텍스트 창을 특징으로 하며, 효율적인 연산과 저렴한 추론 비용을 제공합니다. Sparse Attention과 Index Share 기술을 통해 복잡성을 줄이고, Multi-Token Prediction으로 추론 속도를 높여 코딩 작업에서 뛰어난 성능을 보입니다.
핵심 요약
- GLM 5.2는 MIT 라이선스의 오픈 웨이트 모델로, 7440억 개 파라미터의 MoE 아키텍처를 사용하며, 각 토큰마다 약 400억 개의 파라미터만 활성화되어 효율적입니다.
- 100만 토큰의 긴 컨텍스트를 처리하기 위해 Sparse Attention과 'Indexer'를 사용하여 관련 없는 토큰을 건너뛰고, 'Index Share'로 4개 레이어에 걸쳐 인덱싱 작업을 재활용하여 연산량을 2.9배 줄입니다.
- Multi-Token Prediction을 통해 여러 토큰을 한 번에 예측하고 검증하여 추론 속도를 약 20% 향상시킵니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입