This Trillion Param Model Is Open Weight. And It's Not Chinese.

핵심 요약

• Inkling은 Thinking Machines의 첫 번째 개방형 가중치 멀티모달 모델로, Apache 2.0 라이선스 하에 공개되었습니다. 텍스트, 이미지, 오디오 입력을 처리할 수 있도록 처음부터 훈련되었습니다. (창작자 평가: 이는 서구권 연구소에서 공개된 모델 중 가장 큰 규모이며, 멀티모달 기능이 뛰어나다는 점에서 매우 중요합니다.)
• 모델 아키텍처는 거의 1조 개의 매개변수를 가지며, 100만 토큰의 컨텍스트 창을 지원하고 45조 개의 멀티모달 토큰으로 훈련되었습니다. Mixture of Experts (MoE) 방식을 사용하여 256개의 전문가 중 6개의 전문가가 각 토큰당 활성화됩니다 (410억 활성 매개변수).
• Inkling Small은 2,760억 개의 매개변수와 120억 개의 활성 매개변수를 가진 더 작은 모델로, 소비자 하드웨어에서 실행하기에 더 적합할 것으로 예상됩니다.