Training an LLM from Scratch, Locally — Angelos Perivolaropoulos, ElevenLabs
이 영상은 로컬 환경에서 작은 규모의 언어 모델(LLM)을 처음부터 훈련하는 과정을 실습하는 워크숍으로, 토크나이저, 모델 구조, 훈련 루프, 텍스트 생성까지 단계별로 소개합니다. 강사인 Angelos Perivolaropoulos가 Python과 PyTorch 기반으로 직접 코딩하는 과정을 보여줍니다.
핵심 요약
- 작은 모델 훈련을 위해 Character-level 토크나이저를 사용하며, 65개의 문자로 구성됩니다. (창작자 평가: 실습 친화적이며 이해하기 쉽다)
- Transformer 모델은 6개의 레이어, 6개의 어텐션 헤드, 384 임베딩 차원으로 구성하며, GPT2 기반 구조를 따라 설계합니다. (창작자 평가: 기본 구조를 명확히 보여줍니다)
- 훈련은 cross-entropy 손실과 cosine LR 스케줄러를 이용하며, 데이터를 적절히 나누어 검증 용도로 사용합니다. (창작자 평가: 간단한 예제 중심)
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입