Weight Folding, CUDA Streams, and the Bug That Made My Model Speak Backwards — Filip Makraduli
이 영상은 트랜스포머 모델의 RMS norm 레이어 연산을 최적화하는 FlashNorm 기법을 소개합니다. Weight folding, deferred division, pre-norm 제거를 통해 연산 속도를 33-35% 향상시키고, CUDA 커널 구현 시 발생할 수 있는 레이스 컨디션 문제를 해결하는 과정을 상세히 다룹니다.
핵심 요약
- RMS norm 레이어는 자체 연산은 적지만, 트랜스포머 디코드 단계에서 33회 이상 호출될 수 있어 병목 현상을 유발합니다. (창작자 평가: 심각한 성능 저하 요인)
- FlashNorm은 weight folding, deferred division, pre-norm 제거라는 세 가지 기법을 통해 RMS norm 연산 속도를 향상시킵니다. (창작자 평가: 33-35% 속도 향상)
- Deferred division 구현 시 CUDA 커널에서 텐서 코어와 CUDA 코어를 병렬로 사용하여 효율을 높이려 했으나, stream join의 암묵적인 처리로 인해 레이스 컨디션이 발생했습니다. (창작자 평가: 예측하지 못한 버그 발생)
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입