The Inference Inflection from First Principles — swyx & Rob Wachen, Etched
Etched의 공동 창립자이자 사장인 Rob Wachen은 AI 모델 추론을 위한 새로운 하드웨어 인프라 구축에 대해 설명합니다. 이 회사는 칩 자체를 넘어 전체 랙 시스템을 코디자인하여 높은 처리량과 낮은 지연 시간으로 최첨단 모델을 실행하는 데 중점을 둡니다. 전력 효율성과 첨단 패키징을 통해 GPU의 40% MFU(Maximizing Floating Point Utilization) 한계를 극복하는 것을 목표로 합니다.
핵심 요약
- Etched는 AI 추론 용량을 크게 늘리는 것을 목표로 하며, 칩뿐만 아니라 전체 랙을 수직 통합하여 자체적으로 구축한다고 밝혔습니다. (창작자 평가: 이 회사의 사명은 "세상에 없었던 것을 만드는 것"입니다.)
- 추론은 크게 사전 채우기(prefill)와 디코딩(decode) 두 단계로 나뉘며, 각 단계는 서로 다른 컴퓨팅 요구 사항을 가지므로 이를 가속화하려면 칩 아키텍처 이상의 것이 필요하다고 설명합니다.
- Etched는 '종단 간 엔지니어' 철학을 강조하며, 아키텍처 설계, 실제 설계, 생산까지 모든 과정을 이해하는 엔지니어를 육성하는 데 집중합니다. (창작자 평가: "이것은 이전에 존재하지 않았던 새로운 유형의 재능입니다.")
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입