The End of TCP for AI Clusters — John Ousterhout, Stanford

핵심 요약

• AI 워크로드가 대용량 데이터 전송 중심에서 소량의 메타데이터 및 코디네이션 메시지 중심으로 변화하고 있으며, 이로 인해 지연 시간, 특히 99번째 백분위수(tail latency)의 중요성이 커지고 있습니다. (창작자 평가: 이 문제는 점점 더 심화될 것으로 예상됩니다.)
• 기존 TCP 및 RDMA 프로토콜은 이러한 소량 메시지 환경에서 높은 꼬리 지연 시간을 보이며, 대규모 메시지와 혼합될 때 성능 저하의 주요 원인이 됩니다. (창작자 평가: 이는 근본적인 설계상의 문제 때문입니다.)
• 스탠포드에서 개발한 Homa 프로토콜은 메시지 기반이며, 수신자 중심의 혼잡 제어, SRPT(Shortest Remaining Processing Time First) 기반 우선순위 지정, 그리고 데이터센터 스위치의 우선순위 큐를 활용하여 소량 메시지의 지연 시간을 획기적으로 감소시킵니다. (창작자 평가: Homa는 짧은 메시지와 긴 메시지의 조합을 효과적으로 관리합니다.)