TLMs: Tiny LLMs and Agents on Edge Devices with LiteRT-LM — Cormac Brick, Google
Google의 Cormac Brick은 엣지 디바이스에서 LLM을 구동하는 LiteRT-LM 런타임과 Gemma 모델을 중심으로 실용적인 온디바이스 에이전트 구축에 대해 설명합니다. 이 워크숍에서는 에이전트 스킬, Tiny LLM 활용, 성능 최적화, 그리고 LLM을 엣지 디바이스에 배포하는 실질적인 워크플로우를 다룹니다.
핵심 요약
- 엣지 AI는 지연 시간 감소, 개인 정보 보호 강화, 오프라인 사용성 증대, 비용 절감 등 여러 이점을 제공합니다.
- 시스템 레벨 GenAI는 OS에 통합된 20억~50억 파라미터 규모의 모델을 활용하는 반면, 인앱 GenAI는 특정 작업에 맞춤화된 Tiny LLM(TLM)을 사용합니다. TLM은 1억~5억 파라미터 범위에서 특정 작업에 대해 높은 신뢰성을 보일 수 있습니다.
- Gemma 4 모델(2B 및 4B 파라미터)은 온디바이스에서 기능 호출 및 추론이 가능하며, 이미지, 오디오, 텍스트를 포함한 멀티모달 기능을 지원합니다. 이 모델들은 Apache 2.0 라이선스로 배포됩니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입