Why More Context Makes Your Agent Dumber and What to Do About It — Nupur Sharma, Qodo
본 영상은 대규모 컨텍스트를 제공해도 LLM 에이전트가 중간 내용을 놓치는 'U자형 커브' 문제를 설명하고, 이를 해결하기 위한 계층적 요약, 반복적 검색, 자체 수정과 같은 컨텍스트 최적화 전략을 제시합니다. 또한, 복잡한 문제 해결에 고성능 모델이 과도한 토큰을 소모하는 '오케스트레이션 역설'을 80/20 하이브리드 접근 방식으로 해결하는 방안을 소개합니다.
핵심 요약
- LLM 에이전트는 제공된 컨텍스트의 시작과 끝 부분은 인지하지만 중간 내용은 무시하는 'U자형 커브' 현상을 보입니다. 이는 컨텍스트 창 크기 증가만으로는 해결되지 않습니다.
- 컨텍스트 최적화를 위해 계층적 요약, 반복적 검색, 자체 수정 등의 전략을 사용할 수 있으며, 각 방법은 LLM 처리량 및 개발자 입력 요구 사항에 따라 장단점이 있습니다.
- 대규모 코드베이스의 경우, 컨텍스트 엔진은 검색 패턴과 랭킹 로직을 생성하여 중요한 정보를 제공하지만, 600~700개 이상의 저장소를 다룰 때 확장성에 어려움이 있습니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입