How we taught agents to use good retrieval - Hanna Lichtenberg, Mixedbread AI

핵심 요약

• LLM의 추론 능력은 기하급수적으로 발전했지만, 지난 20년간 검색 기술의 발전은 매우 느려 '지식 격차'가 발생했습니다. 이 격차는 법률, 금융 등 지식 작업에서 에이전트의 유용성을 제한합니다. (창작자 평가: 지식 격차)
• Oracle 성능(이론적 최대 성능)과 비교했을 때, Codex의 기본 도구 사용 시 BrowseComp는 93%에서 9%로, Office QA Pro는 64%에서 8%로 성능이 크게 하락했습니다. 이는 병목 현상이 추론이 아닌 지식 접근에 있음을 시사합니다. (창작자 평가: 성능 하락)
• Mixbread의 검색 도구를 사용하면 BrowseComp에서 3%p, Office QA Pro에서는 거의 격차를 닫을 정도로 성능을 회복할 수 있었습니다. 이는 더 나은 검색 도구를 제공함으로써 지식 격차를 상당 부분 해소할 수 있음을 보여줍니다. (창작자 평가: 성능 회복)