Bypassing the Multimodal Tax: Hybrid RAG, SQL RRF & UI Telemetry - Abed Matini, Ogilvy
이 영상은 로컬 환경에서 문서 임베딩, 검색, 질의응답 기능을 갖춘 챗봇을 구축하는 방법을 실습 위주로 설명합니다. DocLink를 이용한 마크다운 변환, PostgreSQL의 pgvector를 활용한 하이브리드 검색, LangFuse를 사용한 관찰 가능성 확보 및 프롬프트 주입 방지 가드레일 구축 방법을 다룹니다.
핵심 요약
- 문서 전처리 시 로컬에서 마크다운으로 변환하면 클라우드 API 토큰 비용을 절감할 수 있습니다. (창작자 평가: 더 저렴하고 명확함)
- 문서 청킹 전략으로 헤딩 기반, 문단 기반, 고정 길이(512자) 및 문장 기반을 소개하며, 각각의 장단점을 설명합니다. (창작자 평가: 다양한 시나리오에 맞는 유연성 제공)
- RAG 시스템에서 정확한 정보 검색을 위해 키워드 검색(BM25)과 시맨틱 검색(코사인 거리)을 결합한 하이브리드 검색 및 Reciprocal Rank Fusion (RRF)을 활용하는 방법을 시연합니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입