Self Driving Products: Product Signals to Pull Requests — Joshua Snyder, PostHog
PostHog는 제품에서 발생하는 신호를 자동으로 감지하고, 관련 데이터를 분석하여 코드 수정 PR(Pull Request)을 생성하는 파이프라인을 구축했습니다. 이 시스템은 오류 추적, 세션 재생, 슬랙 메시지 등 다양한 소스의 데이터를 활용하여 개발자가 직접 문제를 인지하고 해결하는 시간을 단축시킵니다. 핵심은 에러 메시지 자체보다는 LLM으로 생성된 쿼리를 임베딩하여 신호들을 더 의미론적으로 그룹화하는 방식입니다.
핵심 요약
- 기존 제품 개발 워크플로우는 제품 신호 발생부터 PR 생성까지 수 시간에서 수 일이 소요되지만, PostHog는 이 과정을 자동화하여 개발자가 PR을 바로 검토하거나 즉시 배포할 수 있도록 합니다.
- 파이프라인은 대규모 이벤트 수집, 관련 신호 그룹화, 문제 연구를 위한 리서치 에이전트 실행, 액션 가능성 평가, 그리고 PR 생성 및 반복 개선 단계를 거칩니다.
- 오프더쉘프(off-the-shelf) 임베딩 모델은 구조적 유사성만 고려하여 신호를 그룹화하므로, LLM이 생성한 쿼리를 임베딩 공간에서 매칭하는 방식을 사용하여 의미론적 유사성을 확보하는 것이 중요합니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입