Claude Code Looked Right but Missed $800K - Natalia Connolly & Kevin Madura, AlixPartners

핵심 요약

• 처음 Claude Code를 실제 M&A 후 조달 분석에 적용했을 때, 연간 총 지출액, 회사 간 분담금, 계약 건수는 정확했으나 총 계약 금액에서 약 80만 달러의 오류가 발생했고, 자동 갱신을 막아야 할 계약의 실제 만료일이 잘못 계산되었습니다. (창작자 평가: 첫 번째 문제는 약 80만 달러, 두 번째 문제는 11월 1일이 아닌 12월 1일로 잘못 계산됨)
• 계약 데이터 처리의 복잡성으로 인해 오류가 발생했습니다. 주요 원인으로는 계약서가 너무 길어 전처리가 중단되거나, 수정 계약서가 상위 계약과 제대로 연결되지 않는 경우, 여러 수정안이 총 계약 금액을 재명시하여 중복 계산될 가능성이 있었습니다. 또한, 여러 페이지에 걸친 긴 표에서 헤더가 없어 Claude Code가 맥락을 오해할 수도 있었습니다.
• 이러한 문제를 해결하기 위해 5단계 데이터 처리 파이프라인을 구축했습니다. 1단계는 전처리(문서 인텔리전스, OCR), 2단계는 계약 유형 분류(MSA, 수정안, NDA 등), 3단계는 조건, 요금, 지출 추출(페이지 경계 걸친 표 처리 포함), 4단계는 서비스별 지출 카테고리 매핑, 마지막 5단계에서 Claude Code가 추출된 데이터를 검토하도록 구성했습니다.