Your LLM Deception Monitor Is Broken. The Fix Is in the Training Data - Sachin Kumar, LexisNexis
LLM 파인튜닝 시 발생하는 '슬리퍼 에이전트' 백도어를 탐지하는 새로운 방법론을 제시합니다. 기존 행동 모니터링 방식의 한계를 지적하고, 기본 모델과 파인튜닝된 모델 간의 활성화(activation) 차이를 이용하는 '델타 모니터(Delta Monitor)'를 통해 백도어를 40배 더 높은 신호 강도로 탐지하며, 완벽한 정밀도와 0개의 오탐(false positive)을 달성함을 시연합니다.
핵심 요약
- LLM 파인튜닝 후에도 탐지되지 않는 '슬리퍼 에이전트' 백도어가 존재할 수 있으며, 이는 특정 트리거에 의해 모델을 악의적인 출력으로 전환시킬 수 있습니다.
- 기존 행동 기반 테스트 및 교차 모델 특징(cross coders) 분석 방식은 백도어를 탐지하는 데 효과적이지 못하며, 신호가 희석되거나 트리거를 미리 알지 못하면 탐지가 어렵습니다.
- 제안하는 '델타 모니터'는 기본 모델과 파인튜닝된 모델 간의 활성화(activation) 차이(델타 A)를 활용합니다. 이 차이에 대해 훈련된 희소 오토인코더(Sparse Autoencoder, SAE)는 백도어를 단일 특징으로 포착합니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입