AI 모델이 임의의 능력을 숨길 수 있음을 증명한 연구
연구 사전 공개 논문은 흔히 쓰이는 능력 유도 검사에서 모델 능력을 숨길 수 있는 암호학적 “디지털 보관함”을 제시했습니다.
TL;DR
- 저자들은 암호화된 신경망을 다른 모델의 가중치 안에 넣는 개념 증명을 설명했습니다.
- 숨겨진 능력은 비밀 트리거를 받은 뒤에만 작동하며, 여러 능력 유도 검사에 저항하도록 설계됐습니다.
- 논문은 소규모 화학 반응 예측 과제에서 실험하고 능력 유도만으로 진행하는 감사를 평가의 한계로 지적했습니다.
10월 9일 arXiv에 공개된 사전 논문은 모델의 숨은 행동을 평가로 찾아낼 수 있는지를 다룹니다. 저자들은 능력을 유도하는 데 의존하는 평가만으로는 아직 유도되지 않은 능력이 없다고 증명할 수 없다고 주장합니다. [1] [2]
이들의 구성은 암호화된 신경망을 호스트 모델의 가중치 안에 넣고 비밀 트리거로 이를 복호화해 실행합니다. 논문은 이 구조를 “디지털 보관함”이라 부르며, 가중치에 접근할 수 있어도 암호학적 가정 아래에서는 이를 찾아내거나 해석하기 어렵다고 설명합니다. [1] [2]
연구진은 PyTorch로 개념 증명을 구현했다고 보고했습니다. 실험에서는 미세조정, 가중치 노이즈 추가, 기울기 기반 트리거 탐색, 잠재 적대 학습을 소규모 화학 반응 예측 과제에 적용했습니다. 논문은 이를 위험 능력의 실제 배포 사례가 아니라 대리 과제로 설명합니다. [1] [2]
이는 의도적으로 숨기도록 설계된 능력이 들어 있을 수 있다면, 능력을 유도하지 못했다는 사실만으로 부재를 입증할 수 없다는 구성 공격과 이론적 경고입니다. 저자들은 방어 연구를 위해 모델을 공개한다고 밝혔으며, 감사 방식을 어떻게 바꿔야 할지는 후속 연구 과제입니다. [1] [2]
Why it matters
이 논문은 배포 전 안전 평가의 전제 하나에 도전합니다. 행동을 유도하지 못했다는 결과만으로, 의도적으로 숨겨진 능력이 없다고 단정할 수 없다는 것입니다.
Editor's note
사전 공개 논문과 개념 증명을 다룹니다. Hacker News는 동일 논문을 소개하는 토론 목록으로, 별도의 실험 재현은 아닙니다.