AI 경제학 연구 감사, 결함 주장과 논쟁적인 방법론 선택을 구분
익명의 프로젝트가 경제학 저작 138편을 검토한 AI 감사를 수정해 결함 주장과 논쟁적인 방법론 선택을 구분했습니다.
TL;DR
- 익명의 AI 감사 프로젝트가 Emmanuel Saez, Gabriel Zucman과 공동 저자들의 저작 138편에 대한 검토 결과를 10월 29일 수정했습니다.
- 수정본은 중대한 지적 147건을 결함 주장 53건과 논쟁적인 방법론 선택 94건으로 나눴습니다.
- 프로젝트는 어떤 지적도 핵심 결론을 뒤집지 않는다고 밝혔으며, 해당 분야 전문가는 지적 내용을 검토하지 않았습니다.
익명의 AI 감사 프로젝트가 Emmanuel Saez, Gabriel Zucman과 공동 저자들의 저작 138편에 대한 검토 결과를 10월 29일 수정했습니다. 수정본은 중대한 지적 147건을 결함 주장 53건과 논쟁적인 방법론 선택 94건으로 구분합니다. [1] [2]
프로젝트는 Claude Opus 5.5와 GPT-6 Astra가 서로의 결과를 보지 않고 각 저작을 검토한 뒤 세 번째 에이전트가 지적 사항을 반박하고 등급을 매겼다고 설명했습니다. Ground Truth는 해당 분야 전문가가 그 지적 내용을 검토하지 않았다고 전했습니다. [1] [2]
EconoTimes에 따르면 이전 버전은 저작 전체에서 문제 2,035건을 제시하고 그중 147건이 주요 수치를 바꿀 정도로 중대하다고 설명했습니다. 수정본은 일부 주요 수치가 달라질 수 있지만 어떤 지적도 저작의 핵심 결론을 완전히 뒤집지는 않는다고 밝혔습니다. [2] [3]
프로젝트는 결함을 찾도록 지시했기 때문에 지적의 양과 방향에 영향을 줄 수 있다고 설명합니다. Ground Truth는 두 모델의 일치율이 공개되지 않았고 지적 사항에는 독립적인 전문가 검증이 필요하다고 짚었습니다. [1] [2]
Why it matters
AI는 방대한 연구 기록에서 검토할 질문을 찾는 데 쓰일 수 있지만 개별 지적의 정확성과 심각도는 따로 확인해야 합니다. 경제정책을 둘러싼 공론장에 이런 검토 결과가 들어올 때 이 구분이 중요합니다.
Editor's note
익명 프로젝트의 분류와 합계는 프로젝트의 주장으로 표기했으며 확인된 오류로 취급하지 않았습니다. 10월 29일 수정본이 최초 버전을 대체했으며 지적 사항에 대한 독립 전문가 검증은 확인되지 않았습니다.