기권과 노이즈 필터링: 소프트맥스 어텐션의 두 가지 누락된 프리미티브
일련의 arXiv 논문들이 기권, 캘리브레이션, 라우팅을 1차 모델 기능으로 다뤘다.
TL;DR
- 한 arXiv 논문은 기권과 노이즈 필터링이 소프트맥스 어텐션에서 누락된 두 가지 기본 프리미티브라고 주장했다.
- 두 번째 논문은 신뢰도와 일관성을 분리하는 3신호 상호보완성을 기반으로 LLM 에이전트를 위한 해석 가능한 메모리 결정 제어기를 제안했다.
- 신뢰성을 다룬 다른 두 논문은 인간-AI 라우팅을 위한 RACER 역량 추정 기법과 선택적 예측을 보증하는 Available Guardrails를 제시했다.
한 arXiv 논문은 기권과 노이즈 필터링이 소프트맥스 어텐션에서 결여된 핵심 프리미티브라고 주장했다. [1]
두 번째 논문은 신뢰도와 일관성을 분리하는 세 가지 신호의 상호보완성을 토대로 LLM 에이전트용 해석 가능한 메모리 결정 제어기를 제안했다. [2]
다른 두 논문 역시 신뢰성을 집중 조명했다. 인간과 AI 간 작업 분배를 위한 역할 맞춤형 역량 추정기 RACER와, 머신러닝 시스템 전반의 선택적 예측을 검증하는 Available Guardrails가 포함됐다. [3] [4]
Hacker News의 Show HN 게시물에서는 어텐션 커널인 MoA가 코드를 작성하기 전에 최소성을 수학적으로 증명했다고 소개했다. [5]
Why it matters
기권, 캘리브레이션, 라우팅이 1차 연구 프리미티브로 부상하고 있으며, 이는 단순한 모델의 잠재력을 실제 배포 가능한 신뢰성으로 전환하는 열쇠다.
Editor's note
모든 arXiv 항목은 초록 수준에서 인용되었으며 동료 평가를 거치지 않았다. MoA의 최소성 주장은 개발진의 설명에 따른다.