GLM-5.3 Workers AI에서 요청 간 KV 캐시 노출, Cloudflare와 SGLang의 대응
설정 불일치와 추론 엔진의 거부 처리 오류로 긴 문맥 응답 일부에 다른 고객의 요청 내용이 노출됐다.
TL;DR
- Cloudflare는 2026년 8월 27일부터 9월 9일까지 GLM-5.3 Workers AI 응답 155건에 다른 고객의 요청 데이터가 포함됐다고 밝혔다.
- 회사는 모델의 설정된 문맥 창보다 작은 프리필 KV 캐시 풀과 SGLang의 거부 처리 경로 오류를 노출 원인으로 지목했다.
- Cloudflare는 캐시 풀을 늘리고 요청 처리 경로를 수정한 뒤 모델을 복구했으며, SGLang의 공동 게시물은 관련 상류 수정 사항을 설명한다.
Cloudflare는 Workers AI의 GLM-5.3 모델에서 2026년 8월 27일부터 9월 9일까지 다른 고객의 요청 데이터가 응답에 포함된 사례 155건을 공개했다. 회사는 확인된 응답이 모두 681,280토큰을 넘는 프롬프트 뒤에 나왔으며, 의도적인 악용의 증거는 찾지 못했다고 밝혔다. [1]
해당 배포의 설정된 문맥 창은 1,048,576토큰이었지만 키-값 캐시를 담는 프리필 GPU 풀은 그보다 적은 토큰만 수용할 수 있었다. Cloudflare에 따르면 풀 용량을 초과한 요청이 프리필과 디코딩을 분리한 처리 경로에 들어갔고, SGLang이 거부 요청을 잘못 처리하면서 이전 캐시 페이지를 읽을 수 있었다. [1] [2]
Cloudflare는 풀 설정을 약 2.04 million tokens로 고치고, 유효하지 않은 요청이 캐시 할당이나 전송 전에 종료되도록 거부 처리 경로를 수정했다고 밝혔다. 회사는 변경 사항을 시험한 뒤 9월 9일 모델을 복구했다고 전했다. [1]
SGLang의 공동 게시물은 요청 격리와 관련해 입구 단계 수정, 중단 요청 처리, 캐시 전송 보호 등 유지관리자가 논의한 작업을 설명한다. 두 게시물이 확인하는 범위는 해당 배포와 수정 사항이며, 다른 모델 서빙 시스템에서도 같은 노출이 있었다는 뜻은 아니다. [2]
Why it matters
이번 사고는 멀티테넌트 추론 환경에서 표기된 문맥 한도와 실제 캐시 용량이 어긋날 수 있고, 오류 처리 경로가 데이터 격리 실패로 이어질 수 있음을 보여준다. AI 인프라에서는 모델 성능과 컴퓨팅 규모뿐 아니라 요청 거부와 캐시 수명 관리도 운영상 핵심 조건이다.
Editor's note
Cloudflare의 사고 설명과 SGLang 유지관리자의 공동 기술 설명을 대조했다. 영향 범위는 명시된 기간의 응답 155건으로 한정해 서술했다.