Cerebras, 조 단위 파라미터 최첨단 모델의 서빙 방식 공개
Cerebras는 오픈소스 Kimi K3를 웨이퍼 규모 칩 59개에 분산하는 방식을 설명했지만, 성능 주장은 독립 검증이 필요하다.
TL;DR
- Cerebras는 약 3조 파라미터인 Kimi K3를 WSE-3T 웨이퍼 59개에 배치한다고 밝혔다.
- 회사는 모델 레이어를 칩 안에 유지하고 웨이퍼 단계 사이에서 활성값을 전달하는 방식을 설명했다.
- 해당 글은 기업이 직접 작성한 기술 설명이며 성능에 대한 독립 비교는 아직 확인되지 않았다.
Cerebras는 약 3조 파라미터 규모라고 설명한 오픈소스 모델 Kimi K3를 서빙하는 방법을 기술한 글을 공개했다. 회사에 따르면 WSE-3T 웨이퍼 하나의 온칩 메모리는 44 GB로, 모델 가중치 전체를 담기에는 부족해 여러 웨이퍼에 레이어를 나눠 배치한다. [1]
글에서 제시한 4비트 가중치 양자화와 8비트 KV 캐시 등의 가정을 적용하면, Cerebras는 밀집 어텐션 레이어 하나를 웨이퍼 하나에, 선형 어텐션 레이어 두 개를 웨이퍼 하나에 둔다. 회사 계산으로는 Kimi K3의 선형 어텐션 레이어 69개와 밀집 레이어 24개에 웨이퍼 59개가 필요하다. [1]
Cerebras는 요청을 웨이퍼 단계별 파이프라인으로 처리하고, RDMA over Ethernet을 통해 활성값을 전달한다고 설명했다. 회사 설명의 핵심은 모델 가중치를 칩 안에 고정한 채 여러 요청을 서로 다른 파이프라인 단계에서 동시에 처리한다는 것이다. [1]
이 글은 독립 성능 평가가 아니라 Cerebras가 제시한 배치 설계 설명이다. Hacker News 토론에서는 실제 이용 가능성, 처리량 비교, 전력 사용, 장애 처리 방식에 의문이 제기됐지만, 댓글은 검증된 벤치마크가 아니다. 지연 시간·처리량·비용·안정성의 독립 측정은 아직 확인되지 않았다. [2]
Why it matters
설명한 배치 방식이 실제 운영 부하에서도 성립한다면 초대형 모델 추론에서 GPU 중심 구성의 대안이 될 수 있다. 현재 근거는 기업의 아키텍처 설명과 기술 토론이므로 비용 우위와 운영 신뢰성은 확정되지 않았다.
Editor's note
성능 및 구성 수치는 Cerebras의 설명으로 귀속했다. 인용한 보도·토론에서 독립 벤치마크는 확인되지 않았다.