모델 구조 공부하시는 분들께 권하는 리포트, Kimi K3

2.8T 파라미터, 896개 전문가 중 16개만 활성화하는 Moonshot AI의 Kimi K3 테크 리포트를 뜯어봅니다. Kimi Delta Attention부터 Attention Residuals, Stable LatentMoE, NoPE까지 다섯 가지 핵심 컴포넌트를 하나씩 짚습니다. Transformer가 여기까지 어떻게 발전해 왔는지, 그리고 그 설계들이 정말 성능에 기여했는지까지 함께 이야기합니다.