"비슷한 값의 가중치를 굳이 따로 저장할 필요가 있을까?"Weight Clustering(또는 Sharing)은 유사한 가중치를 묶어 모델을 추가로 압축하는 기법입니다. Weight Clustering / Sharing이란?Weight Clustering은 비슷한 값을 가지는 weight들을 같은 그룹(cluster) 으로 묶고,각 그룹의 대표값(centroid) 만 저장하는 방식입니다.이때 모델의 실제 weight는 “클러스터 인덱스”로 참조되며,추론 시 centroid lookup으로 실제 weight 값으로 변환됩니다.왜 필요한가?대부분의 weight 값은 특정 분포(가우시안 등)에 집중되어 있음비슷한 값이 많기 때문에 중복 저장은 메모리 낭비Clustering으로 weight 표현을 더 압축 → ..
