MLOps 시리즈 2편: Dataset Versioning

"같은 모델인데, 왜 다시 학습하니 결과가 다를까?"
Dataset Versioning은 데이터를 체계적으로 관리하고 추적하여
재현 가능한 학습(Repeatable Training) 을 보장하는 핵심 방법입니다.

---

Dataset Versioning

 

Dataset Versioning이란?

Dataset Versioning은 학습, 검증, 테스트 데이터셋을
Git처럼 버전으로 관리하는 프로세스입니다.

• 어떤 데이터로 학습했는지 기록
• 데이터셋 변경 이력 관리
• 모델 결과와 데이터셋 버전을 연결 (experiment reproducibility)

---

왜 중요한가?

• 데이터는 시간이 지남에 따라 계속 업데이트 → 학습 결과 달라짐
• 버전 관리 없이 모델 성능 비교 시 원인 불명 문제 발생
• 규제/감사 환경에서는 모델 학습 시 사용한 데이터 증빙 필요

---

Dataset Versioning이 해결하는 문제

문제	Versioning 없을 때	Versioning 있을 때
재현성	같은 코드로 다시 학습해도 결과 달라짐	정확히 같은 데이터로 재현 가능
협업	팀원이 서로 다른 데이터 버전 사용	버전 명시 → 동일 데이터셋 공유
롤백	잘못된 데이터로 학습 → 원인 추적 어려움	이전 버전으로 빠른 롤백 가능

---

구현 방식

① 데이터 해싱 (Checksum)

• 각 파일/샘플에 해시(MD5, SHA256) 부여
• 전체 데이터셋 hash → 버전 식별자 역할

② 메타데이터 관리

• 데이터셋 생성 날짜, 전처리 방식, feature schema 저장
• 모델/실험 로그와 연결

③ 버전 관리 도구 사용

• DVC (Data Version Control)
• Weights & Biases Artifacts
• Pachyderm, LakeFS

---

DVC 예시

# 데이터셋 버전 관리 시작
dvc init

# 학습 데이터 추가
dvc add data/train.csv

# Git에 메타파일 커밋
git add data/train.csv.dvc .gitignore
git commit -m "Add training dataset v1"

# 다른 버전 체크아웃
git checkout <commit-hash>
dvc checkout

Git과 DVC를 함께 쓰면 코드 + 데이터 버전을 함께 관리 가능

---

장점

1. 학습 재현성 보장
2. 실험 비교 용이
3. 데이터 변경 추적 가능 (감사/규제 대응)
4. 협업 생산성 ↑ (동일 버전 사용 보장)

---

단점 & 고려사항

1. 대규모 데이터셋은 스토리지 비용 증가
2. 버전 관리 정책 필요 (버전 이름, 저장 주기)
3. 데이터 변경이 잦으면 관리 오버헤드 발생

---

실무 적용 팁

• 데이터셋에 명시적 버전 태그 붙이기 (v1.0, v1.1 등)
• Feature Store 사용 시 feature schema 변경 이력도 함께 관리
• 모델 아티팩트 저장 시 데이터셋 해시/버전 기록 → 완전한 reproducibility

---

결론

Dataset Versioning은 ML 시스템의 안정성·재현성을 높이는 필수 단계입니다.
모델 성능 개선 실험을 신뢰할 수 있고, 문제 발생 시 빠른 롤백이 가능해집니다.

 

 

 

다음 편은 아래에 있습니다!

https://machineindeep.tistory.com/79

MLOps 시리즈 3편: CI/CD for ML (모델 자동 배포 파이프라인)