[DVC] Data Version Control 서비스 비교

머신러닝 모델을 사용하여 재미있는 어플리케이션을 제작하려고 한다.

문득 떠오른 아이디어인데, 프로젝트 수업에서 이 아이디어를 주제로 팀을 만들게 되었다.

 

기획한 어플리케이션은 모델이 설득력 있는 답변을 내는 것이 중요하여, ML-intensive application라고 할 수 있다.

아래 링크로 첨부한 Andrew Ng의 영상처럼, ML에서 data와 model(code)의 비중은 동등해지거나 data가 더 중요하게 다루어지기 때문에 데이터를 체계적으로 관리하고 싶었다.

https://www.youtube.com/watch?v=TU6u_T-s68Y

 

특히,

1. 데이터 엔지니어링, 모델링을 맡은 팀원들이 동일한 데이터를 다루면 좋겠다.
2. git으로 code versioning을 하듯, data도 변화 과정을 추적하고 싶다.

 

위의 두 가지 니즈가 있었다.

 

스택 세팅을 위해 data validation, parallel computing(DACS)와 같이 여러 라이브러리들의 기능을 알아보며, 원하는 기능과 구분하고 data 처리에 대해 배웠다. 기업용 서비스의 경우에는 유료 요금제만 갖추어진 곳들도 많아서 무료로 사용할 수 있고, 스토리지 용량도 납득가능한 수준으로 느껴진 방식으로 두 가지를 추렸다.

 

1. git-lfs

계정 당 2GB의 용량을 가지며, 100MB 이상의 바이너리 자료(이미지, 영상)을 대상으로 만들어진 라이브러리이다.

.gitattributes 파일을 통해 git-lfs로 관리하고자 하는 파일의 확장자나 파일명을 정의할 수 있다.

Git LFS (Large File Storage) 사용하기

 

2. DVC + Google Drive

DVC는 data version control을 위한 오픈소스로, .dvc 파일을 통해 인공지능 학습 과정에서 데이터 또는 모델과 같이 바뀌는 요소들을 remote storage에 저장함과 동시에 git으로 code와 함께 버전 관리를 할 수 있도록 돕는 라이브러리이다.

DVC(Data Version Control) 개념 및 활용 방법

 

이 중, DVC를 사용하기로 한 것은 Google Drive에 40,0000개의 요소를 저장할 수 있는 충분한 공간이 있었고, DVC가 Google Drive와도 연동이 된다는 것이 주효하였다. 그리고 Google Drive와 colab의 연동성이 우수하고, colab에서 GPU 리소스도 어느정도 뒷받침이 되기에 더욱 DVC를 선택할 수밖에 없었다.