병목은 데이터가 지나오는 길에 있을 수 있다
고성능 GPU를 도입하면 AI 모델의 학습 시간도
자연스럽게 줄어들 것이라고 기대하기 쉽습니다.
그러나 실제 환경에서는 GPU를 추가하거나
상위 사양으로 교체해도 학습 속도가 기대만큼
개선되지 않는 경우가 있습니다.
이때 확인해야 할 것은 GPU의 연산 성능만이 아닙니다.
디스크에서 파일을 읽고, 네트워크를 통해 전송하고,
이미지를 디코딩하고, 전처리를 거쳐 다음 배치를
준비하는 모든 과정이 학습 속도에 영향을 줍니다.
GPU는 계산을 마쳤지만 다음 데이터가
준비되지 않아 기다리고 있을 수 있습니다.
GPU 자체가 느린 것이 아니라,
GPU까지 데이터가 도달하는 경로가 느린 상황입니다.
GPU 사용률만으로 병목을 판단하기 어려운 이유
대시보드에서 GPU 사용률이 높게 나타난다고 해서
학습 파이프라인 전체가 효율적으로 작동한다고
단정할 수는 없습니다.
순간적으로 GPU가 활발히 작동하더라도
배치와 배치 사이에 데이터 공급이 지연되면
전체 처리량은 낮아질 수 있기 때문입니다.
학습 파이프라인을 점검할 때는 스토리지의
읽기 처리량, 네트워크 대역폭, 파일 디코딩 시간,
데이터 로더의 워커 수, 전처리 연산과
캐시 활용 여부를 함께 살펴봐야 합니다.
특히 수많은 이미지나 문서 파일을 원격 스토리지에서
반복적으로 불러오는 환경에서는 파일을 여는 시간과
데이터를 전송하는 시간이 누적됩니다.
파일 한 건을 읽는 데 발생하는 작은 지연도
수십만 건, 수백만 건이 반복되면 전체 학습 시간에
적지 않은 영향을 줄 수 있습니다.
다만 모델의 크기만으로 I/O 병목 여부를 판단할 수는 없습니다.
모델 연산량이 많으면 데이터 로딩 시간이
상대적으로 가려질 수 있고, 반대로 파일 용량이 크거나
네트워크 환경이 제한적이라면
데이터 공급 지연이 더 뚜렷하게 나타날 수 있습니다.
따라서 GPU 증설에 앞서 배치 준비 시간,
데이터 로더 대기 시간, 스토리지 처리량과
네트워크 전송량을 구분해 측정해야 합니다.
데이터 전처리 속도는 파일 크기에서도 갈린다
AI 학습에서 데이터 전처리 가속은
코드의 실행 속도를 높이는 것만을 의미하지 않습니다.
저장소에서 메모리로 이동해야 하는 데이터의
물리적인 크기를 줄이는 것도 중요한 접근입니다.
동일한 수의 샘플을 학습하더라도
파일 하나당 용량이 작아지면
스토리지 읽기량과 네트워크 전송량도 감소합니다.
원격 스토리지, NAS, 클라우드 오브젝트 스토리지에서
이미지와 문서를 반복적으로 불러오는 환경이라면
이러한 차이가 배치 공급 시간과
전체 인프라 사용량에 누적될 수 있습니다.
다만 파일 용량이 절반으로 줄었다고
학습 시간도 절반으로 단축되는 것은 아닙니다.
전체 학습 시간에는 모델 연산, 파일 탐색, 디코딩,
데이터 증강과 캐시 적중률 등 여러 요소가
함께 작용하기 때문입니다.
파일 경량화는 다음과 같은 환경에서 효과를 기대할 수 있습니다.
✅ GPU가 다음 배치를 기다리는 시간이 긴 환경
✅ 원격 스토리지에서 대용량 파일을 반복적으로 읽는 환경
✅ 네트워크 대역폭이나 스토리지 처리량이 제한된 환경
✅ 문서 이미지와 증빙 사진을 대규모로 처리하는 환경
✅ 다수의 사용자가 동시에 파일을 업로드하거나 조회하는 환경
중요한 것은 파일을 작게 만드는 방식이다
데이터의 크기를 줄이기 위해
다른 파일 포맷(ZIP)으로 변환하거나
별도의 처리 단계를 추가하면 그 과정에서
또 다른 비용이 발생할 수 있습니다.
학습 전에 파일을 다시 변환하거나 복원해야 한다면
기존 병목이 사라지는 것이 아니라
다른 단계로 이동할 가능성도 있습니다.
따라서 실무에서는 단순한 용량 감소율보다
다음 조건을 먼저 확인해야 합니다.
기존 데이터 로더와 처리 구조를 유지하면서
이동하는 데이터의 양을 줄일 수 있는가?
이미지, 동영상, 문서의 확장자, 해상도와
기본 속성을 유지한 채 파일 자체를 경량화하면
기존 리더나 뷰어를 계속 활용할 수 있습니다.
데이터셋 전체를 새로운 포맷으로 바꾸거나
학습 직전에 별도의 복원 단계를 추가하지 않아도 되서
기존 시스템의 변경 부담도 줄일 수 있습니다.
파일프레소(FilePresso)는
JPG, AVI, PDF, HWPX, PPT, EXCEL 등의
다양한 이미지, 동영상, 문서의 포맷 및 해상도를
완전하게 보전하면서 물리적인 파일 크기를 압축합니다.
즉, 데이터의 크기는 줄이되 데이터가 이동하고
처리되는 경로는 최대한 유지하는 접근입니다.
파일프레소는 스토리지에서 데이터를 읽고
네트워크로 전송하는 과정의 부담을 줄이는 방식으로
이해하는 것이 적절합니다.
이러한 차이는 개별 파일에서는 작아 보일 수 있습니다.
그러나 대량의 데이터가 반복적으로 저장되고 전송되는
운영 환경에서는 스토리지 사용량, 네트워크 트래픽과
처리 대기 시간의 차이로 누적됩니다.
실제 운영 환경에서는 작은 차이가 큰 비용이 된다
파일 한 건의 용량이나 로딩 시간이 조금 줄어드는 것은
큰 변화처럼 보이지 않을 수 있습니다.
그러나 데이터가 수백만 건 이상 쌓이면
스토리지 사용량, 네트워크 트래픽, 백업 시간과
데이터 처리 대기열에 미치는 영향도 함께 커집니다.
메리츠화재 구축 사례에서는 19,304,014개의
이미지 파일을 대상으로 용량 최적화를 적용했습니다.
그 결과 원본 57.32TB가 10.82TB로 줄어
81%의 용량 절감 효과를 기록했습니다.
다만 이 사례의 81%는 파일 용량 절감률입니다.
AI 학습 속도가 같은 비율로 향상된다는 의미는 아닙니다.
학습 속도 개선 폭은 기존 시스템에서 스토리지 읽기와
네트워크 전송이 차지하던 비중에 따라 달라집니다.
GPU가 데이터 공급을 기다리는 시간이 길었다면
파일 경량화가 전체 처리량 개선에 기여할 수 있습니다.
중요한 것은 높은 용량 절감률 자체가 아니라,
줄어든 데이터 전송량이 실제 로딩 대기 시간과
인프라 부담 감소로 이어지는지 확인하는 것입니다.
GPU를 추가하기 전에 데이터가 기다리는 위치부터 찾아야 한다
AI 학습 성능을 높이기 위해 가장 먼저 해야 할 일이
더 비싼 GPU를 구매하는 것은 아닐 수 있습니다.
데이터가 스토리지에서 늦게 읽히는지,
네트워크에서 지연되는지, 파일 디코딩이나
전처리 단계에서 정체되는지를 먼저 구분해야 합니다.
병목이 모델 연산에 있다면
GPU와 연산 파이프라인을 개선해야 합니다.
반면 병목이 데이터 이동에 있다면 스토리지,
네트워크와 파일 구조를 함께 최적화해야 합니다.
결국 핵심은 모델의 학습 가치를 유지하면서
GPU까지 이동하는 데이터의 물리적인 크기를
얼마나 안정적으로 줄일 수 있는가입니다.
데이터가 가벼워진다고
모든 학습이 빨라지는 것은 아닙니다.
그러나 데이터 공급이 병목인 환경이라면
파일 경량화는 저장 공간과 네트워크 사용량을
줄이는 것을 넘어, GPU의 대기 시간을 낮추고
학습 자원을 더욱 효율적으로 활용하는
현실적인 방법이 될 수 있습니다.
파일프레소에 대해
궁금한 점이 있으시면
[email protected] 로 언제든 문의주세요💙