AI허브 977개 데이터셋 전수 조사 — 1.6조짜리 창고에서 내가 실제로 확인한 분포
AI허브 데이터셋 977개의 다운로드·용량 분포를 전수 집계한 결과와, 직접 받아보며 확인한 실사용 경계선을 정리한다.
방구석컴퍼니
혼자 일하는 사람 · 작업 기록
정부는 2017년부터 2024년까지 AI 학습데이터 구축에 1조 6천억 원대를 썼고, 지금 AI허브에는 977개 데이터셋이 올라와 있다. 그런데 내가 977개의 다운로드 수를 전부 집계해 보니 중앙값은 541회였다. 조 단위 예산과 세 자리 중앙값, 이 차이가 이 글의 출발점이다.
기사와 감사 보고서는 예산 낭비 프레임으로 이 차이를 설명한다. 나는 데이터를 직접 세고 직접 받아본 쪽이라, 결론이 조금 다르다. 이건 창고의 문제가 아니라 안내판의 문제다. 이 글은 그 결론의 근거를 숫자로 보인다.
공공 AI 데이터를 실무나 학습에 물려보려는 개인과 소규모 팀을 위한 글이다.
왜 직접 세었나
기존 자료로는 판단이 안 섰기 때문이다. 감사원 발표는 총액과 종수(1조 6,328억·908종)까지만 말하고, 개별 데이터셋이 실제로 얼마나 쓰이는지는 어디에도 없었다. 그래서 사이트에 올라온 977개의 공개 지표 — 다운로드 수, 조회 수, 용량, 구축 연도 — 를 전부 긁어 표로 만들었다.
집계 시점은 2026년 8월이고, 사이트 공개 수치 기준이다. 이 전제는 뒤의 모든 숫자에 걸린다.
다운로드 분포는 어떻게 생겼나
한 줄로 답하면, 극단적인 상위 쏠림이다.
| 지표 | 값 |
|---|---|
| 누적 다운로드 합계 | 1,306,570회 |
| 다운로드 중앙값 | 541회 |
| 1,000회 미만 데이터셋 | 633개 (65%) |
| 상위 50개의 다운로드 점유율 | 37.7% |
합계 130만이라는 숫자만 보면 성공한 창고다. 중앙값 541만 보면 버려진 창고다. 둘 다 사실이고, 그래서 총량 지표는 이 창고를 설명하지 못한다. 쓰이는 소수와 묻힌 다수가 한 지붕 아래 있을 뿐이다.
안 쓰이는 이유가 품질 때문일까
용량 분포를 보면 다른 가설이 선다. 977개의 용량 중앙값은 190.4GB이고, 1TB를 넘는 것이 155개다. 개인 학습자가 "일단 받아보자"로 접근할 수 있는 물건이 아니라는 뜻이다.
반대편에 1GB 이하가 125개 있다. 메모장으로 열리는 텍스트 말뭉치들이고, 내가 받아본 감성 대화 말뭉치는 20MB에 3초 만에 내려왔다. 접근 가능한 입구가 없는 게 아니라, 입구가 어디인지 아무도 알려주지 않는 상태에 가깝다.
그래서 내 결론은 이렇다. 묻힌 633개가 안 쓰이는 이유는 품질이 아니라 눈에 안 띄어서다. 적어도 분포는 그쪽을 가리킨다.
내가 처음에 틀렸던 것
받는 과정에서 내 첫 접근은 폐기됐다. 공식 다운로드 스크립트를 그대로 신뢰하고 윈도우 Git Bash에서 돌렸는데, 완료 메시지와 함께 0바이트 zip이 남았다. 분할 파일 병합이 한글 파일명에서 소리 없이 깨졌고, 스크립트는 실패를 모른 채 원본 분할 파일까지 지웠다.
원인을 쪼개면 셋이다. 병합 명령이 오류를 전파하지 않았고, 나는 완료 메시지를 검증 없이 믿었고, 환경(윈도우 셸) 차이를 변수로 두지 않았다. 해법은 tar 원본을 내려받아 파이썬 tarfile 모듈로 해제하는 것이었고, 그 뒤로는 같은 데이터가 정상적으로 열렸다.
이 경험이 글의 결론을 하나 보강한다. 이 창고에서 막히는 지점은 내용물이 아니라 데이터에 닿는 길목에 몰려 있다.
어디까지 써도 되는가 — 경계선 두 줄
이용정책에서 실무에 걸리는 조항은 두 개다. "국외 반출을 위해서는 별도로 합의가 필요합니다"와, 인공지능 학습모델의 학습용으로만 사용한다는 조건.
이 두 줄의 실무 번역은 이렇다. 받은 원본 JSON을 해외 서버의 AI 챗봇에 통째로 올리는 실습은 정책과 충돌한다. 챗봇이 500MB를 받아준다는 것과 올려도 된다는 것은 별개다. 대신 로그인 없이 공개된 목록 CSV와 설명 페이지의 구조 정보는 어디에 올려도 문제가 없다. 그래서 실무에서는 "목록·구조는 밖에서, 원본은 내 컴퓨터에서"로 갈라진다.
그래서 어떻게 쓰면 되나
내 권고는 순서 세 개로 압축된다.
- 목록으로 고른다 — 공공데이터포털의 AI허브 목록 CSV를 AI에게 주고 후보를 추리게 한다. 여기엔 아무 제약이 없다.
- 작은 것으로 검증한다 — 1GB 이하 125개 구간에서 시작한다. 구조 확인에는 20MB면 충분하다.
- 원본 가공은 로컬에서 한다 — AI에게는 필드 구조와 설명문만 주고, 그 규칙으로 내 컴퓨터에서 원본을 다룬다.
이 순서는 977개를 센 분포에서 그대로 나온다. 큰 것부터 받으면 용량 분포가 막고, 원본부터 올리면 정책이 막는다.
이 글에서 내가 틀릴 수 있는 지점
다운로드 수가 활용도의 대리 지표라는 가정이 가장 약하다. 기관 단위 대량 활용은 다운로드 1회로 집계될 수 있고, 그 경우 중앙값 541의 해석은 지금보다 후해져야 한다. 또 집계는 2026년 8월 시점 값이라 이후 분포는 달라질 수 있다. 반박 데이터가 있다면 그쪽이 맞을 가능성을 열어둔다.
정리
1.6조와 541 사이의 거리는 예산 낭비 한 단어로는 설명이 안 된다. 창고엔 물건이 있고, 문은 열리며(자동승인·3개월 유효), 막히는 건 길과 안내판이다. 그렇다면 개인이 할 일은 창고를 평가하는 게 아니라 자기 입구를 찾는 것이다. 목록 CSV 한 파일이 그 입구였다는 게, 977개를 다 세고 난 뒤의 결론이다.
전수 집계 과정과 실제 다운로드 화면은 영상으로 기록해 뒀다.