AI 자동화 기준은 난이도가 아니라 오류 가시성입니다
AI에게 맡겨도 되는 일과 안 되는 일을 가르는 변수는 난이도가 아닙니다. 출처 검사 3칸 구조와 실측 수치로 그 기준을 설계 근거까지 정리했습니다.
방구석컴퍼니
혼자 일하는 사람 · 작업 기록
AI에게 자료 조사를 시켰더니 각주가 붙어 나왔습니다. 링크를 눌렀더니 열렸고, 인용문을 페이지에서 검색했더니 그 문장도 있었습니다. 그런데 스크롤을 올려보니 논문 제목이 IslamicLegalBench, 이슬람 법 벤치마크였습니다. 제가 물어본 건 스탠퍼드의 법률 AI 환각률이었고요.
AI 자동화의 성패를 가르는 변수는 일의 난이도가 아닙니다. 틀렸을 때 그것이 나에게 돌아오는데도 보이지 않느냐입니다. 이 글은 그 기준이 왜 그렇게 설계될 수밖에 없는지를 검사 구조와 실측 수치로 풀어냅니다.
오류 가시성이 기준이 되는 이유
자동화의 이득은 "AI가 일을 대신 한다"에서 나오지 않습니다. "내가 그 결과를 확인하지 않아도 된다"에서 나옵니다. 확인이 필요하면 그 시간만큼 이득이 깎이고, 확인 비용이 직접 하는 시간을 넘으면 이득은 음수가 됩니다.
그래서 판단 변수는 난이도가 아니라 오류가 표면으로 올라오는 속도입니다. 어려운 일이라도 틀리는 즉시 화면이 알려주면 맡길 수 있고, 쉬운 일이라도 틀린 채로 조용히 지나가면 맡길 수 없습니다.
한국은행이 3년치 데이터를 본 결과가 이 구조를 뒷받침합니다. AI를 쓴 근로자의 업무시간은 3.8%(주당 약 1시간 반) 줄었지만, 아낀 시간과 실제 처리량의 상관관계는 0이었습니다. 시간이 사라진 게 아니라 검증하는 쪽으로 옮겨간 겁니다. 하버드 비즈니스 리뷰가 이름 붙인 workslop — 그럴듯한데 알맹이 없는 AI 결과물 — 은 한 건 수습에 평균 1시간 56분이 들었습니다.
출처 검사가 3칸인데 우리는 2칸에서 멈춘다
AI가 준 출처를 검증하는 절차는 세 단계로 나뉩니다. 이 분해가 자료 조사 자동화가 실패하는 지점을 정확히 짚어줍니다.
| 검사 칸 | 무엇을 보나 | 통과율 | 사람이 쓰는 시간 |
|---|---|---|---|
| 1칸 | 링크가 열리는가 | 94% | 약 1초 |
| 2칸 | 그 페이지가 그 주제인가 | 80% 이상 | 약 1초 |
| 3칸 | 그 문장이 원문에 실제로 있는가 | 39~77% | 수 분 |
앞 두 칸은 클릭 한 번이면 끝나고 거의 다 통과합니다. 3칸에서 정확도가 절반 가까이 무너지는데, 바로 그 칸이 유일하게 품이 드는 칸입니다. 검증 비용이 가장 비싼 자리에 오류가 몰려 있으니 아무도 열지 않고, 그래서 틀린 출처가 그대로 살아남습니다.
앞에서 말한 IslamicLegalBench 사례가 이 구조의 극단입니다. 1칸과 2칸을 통과했고 문장도 실재했습니다. 그 논문이 스탠퍼드 수치를 인용한 문헌이었을 뿐입니다. 세 칸을 다 통과해도 출처 오귀속은 남습니다.
더 깊게 조사시키면 나아진다는 직관은 틀렸다
같은 연구팀이 조건을 바꿔 다시 측정했습니다. 검색 도구를 2회만 호출한 조건과 150회까지 호출한 조건입니다.
- 2회 호출: 기준선
- 150회 호출: 팩트체크 정확도 평균 42% 하락
더 판 쪽이 더 틀렸습니다. 탐색 범위를 넓히면 검증되지 않은 소스가 같이 늘어나고, 모델은 그중 그럴듯한 것을 골라 씁니다. 깊이는 정확도의 대리 지표가 아닙니다.
반대 방향의 개입은 효과가 있었습니다. 질문만 던지지 않고 원문을 먼저 넣어준 조건에서 환각률은 40%에서 13%로 떨어졌습니다. 같은 모델, 같은 질문입니다. 바뀐 건 찾게 했느냐 읽게 했느냐 하나입니다.
번역이 자료 조사보다 위험한 이유
번역은 정확도가 낮아서 위험한 게 아닙니다. 검증 경로가 원천적으로 막혀 있어서 위험합니다.
응급실 퇴원 안내문을 26개 언어로 번역해 채점한 2025년 연구에서 전체 성공률은 95%였습니다. 그런데 언어별로 뜯으면 26개 중 16개 언어에서 최소 한 항목이 90점 아래였습니다. 2019년 연구에서는 같은 종류의 안내문이 스페인어 92%, 중국어 81%로 갈렸습니다. 오래된 수치라 지금 값으로 쓸 수는 없지만, 언어마다 갈린다는 성질 자체는 남습니다.
여기서 구조적 문제가 드러납니다.
평균 95%는 나를 안심시킨다. 그런데 내가 보낸 언어가 잘 되는 10개에 속하는지 무너지는 16개에 속하는지를, 그 언어를 모르는 나는 확인할 수 없다.
자료 조사는 최소한 원문을 열어 대조할 수 있습니다. 번역은 그 대조 자체가 불가능합니다. 검사 3칸이 아예 없는 셈입니다. 다시 돌려도 같은 결과가 나오니 재시도도 검증이 되지 못합니다.
같은 조건에서 검수자 유무만 다르게 하면
도구가 아니라 배치가 결과를 가릅니다. 위키미디어 자체 집계로는 AI가 생성한 텍스트의 27%가 발행 전 사람 손에서 수정됐습니다. 같은 모델을 쓰고도 검수 단계가 있는 쪽과 없는 쪽의 산출물이 갈린 겁니다.
법률 영역은 그 대비가 더 선명합니다. 변호사가 유료로 쓰는 법률 전용 AI조차 스탠퍼드 측정에서 환각률이 17~34%였습니다. 도메인 특화 모델을 붙여도 검수 없는 배치는 위험합니다.
자동화를 포기하지 않고 기준을 지키는 법
기준을 지키느라 자료 조사를 통째로 손에서 놓으면 자동화로 아끼려던 시간이 같이 날아갑니다. 통으로 시키는 대신 세 조각으로 쪼개면 됩니다.
| 조각 | 담당 | 설계 근거 |
|---|---|---|
| 수집 | 자동 | 찾게 하지 말고 읽게 한다. 원문을 먼저 넣고 검색을 끄면 환각 40% → 13% |
| 판단 | 사람 | 무엇을 쓸지는 넘기지 않는다. 여기가 결재 도장 자리 |
| 검증 | 자동 + 사람 | 1·2칸은 스크립트가, 3칸의 최종 확인만 사람이 |
핵심은 오류 가시성이 낮은 조각만 사람에게 남기는 것입니다. 전부 사람이 하면 자동화가 아니고, 전부 AI가 하면 3칸이 비어버립니다.
검증 도구를 직접 만들어 돌려본 결과
이 분해를 코드로 옮겨 인용 11건에 돌려봤습니다. 링크 생존과 주제 관련성은 자동, 원문 대조 결과만 사람이 보는 구조입니다.
| 항목 | 결과 |
|---|---|
| 소요 시간 | 4.5초 |
| 자동으로 걸러낸 것 | 1건 |
| 사람이 원문을 열어야 하는 것 | 1건 (로그인 벽) |
| 출처만 눈으로 볼 것 | 9건 |
자동으로 걸러진 게 1건뿐이라 검사가 헐거워 보일 수 있습니다. 그렇지 않습니다. 링크와 주제는 원래 웬만하면 맞습니다. 앞 두 칸이 술술 통과하니까 사람이 마지막 칸을 안 여는 것이고, 도구의 역할은 그 마지막 칸으로 시선을 몰아주는 데 있습니다.
솔직한 한계 — 이 기준으로 막지 못하는 것
출처 오귀속은 어떤 자동 검사로도 못 잡습니다. 문장이 그 페이지에 실제로 있는데 그 페이지가 그 연구가 아닌 경우입니다. 문자열 대조는 통과하고, 주제 유사도도 통과합니다. 페이지 제목이 주장과 맞는지는 결국 사람이 봐야 합니다.
검증 도구 자체도 틀립니다. 처음 돌렸을 때 오탐이 두 건 나왔습니다. 논문 초록의 특수문자 표기 때문에 멀쩡한 인용을 가짜로 판정했고, 로그인 벽에 막혀 못 연 기사도 가짜로 몰았습니다. 둘 다 고쳤지만, 그걸 알아챈 건 제가 원문을 열어봤기 때문입니다. 못 연 것과 지어낸 것은 다른 사건인데 도구는 둘 다 실패로 셉니다.
AI 자료 조사가 항상 무너지는 것도 아닙니다. 인용 11건 중 출처가 두꺼운 통계 5건은 5건 다 정확했습니다. 무너지는 건 아무도 잘 다루지 않는 틈새 주제입니다. 그러니 "AI 리서치는 다 지어낸다"는 결론은 과장입니다.
기준의 경계 두 개
오류 가시성 하나로 모든 칸이 정리되지는 않습니다. 경계가 둘 있습니다.
첫째, 티가 나도 확인 비용이 직접 하는 것보다 비싸면 그것도 맡기면 안 되는 일입니다. 아마존 무인매장이 그 사례로 거론됩니다. 카메라가 알아서 계산한다고 했지만 보도에 따르면 사람이 뒤에서 영상을 확인했습니다. 아마존은 이를 부인했고, 해당 매장 방식은 2024년에 접혔습니다.
둘째, 틀려도 잃을 게 없으면 돌려도 됩니다. 유튜브 자동 더빙은 어색하다는 말이 나와도 그 언어 시청자에게는 원래 자막이 한 줄도 없었습니다. 마이너스가 아니라 0에서 출발하는 자리입니다.
정리
- 기준은 난이도가 아니라 오류 가시성입니다. 틀렸을 때 나에게 돌아오는데도 안 보이는 일을 맡기면 안 됩니다.
- 출처 검사는 3칸인데, 오류는 사람이 가장 안 여는 3칸에 몰려 있습니다.
- 깊이를 늘리면 정확도는 오히려 떨어집니다. 찾게 하지 말고 읽게 하는 쪽이 효과가 있습니다.
- 번역이 자료 조사보다 위험한 건 검증 경로 자체가 없기 때문입니다.
- 안 되는 일은 포기하는 게 아니라 수집·판단·검증으로 쪼개면 됩니다.
지금 걸어두신 자동화 중에, 결과를 마지막으로 눈으로 확인한 게 언제인지 하나만 떠올려 보시면 어떨까요. 못 대시겠다면 그게 이 글에서 말한 그 칸입니다.
일 8개를 하나씩 판정대에 올리는 과정은 위 영상에 담았습니다. 판정표 한 장과 인용 검증 체크 시트는 오픈톡 '방구석모각코'에 올려뒀습니다.