AI 결과 검수자 정하기

AI 결과를 확인할 검수자는 이름만 적어서는 제 역할을 하기 어렵습니다. 무엇을 기준으로 볼지, 어떤 원본과 맞춰 볼지, 하루에 얼마나 볼지, 어떤 경우에 반려할지까지 한 장에 적어 줘야 합니다. 자동화 결과를 사람이 믿는 쪽으로 기우는 경향은 훈련이나 지시만으로 사라지지 않는다고 연구가 정리하기 때문입니다. 이 글은 그 연구를 짚고, 업무 현장에서 쓸 검수 카드를 제안합니다.

이 글은 업무 자동화 운영을 위한 실무 가이드이며, 특정 고객사의 도입 사례나 측정 결과가 아닙니다. 2026년 11월 5일 확인한 논문과 EU AI Act 제14조 해설 페이지 자료 기준입니다. 인용한 연구는 대부분 정부의 판단 알고리즘이나 자동화 장치를 다룬 것이고, AI가 쓴 문서 초안의 검수를 직접 시험한 것이 아닙니다. 아래의 검수 카드, 위험 단계표, 가상의 교육 업체 장면은 DMS.Labs의 설계 제안과 가정이며, 조직의 내부 통제 규정이나 법률 자문을 대신하지 않습니다.

검수자를 한 명 정해 두면 충분합니까?

충분하지 않습니다. 검수자가 있다는 사실과 검수가 실제로 일어난다는 사실은 다른 문제입니다. 마지막에 사람이 본다는 구조는 안심을 주지만, 보는 사람에게 기준과 원본과 시간이 없으면 화면에 뜬 결과를 승인 버튼으로 넘기는 일이 됩니다.

Ben Green은 2022년 논문에서 정부 알고리즘에 사람의 감독을 요구하는 정책 41건을 살폈습니다(저자가 먼저 공개한 원고에는 40건으로 적혀 있습니다). 그는 이런 정책이 사람이 실제로 감독할 수 있다는 근거를 거의 대지 않는다고 지적합니다. 또 사람이 조금이라도 개입하면 요건이 채워지는 규정은 도장만 찍는 형식적 개입을 부추길 수 있다고 봅니다. 논문은 유럽 GDPR 제22조를 그 예로 듭니다.

연구는 사람의 검수에 대해 무엇을 말합니까?

읽은 연구의 결과를 표로 모았습니다. 오른쪽 칸은 DMS.Labs의 해석입니다.

이 글이 확인하지 못한 것이 있습니다. AI가 쓴 문서 초안을 사람이 검수할 때 같은 크기의 편향이 나타나는지는 직접 시험한 연구를 찾지 못했습니다. 위의 결과는 가능성을 보여 주는 근거이지 사무실에서 측정한 값이 아닙니다.

EU AI Act는 검수자에게 무엇을 요구합니까?

제14조는 고위험 AI 시스템의 사람 감독을 다룹니다. 4항에 따르면 감독을 맡은 사람은 시스템의 능력과 한계를 이해하고 이상 동작을 살필 수 있어야 하고, 자동화 편향(automation bias)의 가능성을 인지해야 합니다. 출력을 올바르게 해석하고, 특정 상황에서 시스템을 쓰지 않거나 출력을 무시·뒤집을 결정을 내리고, '정지' 버튼처럼 시스템을 멈출 수단을 쓸 수 있어야 합니다. 5항은 부속서 III 1(a)에 해당하는 일부 시스템에서, 필요한 역량·훈련·권한을 가진 두 사람이 따로 확인하기 전에는 그 식별 결과로 조치하지 못하게 합니다. 이 조문 해설 페이지는 부속서 III 고위험 시스템의 적용을 2027년 12월 2일로 표시합니다.

어떤 업무가 고위험에 해당하는지는 이 글에서 판단하지 않습니다. 일반 사무실의 AI 초안 작업에 이 조문이 직접 적용된다고도 말하지 않습니다. 다만 법이 감독자에게 요구하는 항목은 검수 카드의 칸을 정할 때 참고가 됩니다. 이해, 편향 인지, 뒤집을 권한, 멈출 수단이고, 위험이 클 때는 두 사람입니다.

법은 편향을 알고 있으라고 요구하는데, 위 연구는 지시만으로는 막기 어렵다고 합니다. 그래서 카드는 알고 있기를 바라는 데서 멈추지 않고 칸으로 만듭니다. 이 연결은 DMS.Labs의 해석입니다.

모든 결과물에 검수자를 붙여야 합니까?

그럴 필요가 없습니다. 사람의 주의는 한정되어 있어서 모든 결과물에 검수를 붙이면 대부분이 눈으로 넘기는 확인이 되기 쉽습니다. 이 추정을 시험한 자료는 찾지 못했고, 아래 표는 위험이 큰 쪽에 시간을 몰아 주자는 DMS.Labs의 제안입니다.

창가의 나무 책상 위에 인쇄된 문서 한 장과 붉은 연필, 열려 있는 서류철이 나란히 놓인 장면.원본 전체 보기 ↗

검수 카드에는 무엇을 적습니까?

검수가 필요한 결과물마다 한 줄씩 적습니다. 담당자 카드와 실행 기록 옆에 두면 세 가지가 이어집니다. 칸 구성은 DMS.Labs의 제안입니다.

두 번째 칸의 '다른 사람'은 DMS.Labs의 추정에서 나왔습니다. 자기가 시킨 일의 결과는 기대한 대로 읽히기 쉽다고 보는 것인데, 이 추정을 확인한 자료는 찾지 못했습니다. 인원이 적어 분리할 수 없다면 같은 사람이 하되 원본 대조 칸을 더 엄격하게 채웁니다.

가상의 교육 업체에서는 어떻게 돌아갑니까?

직원 여섯 명쯤 되는 가상의 교육 업체를 가정합니다. 실제 고객이나 현장의 기록이 아닙니다. AI가 수강 문의에 대한 답장 초안을 만들고, 사람이 확인한 뒤에 보냅니다. 일주일에 초안이 40건 나오고, 검수자 두 명이 하루씩 번갈아 평일 닷새를 나눠 맡는다고 가정합니다. 하루 여덟 건입니다.

건당 3분을 쓸 수 있다고 가정하면 하루 24분입니다. 이 시간이 업무 사이에 실제로 나는지를 먼저 봅니다. 나지 않는다면 카드를 채울 수 없는 것이므로, 검수 대상을 고객에게 바로 나가는 답장으로 줄이거나 하루 건수를 줄입니다. 시간이 나지 않는데 사람도 늘릴 수 없다면 검수할 양을 줄이는 쪽이 낫다고 DMS.Labs는 제안합니다.

보는 기준은 세 가지로 정합니다. 개강일, 수강 안내 금액, 환불 규정 문구입니다. 검수자는 AI가 쓴 문장을 읽기 전에 금액표와 일정표를 먼저 엽니다. 초안에서 세 항목을 찾아 표와 맞춰 보고, 어긋나면 반려 사유에 항목 이름을 적습니다.

한 달이 지나 반려 기록이 한 줄도 없다고 가정합니다. 초안이 정말 좋아서일 수도 있고, 검수가 형식이 되어서일 수도 있습니다. 기록만으로는 둘을 가를 수 없습니다. 그래서 다음 절의 방법을 씁니다.

검수자가 실제로 보고 있는지 어떻게 압니까?

반려 기록을 보는 것이 첫걸음입니다. Green은 정부 알고리즘을 도입한 뒤에도 사람이 그 시스템을 어떻게 쓰는지 계속 점검해야 한다고 하면서, 사람이 알고리즘의 결정을 뒤집은 기록을 추적하는 방법을 예로 듭니다(그가 든 목적은 인종 간 격차 확인입니다). 이 글은 그 방법을 사무실 크기로 옮겨 반려 건수와 사유를 한 달에 한 번 같이 읽도록 제안합니다.

반려가 없다는 사실만으로 검수가 부실하다고 단정하지는 않습니다. 두 번째 방법으로 DMS.Labs는 일부러 틀린 초안을 가끔 섞을 것을 제안합니다. 예를 들어 개강일을 하루 틀리게 쓴 초안을 일주일에 한 건 끼워 넣고, 검수자가 잡는지 봅니다. 잡으면 검수가 돌고 있다는 신호이고, 못 잡았다면 시간이나 기준 칸을 먼저 고칩니다. 못 잡은 검수자를 탓하는 용도가 아닙니다. 이 방법이 실제로 얼마나 효과가 있는지는 측정한 적이 없습니다.

세 번째는 건당 걸린 시간입니다. 계획한 3분보다 훨씬 짧게 끝나는 날이 이어지면 훑어보고 있다는 신호일 수 있습니다. 시간을 재는 이유는 사람을 감시하려는 것이 아니고 카드의 양이 맞는지 보려는 것입니다.

검수자가 놓치면 누구의 책임입니까?

검수자 한 사람에게 돌리면 안 됩니다. Green은 사람의 감독을 앞세우는 정책이 책임을 현장 담당자에게 옮긴다고 지적합니다. 오류가 대개 시스템 설계와 도입 결정에서 나오는데, 현장 담당자는 그 결정에 힘이 거의 없다는 것입니다. 사람이 감독할 수 있다는 근거 없이 시스템을 들여놓았다면 그 책임을 담당자에게 떠넘겨서는 안 되고, 담당자의 책임도 그런 기대가 합리적이었는지에 따라 낮춰 봐야 한다는 것이 그의 주장입니다. 이 말은 정부 알고리즘 사례에서 나온 것입니다.

사무실에서도 같은 구도가 생길 수 있다고 DMS.Labs는 봅니다. 그래서 카드 마지막 칸에 '카드를 정한 사람'을 적습니다. 검수자가 놓쳤을 때 먼저 물을 것은 기준과 양과 시간이 검수가 가능한 수준이었는지입니다. 검수자의 반려에는 불이익이 없다는 문장도 카드에 적어 둡니다. 말하기 어려운 환경이면 반려 기록이 비는 이유를 알 수 없습니다.

서류 몇 장과 도장이 놓인 작은 사무실 탁자, 도장 옆에는 아직 찍히지 않은 빈 확인란이 있는 서류 한 장.원본 전체 보기 ↗

자주 묻는 질문

검수자는 AI에 일을 시킨 사람과 달라야 합니까?

일반 업무에서 이를 요구하는 기준은 이 글에서 확인하지 못했습니다. EU AI Act 제14조 5항의 두 사람 확인은 부속서 III 1(a)의 일부 시스템에만 해당합니다. DMS.Labs는 가능하면 분리하자고 제안하며, 그 이유는 위에서 말한 추정입니다.

AI가 근거를 함께 적어 주면 검수가 쉬워집니까?

Green이 정리한 연구에는 설명이 사람의 감독 능력을 높이지 못했다는 결과가 있습니다. 틀린 권고에 대한 신뢰를 키웠다는 연구도 있습니다. 근거 문장은 안내로만 쓰고, 금액이나 날짜는 원본 파일에서 직접 확인하는 편이 안전합니다.

검수자를 두면 규제를 지킨 것입니까?

이 글은 법률 자문이 아니어서 그렇다고 답할 수 없습니다. 다만 Green은 사람이 형식적으로만 끼어도 요건이 채워지는 규정은 도장 찍기를 부를 수 있다고 봅니다. 규정이 적용되는 업무라면 해당 조문과 전문가 의견을 직접 확인하십시오.

다음에 볼 것

DMS.Labs 업무 자동화에서 업무 정의와 자동화 설계 방향을 볼 수 있습니다. 상담을 준비하신다면 AI 결과가 밖으로 나가는 업무 하나를 골라, 지금 누가 어떤 파일과 맞춰 보는지 한 줄로 적어 오시면 현재 상태를 설명하기 쉽습니다. 조건이 필요한 부분은 문의 페이지에서 확인하십시오.

검수 기준을 시험 자료로 점검하는 방법은 AI 스킬 합격 기준에 있습니다.

참고 자료

• Ben Green, The flaws of policies requiring human oversight of government algorithms, Computer Law & Security Review (2022) (발표본은 초록만, 저자 사전 공개 원고는 본문을 읽었습니다)
• Ben Green, 같은 논문 사전 공개 원고 (arXiv 2109.05067)
• Parasuraman과 Manzey, Complacency and bias in human use of automation: an attentional integration, Human Factors (2010) (초록만 읽었습니다)
• EU AI Act, Article 14: Human Oversight