아이디어

AI와 함께 풀어서 점수가 올랐다고 해서 AI 없이 하는 실력도 올랐다고 말할 수는 없습니다. 고등학생 약 1,000명이 참여한 실험에서 GPT-4로 연습한 학생들은 연습 문제 성적이 48% 높았지만, AI를 치우고 본 시험에서는 AI 없이 연습한 학생들보다 17% 낮았습니다. 폴란드 내시경 의사 19명을 본 관찰 연구에서는 병원이 AI 용종 탐지 도구를 쓰기 시작한 뒤 AI 없이 한 검사의 선종 발견율이 28.4%에서 22.4%로 내려갔습니다. 둘 다 한정된 조건에서 나온 결과여서 업무 문서나 자동화에 그대로 옮길 수는 없습니다.

2026년 11월 4일 확인한 자료 기준입니다. Bastani 등(2025)의 PNAS 논문은 방법, 결과, 한계 부분의 본문을 읽었습니다. Budzyń 등(2025)의 Lancet Gastroenterology & Hepatology 논문은 초록과 학회지 요약, 언론 보도를 읽었고 본문 전체는 확인하지 못했습니다. 이 논문에는 정오표가 있다는 표시가 붙어 있는데 무엇이 고쳐졌는지는 확인하지 못했습니다. 신입 직원 장면은 설명을 위한 가정이며 DMS 고객 사례가 아닙니다. 글 끝의 제안은 저의 생각이며 이 연구들이 정한 절차가 아닙니다.

연습에서 오른 점수는 시험에서도 오를까요?

Hamsa Bastani와 Osbert Bastani, Alp Sungu 등은 2025년 PNAS에 튀르키예의 한 고등학교에서 한 현장 실험을 발표했습니다. 9학년부터 11학년까지 약 50개 학급, 거의 1,000명이 90분짜리 수업 네 번에 참여했습니다. 수업마다 세 부분이 이어집니다. 교사가 지난 주제를 복습하고, 학생들이 연습 문제를 풀고, 마지막에 책과 노트북을 덮고 시험을 봅니다. 무작위로 나눈 것은 가운데 연습 시간뿐입니다.

학생은 세 조로 나뉘었습니다. 대조조는 AI 없이 연습했고, GPT Base 조는 ChatGPT와 비슷한 화면의 GPT-4로 연습했고, GPT Tutor 조는 교사의 의견을 반영해 정답을 바로 알려 주지 않고 힌트를 주도록 설계한 GPT-4로 연습했습니다. 연습 문제 성적은 GPT Base 조가 대조조보다 48%, GPT Tutor 조가 127% 높았습니다. 그런데 AI 없이 치른 시험에서는 GPT Base 조가 대조조보다 17% 낮았습니다(1점 만점 기준 0.054점). GPT Tutor 조는 이 하락이 거의 사라졌지만 대조조보다 높지도 않았습니다.

AI를 쓴 학생들은 무엇을 했을까요?

대화 기록이 단서를 줍니다. GPT Base 조 학생들은 풀이를 달라고 해서 그대로 옮겨 적는 방식으로 쓰는 경우가 많았습니다. 논문은 이를 '목발(crutch)'처럼 쓴다고 표현합니다. GPT Tutor 조는 도움을 청하거나 직접 답을 먼저 써 보는 쪽으로 더 많이 썼습니다. 같은 GPT-4인데 화면과 지시문이 달랐더니 쓰는 방식이 달랐고, 시험 결과도 달랐습니다.

학생들의 체감은 결과와 어긋났습니다. GPT Base 조는 자신이 더 못했다거나 덜 배웠다고 느끼지 않았습니다. GPT Tutor 조는 시험 성적이 대조조보다 높지 않았는데도 자신이 훨씬 잘했다고 느꼈습니다. 저자들은 이 실험이 한 학교에서 단기 결과만 살폈다고 적었고, 다른 튜터 설계와 다른 환경에서도 같은지는 더 연구해야 한다고 밝혔습니다. 몇 달 뒤에도 같은 차이가 남는지는 이 논문으로 알 수 없습니다.

일하는 어른에게서도 비슷한 일이 보였을까요?

의료 현장에 한 번 더 살필 만한 연구가 있습니다. Krzysztof Budzyń과 동료들은 2025년 8월 Lancet Gastroenterology & Hepatology에 폴란드 내시경 센터 네 곳의 자료를 발표했습니다. 이 센터들은 2021년 말 AI 용종 탐지 도구를 들여왔고, 이후 대장내시경은 검사 날짜에 따라 AI를 쓰는 쪽과 쓰지 않는 쪽으로 무작위 배정됐습니다. 연구진은 도입 전 석 달과 도입 후 석 달 동안 AI 없이 한 표준 검사를 비교했습니다. 대상은 1,443명(도입 전 795명, 도입 후 648명)입니다.

주요 지표는 선종 발견율입니다. 선종은 대장암으로 이어질 수 있는 용종의 한 종류이고, 이 비율은 검사 가운데 선종을 하나 이상 찾아낸 검사의 몫입니다. AI 없이 한 검사의 발견율은 도입 전 28.4%(795건 중 226건)에서 도입 후 22.4%(648건 중 145건)로 내려갔습니다. 차이는 6.0%포인트이고 95% 신뢰구간은 -10.5에서 -1.6, p값은 0.0089입니다. 환자 성별과 나이 등을 함께 넣은 분석에서도 AI에 노출된 뒤라는 요인의 오즈비가 0.69(0.53에서 0.89)로 나왔습니다.

몇 가지를 더 붙이면 이렇습니다. 검사한 의사는 19명이고 모두 대장내시경 경험이 2,000건을 넘는 숙련자였다고 보도됐습니다. 이 가운데 15명은 수치상 발견율이 내려갔습니다. AI를 켜고 한 734건의 발견율은 25.3%였는데, 도입 전 28.4%보다 높지 않은 값입니다. 도움이 있는 날의 수치만으로는 의사 본인의 눈이 어떻게 달라졌는지 읽기 어렵다는 것이 이 논문을 읽고 얻은 제 해석입니다.

이 연구는 회고적 관찰 연구입니다. 같은 센터에서 도입 전후를 비교했을 뿐 의사를 나누어 AI 노출을 달리한 실험이 아니어서, 발견율 하락의 원인이 AI 노출이라고 단정하기는 어렵습니다. 연구진도 결론에서 지속적인 노출이 발견율을 낮출 '수 있다'고 조심스럽게 적었습니다. ASGE 학회지에서 이 논문을 검토한 Douglas Rex는 AI가 의사의 기량을 떨어뜨리는지 처음으로 대규모로 공식 평가한 연구라고 소개하며 결과가 매우 우려스럽다고 평했고, 추가 연구가 필요하다고 덧붙였습니다. 다만 이 연구가 다룬 일은 눈으로 용종을 찾는 일이고, 문서를 쓰거나 고객에게 답하는 일은 아닙니다.

두 연구를 나란히 놓으면 무엇이 보일까요?

연습 점수와 시험 점수, AI를 켠 날의 발견율과 끈 날의 발견율은 서로 다른 것을 잽니다. 앞의 숫자는 사람과 도구가 함께 해낸 일이고 뒤의 숫자는 도구를 걷은 뒤 사람에게 남은 일입니다. 두 연구에서 이 둘은 같은 방향으로 움직이지 않았고, 고등학생들은 그 차이를 느끼지 못했습니다. 느낌으로 확인되지 않으니 따로 재 봐야 한다고 저는 읽었습니다.

도구의 설계도 눈여겨볼 대목입니다. 같은 GPT-4라도 정답 대신 힌트를 주도록 만든 쪽은 시험 점수 하락이 거의 없었습니다. AI를 쓰는지 여부 못지않게 AI가 어떤 방식으로 돕는지도 결과에 영향을 줬을 수 있습니다.

일터에서는 둘을 어떻게 따로 재 볼 수 있을까요?

아래는 이 글의 제안이며 연구로 검증된 절차는 아닙니다. 장면 하나를 가정해 보겠습니다. 제품 문의에 답하는 일을 맡은 신입 직원이 석 달 동안 AI가 쓴 답변 초안을 고쳐 보냈습니다. 어느 날 시스템이 멈춰 AI 없이 답을 써야 합니다. 막히는 곳은 용어일 수도, 어조일 수도, 어디부터 확인해야 하는지일 수도 있습니다. 어디가 막히는지는 그날이 되어야 보입니다. 이 장면은 가정이며 어떤 결과가 나올지 예측하지 않습니다.

첫째, 한 달에 한 번 AI 없이 해 보는 날을 정합니다. 평소 AI와 하는 일 가운데 작은 것 하나를 골라 AI 없이 해 보고, 걸린 시간과 막힌 단계를 두세 줄로 적습니다. 점수를 매기려는 것이 아니라 막힌 자리를 찾으려는 것입니다. 고등학생 실험에서는 시험이 이 역할을 했지만 일터에는 그런 시험이 따로 없습니다.

기록은 세 가지면 됩니다. 걸린 시간, 막힌 단계, 그리고 평소 AI와 했을 때와 견주어 빠진 것이 있는지입니다. 막히는 단계가 같은 곳에서 반복되면 그 단계는 AI에게 맡기기 전에 사람이 한 번 익혀 두어야 할 부분으로 표시합니다. 막히지 않았다면 이 일은 맡겨도 된다는 근거가 한 건 쌓인 것입니다. 한 번의 기록으로 실력을 판정하지는 않습니다. 반복해 쌓이는 패턴을 봅니다.

둘째, 익혀야 하는 일과 끝내기만 하면 되는 일을 나눕니다. 끝내는 것이 목적이면 AI에게 맡겨도 됩니다. 사람이 그 일을 익혀야 하는 단계라면 정답보다 힌트를 먼저 받도록 도구를 설정합니다. GPT Tutor 조가 이 방식이었고 시험 점수 하락이 거의 사라졌습니다. 다만 대조조보다 좋아지지는 않았다는 점도 함께 기억해야 합니다. 어떤 일을 맡기고 어떤 일을 사람이 익혀야 하는지 가르는 기준은 앞서 쓴 글에서 다뤘습니다.AI 교육은 도구 설명보다 '이 일을 맡겨도 되나'에서 시작합니다

셋째, 판단이 사람의 몫인 일에서는 AI를 끈 상태의 정확도를 가끔 확인합니다. 내시경 연구가 보여 준 것은 AI를 켠 날의 수치만으로는 그 사람의 눈이 어떻게 달라지는지 알기 어렵다는 점입니다. 확인 주기를 얼마로 잡을지는 알지 못합니다. 위험이 큰 일일수록 짧게 잡는 편이 안전해 보인다는 것이 제 생각입니다.

이번 주에는 AI와 자주 하는 일 하나를 골라 15분만 AI 없이 해 봅니다. 처음 막힌 단계를 한 줄로 적어 두면 첫 기록으로 충분합니다.

AI 활용 교육이나 업무 적용을 고민하고 있다면 문의 페이지로 연락할 수 있습니다.문의하기

AI가 먼저 쓴 초안을 받아 고치면 처음부터 내가 쓴 글과 같은 글이 나올까요? 꼭 그렇지는 않다는 실험 결과가 있습니다. AI 아이디어를 받은 사람들의 글은 평균적으로 더 잘 쓰였다고 평가받았지만 글끼리는 서로 더 닮았습니다. 다른 실험에서는 글에 담긴 의견과 글을 쓴 뒤의 설문 답이 AI의 입장 쪽으로 기울었습니다. 다만 대부분 짧은 글쓰기 실험에서 나온 결과입니다. 어떤 보상을 받으며 고쳐 쓰느냐에 따라 결과가 달라진다는 최근 사전 공개 논문도 있습니다.

2026년 10월 31일 확인한 자료 기준입니다. Doshi와 Hauser(2024), Padmakumar와 He(2024)는 초록과 본문 일부를, Jakesch 등(2023)과 Williams-Ceci 등(2026)은 초록을 읽었습니다. Jo와 Raghavan의 글은 arXiv에 올라온 사전 공개본이고 동료 심사를 거쳤는지는 확인하지 못했습니다. 사무실 장면은 설명을 위한 가정이며 DMS 고객 사례가 아닙니다. 글 끝의 제안은 저의 생각이며 이 연구들이 정한 절차가 아닙니다.

초안을 먼저 받으면 글이 어떻게 달라질까요?

AI 아이디어를 받은 글은 평균 점수가 올랐지만 서로 더 닮았습니다. Anil Doshi와 Oliver Hauser는 2024년 Science Advances에 온라인 실험을 발표했습니다. 작가 293명이 청소년과 젊은 성인이 읽을 여덟 문장짜리 이야기를 썼습니다. 조건은 세 가지였습니다. 도움 없이 쓰는 조건, 생성형 AI가 낸 이야기 아이디어를 하나 받을 수 있는 조건, 최대 다섯 개까지 받을 수 있는 조건입니다. 별도의 평가자 600명이 어떤 조건에서 나온 이야기인지 모른 채 읽고 점수를 매겼습니다.

AI 아이디어를 받은 쪽의 이야기가 더 창의적이고 더 잘 쓰였으며 더 즐겁다고 평가받았습니다. 최대 다섯 개를 받은 조건은 도움 없이 쓴 조건보다 참신성이 8.1%, 유용성이 9.0% 높았습니다. 여기서 유용성은 목표 독자에게 맞는지, 책으로 키울 수 있는지 같은 항목을 묶은 지표입니다. 창의성 검사 점수가 낮은 작가에게는 효과가 더 커서, 다섯 개 조건에서 참신성 10.7%, 유용성 11.5%가 올랐습니다. 아이디어를 받을 수 있었던 작가의 88.4%는 한 번 이상 실제로 요청했습니다.

대가도 있었습니다. AI 아이디어를 받은 이야기끼리는 도움 없이 쓴 이야기끼리보다 서로 더 닮았습니다. 닮은 정도의 증가량은 도움 없이 쓴 이야기들의 유사도 범위의 10.7%(아이디어 한 개 조건), 8.9%(다섯 개 조건)였습니다. 저자들은 이 구조를 사회적 딜레마에 비유합니다. 쓰는 사람 각자는 이득을 보지만 모두가 같은 도구를 쓰면 새로운 내용의 폭이 좁아집니다. 이 실험은 한 종류의 짧은 이야기만 다뤘고 평가도 온라인 평가자가 맡았습니다.

Vishakh Padmakumar와 He He는 2024년 ICLR 논문에서 같은 문제를 논설문으로 살폈습니다. Upwork에서 모집한 영어 원어민 가운데 글쓰기나 교정 경력이 있는 사람들이 뉴욕타임스 학생 의견란의 주제로 논설문을 썼습니다. 조건은 혼자 쓰기, 기본 언어 모델(GPT-3)과 쓰기, 사람 피드백으로 추가 조정한 모델(InstructGPT)과 쓰기였습니다. 필자들의 글이 서로 닮아지고 어휘와 내용의 다양성이 줄어든 것은 InstructGPT 조건뿐이었습니다. 저자들은 그 원인을 주로 모델이 글에 넣은 부분의 다양성이 낮았기 때문이라고 봅니다. 사람이 직접 쓴 부분은 모델과 함께 쓰는 영향을 받지 않았다고 합니다. 논문에 쓰인 모델 기준의 결과라서, 지금 쓰는 모델에도 그대로 들어맞는지는 이 논문만으로 알 수 없습니다.

의견까지 따라가기도 할까요?

두 실험에서는 그랬습니다. 글과 설문 답이 도우미의 입장 쪽으로 움직였습니다. Maurice Jakesch와 동료들은 2023년 CHI 논문에서 참가자 1,506명에게 소셜 미디어가 사회에 좋은지 논하는 글을 쓰게 했습니다. 처치 집단은 소셜 미디어가 사회에 좋다거나 나쁘다는 쪽으로 주장하도록 설정된 언어 모델 글쓰기 도우미를 썼습니다. 글에 드러난 의견이 도우미의 방향으로 기울었고 글을 쓴 뒤 태도 설문의 답도 같은 방향으로 움직였습니다. 글에 담긴 의견은 독립 판정자 500명이 평가했습니다.

같은 연구진 일부가 이어서 2026년 Science Advances에 낸 논문은 참가자 2,582명이 참여한 사전 등록 실험 두 건을 담고 있습니다. 참가자들은 사회 쟁점에 대한 글을 쓰면서 한쪽으로 치우친 자동완성 제안을 받았고 쓰기 뒤에 밝힌 태도가 AI의 입장 쪽으로 모였습니다. 참가자 다수는 제안이 치우쳤다는 것도, 그것이 자신에게 영향을 줬다는 것도 알아차리지 못했습니다. 같은 내용을 정적인 글로 보여 줄 때보다 쓰는 도중 제안으로 받을 때 영향이 더 컸습니다. 저자들은 이 연구가 짧은 기간의 효과만 살폈고 얼마나 오래 가는지는 분명하지 않다고 적었습니다.

알고 있으면 막을 수 있을까요?

같은 논문에 따르면 도우미가 치우쳐 있다는 사실을 쓰기 전이나 쓴 뒤에 알려 줘도 영향은 줄지 않았습니다. 이 결과를 일터로 가져오면, '초안은 AI가 썼으니 조심해서 읽으라'는 당부만으로는 부족할 수 있습니다. 이 해석은 저의 것입니다. 실험의 주제는 사회 쟁점에 대한 의견이었습니다. 업무 문서의 표현과 입장이 같은 방식으로 움직이는지는 이 논문들이 시험하지 않았습니다.

고쳐 쓰는 동안 내 목소리가 돌아올까요?

일부는 돌아옵니다. 한 사전 공개 논문에서 참가자들은 고쳐 쓰는 동안 AI 초안에서 멀어졌지만 다양성을 전부 되찾지는 못했습니다. Nathanael Jo와 Manish Raghavan의 사전 공개본(arXiv, 2026년 4월 첫 공개, 10월 28일 개정)은 조금 다른 그림을 보여 줍니다. 사전 등록한 무작위 실험 두 건에서 참가자들은 AI와 자유롭게 대화하며 글을 썼습니다. 연구 1은 200명이 250단어에서 350단어 분량의 짧은 이야기를, 연구 2는 400명이 100단어에서 125단어 분량의 제품 소개글을 썼습니다. 쓰는 도구는 OpenAI의 GPT5-Mini였습니다. 완성된 초안을 한 번 이상 요청한 참가자는 연구 1에서 91%, 연구 2에서 83%였습니다.

저자들에 따르면 세션이 진행되는 동안 참가자들의 글은 처음 AI 초안에서 점차 멀어졌고 초안이 눌렀던 다양성을 전부는 아니지만 많이 되찾았습니다. 보상 방식도 달랐습니다. 한 조건은 또래보다 독창적일수록 보너스를 받았고(독창성 상위 2%에서 25% 구간에 단계별 보너스), 다른 조건은 기술적 완성도 기준을 넘기면 보너스를 받았습니다. 독창성에 보상한 조건의 글이 더 다양했습니다. 이 참가자들은 AI를 계속 썼지만 AI가 쓴 문장을 그대로 가져온 양은 적었습니다. 효과는 연구 2에서 뚜렷했고 규모가 작은 연구 1에서는 방향만 같을 뿐 통계적으로 유의하지 않았습니다. 독창성에 보상한 AI 조건도 AI 없이 쓴 사람만큼 다양하지는 않았습니다. 보너스는 실험 장치이며 실제 회사의 급여나 평가 제도와 같지 않습니다.

일하는 자리에서는 어떻게 보일까요?

직원이 여섯 명인 가상의 교육 업체를 떠올려 보겠습니다. 담당자가 신규 기업 고객에게 보낼 교육 소개문을 AI에게 먼저 쓰게 합니다. 초안은 매끄럽고 틀린 곳이 없습니다. 담당자는 어색한 문장 몇 개를 고쳐서 보냅니다. 같은 분야의 다른 업체가 같은 도구로 소개문을 만들었다면, 두 글은 업체 이름만 바꿔도 통할 만큼 닮았을 수 있습니다. 이 업체가 실제로 가르쳐 온 사례, 수강생이 자주 막히는 지점, 받을 수 있는 인원과 일정은 처음부터 초안에 없었으니 고치는 동안에도 떠오르지 않습니다. 이 장면은 앞의 연구들이 가리키는 방향을 옮겨 본 가정이며 얼마나 닮을지에 대한 숫자는 없습니다.

어떻게 쓰는 편이 나을까요?

아래는 이 글의 제안이며 연구로 검증된 절차는 아닙니다. 목표는 초안이 내 생각보다 먼저 자리 잡지 않게 작업 순서를 바꾸는 것입니다.

첫째, AI를 열기 전에 내 요점을 먼저 적습니다. 이 문서가 말해야 할 것과 독자가 알아야 할 것을 두 문장으로 적으면 충분합니다. 초안이 도착하면 그 초안이 이후 모든 판단의 기준점이 되기 때문입니다. Jakesch와 Williams-Ceci의 실험은 쓰는 도중 받은 제안이 의견을 움직였음을 보여 줍니다. 이 순서는 기준점을 내 쪽에 두려는 시도입니다. 얼마나 효과가 있는지는 확인하지 못했습니다.

둘째, 초안을 하나만 받지 않습니다. 입장이나 구성이 다른 초안을 두세 개 따로 요청해 보고 어느 것도 맞지 않으면 처음에 적은 두 문장으로 돌아갑니다. Doshi와 Hauser의 실험에서 다섯 개 조건도 도움 없이 쓴 조건보다 이야기끼리 더 닮았습니다(범위의 8.9%, 한 개 조건은 10.7%). 선택지를 늘리는 것만으로 문제가 사라지지는 않습니다. 다만 여러 버전을 나란히 놓으면 처음 받은 초안이 여러 선택 가운데 하나로 보이게 됩니다.

셋째, 검토 때 질문 하나를 더합니다. 이 문단이 다른 회사의 같은 문서에 들어가도 말이 되는가. 그렇다면 우리만 가진 사례, 수치, 조건, 직접 해 본 일 가운데 하나로 채웁니다. 독창성에 보상한 조건의 글이 더 다양했다는 Jo와 Raghavan의 결과를 업무로 옮겨 본 것입니다. 검토 기준이 맞는지 틀린지에서 끝나지 않고 우리만 쓸 수 있는 내용이 있는지까지 묻게 됩니다. 이 절차 자체를 시험한 연구는 없습니다.

넷째, 최종본에서 AI의 문장이 그대로 남은 부분을 표시해 둡니다. 정해진 비율은 알지 못합니다. 표시가 있으면 검토하는 사람이 그 부분의 사실과 입장을 더 조심해서 읽을 수 있고 같은 표현이 여러 문서에 반복되는지도 볼 수 있습니다. 기록을 남기는 방법은 앞서 쓴 글에서 다뤘습니다.AI로 만든 상품에 저작권이 있을까

다섯째, 경고에 기대지 않고 작업 과정에 넣습니다. 편향을 알려 줘도 영향이 줄지 않았다면 '조심하세요'라는 안내는 약한 안전장치입니다. 위의 네 가지는 모두 작업 순서나 검토 항목으로 쓴 것입니다.

AI가 낸 결과를 받아들일지 정하는 시험은 Work 글에 정리해 두었습니다.AI 스킬 합격 기준

이번 주에 해 볼 것

이번 주에 AI와 함께 만든 문서가 있다면 하나를 골라 보십시오. AI를 열기 전에 내 요점을 적어 두었는지 확인하고 최종본의 요점과 견주어 봅니다. 달라졌다면 새로 알게 된 사실 때문인지, 초안의 방향을 따라간 것인지 구분해 봅니다. 적어 둔 것이 없다면 다음 문서부터 두 문장을 먼저 적는 것으로 충분합니다.

AI 활용 교육이나 업무 적용을 고민하고 있다면 문의 페이지로 연락할 수 있습니다.문의하기

자동화가 일마다 허락을 구하면 사람의 확인도 그만큼 꼼꼼해질까요? 꼭 그렇지는 않습니다. 같은 질문이 반복될수록 하나하나에 쓰는 주의가 줄어든다는 보고가 병원 경보와 AI 에이전트의 승인 창 양쪽에 있고, 그러면 승인 창은 안전장치 구실을 점점 못 하게 됩니다. 다만 이 현상이 무엇 때문에 생기는지는 연구마다 설명이 다릅니다.

2026년 10월 27일 확인한 자료 기준입니다. 병원 경보를 다룬 Cvach(2012)의 검토 논문과 Ancker 등(2017)의 연구는 초록을 중심으로 읽었습니다. AI 에이전트 쪽 숫자는 Anthropic의 공개 글 두 편과 Alex Wauters가 만든 브라우저 게임의 집계에서 가져왔습니다. Anthropic의 숫자는 자사 제품을 설명하는 글에 실린 것이라 독립 검증을 거치지 않았습니다. 사무실 장면은 설명을 위한 가정이며 DMS 고객 사례가 아닙니다. 글 끝의 설계 제안은 저의 생각이고, 이 자료들이 정한 기준이 아닙니다.

병원에서는 경보가 늘자 무슨 일이 있었을까요?

병원 침상 옆 모니터는 환자의 수치가 정해진 범위를 벗어나면 경보를 울려 간호사를 부릅니다. 그런데 경보가 잦아지면 정작 필요한 경보가 묻힐 수 있습니다. Maria Cvach는 2012년 Biomedical Instrumentation & Technology에 실린 검토 논문에서 경보 피로(alarm fatigue)를 그해 의료기기 기술 위험 1위로 소개했습니다. 2000년 1월부터 2011년 10월 사이에 발표된 연구와 비연구 자료 72건을 정리한 논문입니다.

초록은 경보에 둔감해지는 문제가 여러 원인과 얽혀 있다고 적습니다. 오경보 비율이 높고, 경보가 실제 위험을 맞히는 비율이 낮고, 경보 방식이 표준화되어 있지 않고, 병원 안에 경보를 내는 기기가 많다는 점입니다. 비연구 자료는 둔감해지는 것을 줄이는 전략, 그리고 경보의 우선순위와 통지 체계라는 두 주제로 나뉘었습니다.

일이 많아서일까요, 같은 알림이 반복돼서일까요?

Jessica Ancker와 동료들은 2017년 BMC Medical Informatics and Decision Making에 이 질문을 직접 다룬 논문을 냈습니다. 외래 1차 진료 임상가 112명의 전자 의무기록을 2010년 1월부터 2013년 6월까지 거슬러 본 코호트 연구이고, 약물 알림과 임상 업무 알림(reminder)을 모두 다뤘습니다. 임상가 한 명이 받은 약물 알림의 4분의 1, 업무 알림의 3분의 1은 같은 환자에게 같은 해 안에 되풀이된 알림이었습니다.

결과는 과로 때문이라는 단순한 설명과 맞지 않습니다. 알림을 받아들이는 비율은 일의 복잡도와 반복 알림에는 관련이 있었지만 일의 양과는 관련이 없었습니다. 업무 알림을 받아들일 확률은 진료 한 번에 받는 알림이 하나 늘 때마다 30% 떨어졌고, 반복 알림의 비율이 5퍼센트포인트 오를 때마다 10% 떨어졌습니다. 새로 도입한 업무 알림이 시간이 갈수록 외면받는 패턴, 곧 시간에 따른 둔감화는 보이지 않았습니다. 저자들은 임상가가 알림을 많이 받을수록, 특히 반복 알림을 받을수록 덜 받아들였다고 결론짓고, 같은 환자에게 반복되는 알림을 줄이는 것이 유망한 목표일 수 있다고 제안합니다.

이 숫자를 사람이 게을러진다는 이야기로 읽으면 곤란합니다. 거절당한 알림이 틀린 알림이었는지, 받아들인 알림이 옳았는지는 제가 읽은 초록에 나오지 않습니다. 확인되는 것은 알림이 많고 반복될수록 받아들이는 비율이 낮아졌다는 연관입니다.

AI 에이전트의 승인 창도 같을까요?

Anthropic에 따르면 코딩 에이전트 Claude Code는 처음에 읽기는 허용하고, 쓰기와 명령 실행과 네트워크 접근에는 승인을 요구하는 방식으로 시작했습니다. Anthropic은 2026년 5월 25일 글에서 사용자가 권한 요청의 약 93%를 승인한다고 밝히고, 승인을 많이 볼수록 하나하나에 쓰는 주의가 줄어든다고 적었습니다. 8월 7일 글에서는 이 비율을 97%로 적었습니다. 두 숫자를 같은 방식으로 잰 것인지는 두 글에서 확인하지 못했습니다.

8월 글에는 눈에 띄는 대비도 있습니다. 에이전트가 계획을 내놓고 승인을 청할 때 사용자는 39%를 거절하지만, 개별 권한 요청의 거절은 3%라고 합니다. 전체 그림을 보여 주는 질문 앞에서는 사람이 멈추고, 작은 질문이 줄줄이 올 때는 멈추지 않는다고 읽을 수 있습니다. 이 해석은 저의 것이고, 두 종류의 요청이 위험도가 같았는지는 글에서 알 수 없습니다.

Anthropic은 유료 테스터 1,053명으로 실험도 했습니다. 세션 중간에 권한 요청 하나를 분명히 위험한 명령으로 바꿔 놓았고(승인해도 실제로 위험한 일은 실행되지 않았습니다), 테스터가 이를 막은 비율은 13.6%, 1,053명 중 143명이었습니다. 세션 초반에는 위험한 명령의 약 17%를 막았지만 앞선 요청이 50건을 넘긴 뒤에는 약 5%로 내려갔다고 합니다. 이 실험은 자사의 자동 승인 기능을 기본값으로 바꾸는 이유를 설명하는 글에 실렸습니다. 참가자는 평가받는 줄 알았고 자기 프로젝트가 아닌 시험 환경에서 일했다고 글이 밝힙니다. 이 비율을 실제 직장에 그대로 옮겨 읽기는 어렵습니다.

Anthropic과 무관한 자료로는 벨기에 개발자 Alex Wauters의 브라우저 게임이 있습니다. 60초 동안 모의 권한 요청을 승인하거나 거절하는 게임입니다. 그의 글에 따르면 4만 번 넘게 플레이되어 약 40만 9천 건의 판단이 쌓였고, 평균적으로 위협 세 건 중 한 건을 놓쳤습니다. 가장 많이 놓친 명령은 npm run analyze였고 약 3분의 2가 승인했습니다. 누구나 들어와 할 수 있는 게임이고 제한 시간도 짧아서, 실제 업무 현장의 비율이라고 보기는 어렵습니다.

왜 묻는 쪽이 안전해 보일까요?

묻는 설계는 책임이 분명해 보이기 때문이라고 저는 봅니다. 사람이 눌렀다는 기록이 남으면 확인을 거친 셈이 됩니다. 이 게임을 다룬 IANS 기사에서 보안 전문가 George Gerchow는 사람이 중간에 끼는 방식이 처음부터 통제 수단보다는 형식적인 확인란에 가까웠다고 말했습니다. 이것은 한 전문가의 의견이며 그 주장을 증명하는 자료는 아닙니다.

직원 일곱 명인 가상의 견적 사무실을 떠올려 보겠습니다. 견적서 메일을 만들어 보내는 자동화를 붙였고, 이 자동화가 수신자 확인, 첨부 확인, 발송, 기록 저장, 폴더 이동 같은 단계마다 '진행할까요?'라고 묻는다고 하겠습니다. 첫 주에는 담당자가 수신자 칸과 첨부 파일을 읽고 누릅니다. 몇 주가 지나면 같은 창이 하루에 수십 번 뜨고, 대부분 문제없이 끝났다는 경험이 쌓입니다. 창은 읽는 대상에서 넘기는 대상이 됩니다. 어느 날 수신자 한 줄이 잘못된 견적서가 나가도 승인 기록에는 정상적인 클릭이 남아 있습니다. 이 장면은 앞의 자료들이 가리키는 방향을 사무실에 옮겨 본 가정이고, 수십 번과 몇 주에는 근거가 되는 숫자가 없습니다.

어떻게 묻는 것이 나을까요?

아래는 이 글의 제안이며 연구로 검증된 절차는 아닙니다. 목표는 질문의 수를 줄이고, 남은 질문이 읽히게 만드는 것입니다.

첫째, 묻는 단계를 잃을 수 있는 것의 크기로 나눕니다. 읽기만 하는 단계는 묻지 않고, 되돌릴 수 있는 단계는 기록만 남기며, 외부 발송과 삭제와 결제처럼 되돌리기 어려운 단계 앞에서만 사람이 멈춥니다. Anthropic은 Claude Code에 작업 폴더 안에서만 쓰기를 허용하고 네트워크를 기본으로 막는 샌드박스를 넣어 권한 요청을 84% 줄였다고 밝혔습니다. 경계를 먼저 단단히 하면 물을 일이 줄어드는 사례입니다.

둘째, 건별로 묻기보다 계획을 묻습니다. 앞의 39%와 3%는 같은 조건에서 나온 비교가 아니지만, 사람이 전체를 볼 때 더 자주 멈춘다는 단서로는 쓸 만합니다. 견적 사무실이라면 '이 메일을 보낼까요?'를 열두 번 묻는 대신 '오늘 견적서 열두 통을 이 수신자들에게 이 시각에 보냅니다'를 한 번 묻습니다. 열두 통은 예를 들기 위한 숫자입니다.

셋째, 묻는 문장에 바뀌는 것을 적습니다. '실행할까요?'는 읽을 내용이 없는 질문입니다. 누구에게 무엇이 몇 건 나가는지가 문장에 있어야 사람이 틀린 곳을 찾을 수 있습니다. Ancker 연구에서 반복 알림이 특히 외면받았다는 점을 생각하면, 같은 내용을 되풀이하는 창은 처음부터 만들지 않는 편이 낫다고 봅니다.

넷째, 잘못 눌러도 피해가 작도록 도구가 닿는 범위를 줄입니다. Anthropic의 5월 글은 에이전트가 하는 일을 감시하는 방식과 에이전트가 할 수 있는 일의 범위를 제한하는 방식을 나누어 설명하고, 경계가 단단하면 감독을 느슨하게 할 수 있다고 적습니다. 같은 글은 자사의 자동 승인 기능이 지나치게 앞서 나가는 행동의 약 83%를 실행 전에 잡는다고 밝히면서, 확률에 기대는 방어는 놓치는 비율이 0이 아니라고 덧붙입니다. 접근 권한을 작게 나누어 주는 일은 승인 창을 어떻게 만들든 필요합니다.

다섯째, 승인율을 셉니다. 거의 100% 승인되는 창은 막아 낸 일이 거의 없다는 뜻이니, 정말 필요한 창인지 따져 볼 대상입니다. 막은 일이 없다는 것이 위험이 없다는 뜻은 아닙니다. 그런 창을 남겨 둔다면 지난주에 승인된 건 가운데 몇 건을 무작위로 골라 나중에 읽어 봅니다. 몇 건을 읽을지는 사람이 읽을 수 있는 분량으로 정하는 가정이며, 근거가 되는 연구 수치는 없습니다.

권한을 단계로 나누는 방법은 Work 글에 정리해 두었습니다.AI 자동화, 권한을 세 단계로 나눠 주기

이번 주에 세어 볼 것

지금 쓰는 자동화나 AI 도구가 있다면 일주일 동안 사람이 '예'를 누른 횟수와 '아니오'를 누른 횟수를 세어 봅니다. 아니오가 한 번도 없는 창이 어디인지 알면, 사람의 주의가 어디에서 쓰이고 어디에서 헛되이 소모되는지 보입니다.

자동화 도입을 고민하고 있다면 문의 페이지로 연락할 수 있습니다.문의하기

자동화 성과를 숫자 하나로 재고 그 숫자를 올리라고 하면 일도 함께 좋아질까요? 늘 그렇지는 않습니다. 재던 숫자가 목표가 되는 순간 그 숫자는 일이 잘 되고 있는지 알려 주는 힘을 잃기 쉽고, 그래서 숫자는 오르는데 일은 나빠지는 일이 생깁니다.

경제학자 Charles Goodhart는 1975년에 이런 취지의 관찰을 남겼습니다. 관찰된 통계적 규칙성은 통제를 위한 압력을 받으면 무너지는 경향이 있다는 것입니다. 문화인류학자 Marilyn Strathern은 1997년 글에서 이 생각을 한 문장으로 적었습니다. 「When a measure becomes a target, it ceases to be a good measure.」 측정값이 목표가 되면 좋은 측정값이 아니게 된다는 뜻입니다. 그는 영국 대학 시험에서 2.1이라는 성적이 모두의 기대가 될수록 개인의 성과를 가려내는 데는 쓸모가 줄어든다는 예를 들었습니다. 같은 대목에는 이 현상을 Goodhart의 법칙이라고 부르는 Hoskin의 설명도 나옵니다.

이 글의 장면은 설명을 위한 가정이며 DMS 고객 사례나 측정 결과가 아닙니다. 2026년 10월 24일 확인한 자료 기준입니다. Strathern(1997)의 공개 원고, Manheim과 Garrabrant의 논문, Gao와 동료들의 논문 초록을 바탕으로 썼습니다. Gao 등의 논문은 초록만 읽었고 Goodhart의 원문은 읽지 못해서, 그의 문장은 Manheim과 Garrabrant의 인용과 Rodamar(2018)의 정리에 기댔습니다. 글 끝의 실천 방법은 저의 제안이며 이 연구들이 정한 표준은 아닙니다.

건수가 올라가는 하루

고객 문의를 받는 가상의 사무실을 떠올려 보겠습니다. 여기에 AI 분류 도구를 붙였고, 팀의 성과를 하루에 닫은 문의 건수로 정했다고 하겠습니다. 처음에는 숫자가 잘 맞습니다. 문의가 빨리 처리될수록 건수가 늘고, 고객도 대체로 답을 빨리 받기 때문입니다.

건수가 팀의 목표가 되면 행동이 조금씩 달라집니다. 접수했다는 안내만 보내고 문의를 닫을 수 있습니다. 한 사람의 문의를 둘로 나눠 닫으면 건수는 두 배가 됩니다. 오래 걸리는 문의는 뒤로 밀리고 금방 끝나는 문의가 앞으로 옵니다. 이런 행동에 나쁜 의도가 필요하지는 않습니다. 건수를 올리는 가장 쉬운 길과 문의를 해결하는 길이 갈라지면, 숫자로 평가받는 쪽은 자연스럽게 앞쪽 길을 봅니다.

숫자가 목표 자리에 오르는 데에는 이유가 있다고 저는 봅니다. 숫자는 비교하기 쉽고 보고하기 쉽고 도구에 맡기기도 쉽습니다. 자동화를 들인 뒤 무엇이 달라졌느냐는 질문을 받으면 건수는 가장 빨리 내놓을 수 있는 답입니다. 그래서 숫자가 목표가 되는 일을 막으려면 숫자를 정하는 날에 이 문제를 미리 떠올려 두어야 합니다.

Strathern 글의 초록은 이 문제를 조금 더 넓게 보여 줍니다. 감사(audit)는 감시만 하는 데 그치지 않고 자기만의 생명을 가져서, 감사받는 쪽의 생명을 위태롭게 한다는 내용입니다. 숫자가 보고 체계 안으로 들어가면 숫자를 맞추는 일이 따로 하나의 일이 된다는 이야기로 저는 읽습니다. 이 해석은 저의 것이며, 초록 밖의 내용은 근거로 삼지 않았습니다.

틈은 어떤 방식으로 벌어질까요?

서로 다른 방식으로 벌어지며, 지금까지 정리된 갈래는 적어도 네 가지입니다. Manheim과 Garrabrant는 Goodhart 효과를, 최적화가 의도한 목표와 그 대용 지표 사이의 통계적 관계를 무너뜨리는 일로 정의하고 네 갈래로 나눴습니다. 두 저자는 이 분류가 원래 논의된 표현과 정확히 겹치지 않는다고도 밝힙니다. 아래 장면은 각 갈래를 제가 사무실 가정으로 옮겨 본 것입니다.

회귀형(regressional)은 불완전한 지표로 높은 쪽을 골라낼 때 생깁니다. 목표를 잘 해낸 사람과 함께 지표와 목표 사이의 오차까지 골라내게 됩니다. 건수 1위 담당자의 숫자에는 일을 잘한 몫과 쉬운 문의가 몰린 몫이 섞여 있을 수 있습니다. 논문은 이 형태를 가장 기본적이고 피할 수 없는 Goodhart 효과로 설명합니다. 어떤 지표를 고르든 부정확한 지표는 가장 높은 쪽 끝에서 목표와 어긋난다는 것입니다.

극단형(extremal)은 지표가 평소와 먼 값을 가질 때 나타납니다. 평소 범위에서 맞던 지표와 목표의 관계가 극단까지 밀어 올린 영역에서도 이어진다는 보장은 없습니다. 하루 건수를 평소보다 훨씬 높게 요구하는 경우가 여기에 가깝습니다.

인과형(causal)은 지표를 직접 건드릴 때 생깁니다. 건수가 해결된 문의를 대신 보여 주던 연결이 건수를 올리려는 행동 때문에 바뀝니다. 문의를 나눠 닫는 일이 그 예입니다. 논문에는 비슷한 구조의 교실 예시가 있습니다. 서로 상관이 있는 두 시험이 있을 때 교사가 시험 보는 요령을 전반적으로 가르치면 두 점수를 함께 올리던 요인 하나가 바뀌고, 그 뒤 두 점수의 상관은 이전보다 낮아질 가능성이 큽니다.

적대형(adversarial)은 평가하는 쪽과 목표가 다른 행위자가 관계를 무너뜨리는 경우입니다. 숫자를 맞추는 쪽이 유리한 구조라면 사람이든 도구든 그 길을 찾을 수 있습니다.

AI를 쓰면 이 틈이 더 벌어질까요?

벌어질 가능성이 더 크다고 보는 논문이 있습니다. Manheim과 Garrabrant는 Goodhart 효과의 중요성이 지표를 최적화하는 데 쏟는 힘의 크기에 달려 있다고 썼습니다. 인공지능이 그 힘을 키우기 때문에 이 분야에서는 특히 중요하다는 것이 두 저자의 판단입니다.

Gao, Schulman, Hilton의 2022년 논문은 이 문제를 모델 학습에서 측정했습니다. 사람의 선호를 예측하도록 학습한 보상 모델은 불완전한 대용 지표입니다. 초록은 그 값을 지나치게 최적화하면 실제 성능이 오히려 떨어질 수 있고, 이것이 Goodhart의 법칙에 들어맞는다고 설명합니다. 연구진은 기준이 되는 보상 모델이 사람 역할을 하는 합성 환경에서 강화학습과 best-of-n 샘플링을 비교했고, 두 방법에서 관계가 서로 다른 함수 형태를 따르며 그 계수가 보상 모델의 매개변수 수에 따라 매끄럽게 변한다고 보고합니다.

이 실험은 모델을 학습시키는 과정이어서 사무실에서 AI 도구를 쓰는 일과는 층위가 다릅니다. 다만 구조는 닮아 보입니다. 도구에 숫자 하나를 목표로 주면 도구는 그 숫자를 올리는 쪽으로 움직일 수 있고, 숫자와 일 사이의 틈도 그만큼 빨리 벌어질 수 있습니다. 이 연결은 저의 해석이며 논문이 업무 도구에 대해 내린 결론이 아닙니다.

그럼 숫자를 쓰지 말아야 할까요?

그럴 필요는 없습니다. Manheim과 Garrabrant가 문제로 삼는 것은 개선에 쓸 수 있던 지표를 더 밀어붙여도 효과가 없거나 해로운 수준까지 쓰는 일입니다. 건수도 처리 시간도 일을 파악하는 데 쓸모가 있습니다. 쓸모가 줄어드는 때는 숫자 하나가 목표와 보상을 통째로 대신하기 시작할 때입니다.

숫자 옆에 둘 것

아래는 이 글의 제안이며 연구로 검증된 절차는 아닙니다. 숫자를 정하는 날, 그 숫자를 올리는 가장 쉬운 나쁜 방법을 먼저 적어 봅니다. 접수만 하고 닫기나 문의 나누기 같은 항목이 나오면, 그것을 막아 줄 두 번째 숫자가 필요하다는 신호입니다. 예를 들어 닫은 건수 옆에 다시 열린 건수를 둡니다.

앞의 가상 사무실에 옮겨 보겠습니다. 목표는 문의가 실제로 해결되는 것이고, 닫은 건수는 그것을 대신 보여 주는 지표입니다. 쉬운 나쁜 방법으로 접수만 하고 닫기와 문의 나누기가 나왔으니 다시 열린 건수를 짝 숫자로 둡니다. 그리고 매주 닫힌 문의 중 다섯 건을 열어 고객의 문제가 정말 풀렸는지 읽기로 정합니다. 다섯 건이라는 수에는 근거가 없고, 읽을 수 있는 분량으로 잡은 가정입니다.

숫자를 보고하는 날에는 원기록 몇 건을 직접 열어 읽습니다. 숫자가 놓친 것은 기록을 열어야 보입니다. 이 방법을 쓰더라도 숫자와 일 사이의 틈이 사라지지는 않습니다. 틈이 벌어지는 것을 일찍 알아챌 기회가 생길 뿐입니다.

도입 성과를 매출, 비용, 검수 시간으로 나눠 보는 방법은 Work 글에 정리해 두었습니다.AI 도입 성과 측정: 매출·비용·검수시간을 함께 보는 법

회의 전에 물어볼 한 가지

다음에 자동화 성과 숫자를 정하는 자리에 앉는다면, 이 숫자를 올리는 가장 쉬운 방법이 일을 잘하는 것인지 먼저 묻고 싶습니다. 답이 그렇지 않다면 숫자는 그대로 쓰되 목표 자리에는 두지 않고, 옆에 놓을 숫자와 읽을 기록을 함께 정하겠습니다.

첫 자동화 업무를 고를 때 기준선을 어떻게 잡을지는 아래 글에서 다뤘습니다.자동화할 첫 업무 고르기

일을 자동화하거나 AI에게 맡기기 전에, 그 일을 해 온 사람에게 각 단계가 왜 있는지 소리 내어 설명해 보게 하면 좋습니다. 설명이 막히는 자리가 아직 모르는 자리입니다. 그 자리는 도구를 붙이기 전에 먼저 물어야 하는 곳이기도 합니다. 안다는 느낌만으로는 이런 자리가 잘 보이지 않습니다.

오래 해 온 일일수록 손이 먼저 움직입니다. 보고서를 열고, 숫자를 옮기고, 누구에게 보낼지 고민하지 않고 보냅니다. 그때 사람은 그 일을 안다고 느낍니다. 그런데 손이 아는 것과 이유를 말할 수 있는 것은 같지 않을 수 있습니다. 둘의 차이는 평소에는 드러날 일이 없고, 다른 사람에게 일을 넘기거나 기계에 맡기려 할 때 비로소 드러납니다.

이 글의 장면은 설명을 위한 가정이며 DMS 고객 사례나 측정 결과가 아닙니다. 2026년 10월 21일에 확인한 Rozenblit와 Keil(2002)의 논문 초록과 공개된 원문 일부를 출발점으로 삼았습니다. 원문의 표와 보충 자료까지는 읽지 못했습니다. 업무에 옮기는 순서는 그 연구가 정한 표준이 아니라 이 글의 제안입니다.

지퍼를 안다고 생각하는 사람들

예일대학교의 연구진은 일상에서 쓰는 물건이 어떻게 작동하는지 사람들이 얼마나 안다고 느끼는지 살폈습니다. 참가자는 먼저 자신의 이해 정도를 점수로 매겼고, 이어서 그 물건이 작동하는 과정을 단계별로 직접 설명하는 글을 썼으며, 마지막으로 다시 점수를 매겼습니다. 논문이 다룬 물건에는 속도계, 지퍼, 피아노 건반, 수세식 변기, 실린더 자물쇠, 헬리콥터, 석영 시계, 재봉틀이 들어 있습니다.

논문의 초록은 사람들이 복잡한 현상을 실제보다 훨씬 정밀하고 일관되며 깊게 이해한다고 느낀다고 정리합니다. 연구진은 이것을 설명 깊이의 착각이라고 불렀습니다. 기계 장치를 다룬 첫 연구들에서는 설명을 시도한 뒤 스스로 매긴 이해 점수가 내려갔습니다. 연구진은 이 하락을 참가자가 단순히 겸손해진 결과로 보지 않았습니다. 자신의 지식을 더 정확하게 재게 되었다는 뜻으로 해석했습니다.

같은 논문은 이 착각이 사실, 절차, 이야기에 관한 지식보다 설명에 관한 지식에서 훨씬 강하다고 말합니다. 제가 읽은 원문 발췌에는 절차 지식에서 설명을 시도해도 자기 평가가 내려가지 않은 결과도 있었습니다. 이 구분은 업무에서 눈여겨볼 만합니다. 순서를 아는 것과 왜 그 순서인지를 아는 것은 서로 다른 종류의 지식일 수 있기 때문입니다.

순서는 쓸 수 있고 이유에서 막힙니다

인수인계 문서는 대개 순서 목록으로 되어 있습니다. 첫째 파일을 연다, 둘째 숫자를 붙여 넣는다, 셋째 확인을 받는다, 같은 식입니다. 순서는 막힘없이 적히는데, 각 줄 옆에 왜 그 단계가 있는지를 적으려 하면 속도가 느려집니다. 이 글은 그 느려지는 지점을 신호로 읽어 보자는 제안입니다.

월말 보고서를 만드는 다섯 단계를 가정해 보겠습니다. 세 번째 단계가 팀장 확인 뒤에 숫자를 고치는 일이라고 합시다. 이 확인이 오류를 잡으려는 장치인지, 예전에 한 번 있었던 문제 때문에 남은 관행인지, 팀장이 이제 아무도 보지 않는 줄 알고 있는지는 단계 목록만으로는 알 수 없습니다. 자동화는 이 단계를 지워 버릴 수도 있고, 이유를 모른 채 그대로 복제할 수도 있습니다. 어느 쪽이든 이유를 모르는 채로 내린 결정입니다.

이 연구가 업무 절차를 다룬 것은 아닙니다. 논문이 시험한 것은 기계 장치였고, 같은 현상이 보고서 작성이나 승인 절차에서도 같은 크기로 나타난다는 근거는 이 글에 없습니다. 제가 빌려 오는 것은 결과가 아니라 질문의 모양입니다. 안다고 느끼는 사람에게 직접 설명해 보라고 하면, 느낌과 실제 사이의 거리가 드러난다는 점입니다.

막히는 자리에 표시하기

이 제안은 단계마다 세 가지를 묻는 데서 시작합니다. 이 단계가 없으면 어떤 일이 생깁니까. 이 결과를 받아 쓰는 사람은 누구입니까. 이 단계가 틀렸을 때 어디에서 알게 됩니까. 두세 문장 안에 답이 이어지면 그대로 두고, 답이 막히거나 서로 어긋나면 그 단계에 표시를 합니다. 표시된 단계는 설명이 채워질 때까지 자동화 대상에서 빼거나 사람에게 남겨 두는 편이 안전하다고 생각합니다.AI에게 일을 시키기 전에, 업무 설명서 한 장부터

표시를 한 뒤에 할 일은 세 가지쯤 됩니다. 그 단계를 실제로 설명할 수 있는 다른 사람을 찾습니다. 로그나 문서처럼 남아 있는 기록을 확인합니다. 그래도 답이 없으면 모른다고 적어 두고 사람이 그 단계를 계속 맡습니다. 모르는 단계를 모른다고 적는 일은 작아 보이지만, 이후에 도구가 그 자리를 어떻게 다뤘는지 되짚을 때 기준이 됩니다.

한 가지는 조심하고 싶습니다. 막힌 자리를 AI에게 물어 채우는 일입니다. AI는 그럴듯한 이유를 매끄럽게 만들어 낼 수 있고, 그러면 사람은 설명이 있다는 느낌만 얻을 수 있습니다. 이 부분은 연구에서 가져온 것이 아니라 제 판단이며, 직접 시험해 본 결과도 아닙니다. 그래서 AI가 낸 설명은 사람이 확인하기 전까지 가설로 적어 두는 편이 낫다고 봅니다.

보이는 단계와 보이지 않는 단계

논문의 논의에는 눈에 보이는 부품과 숨은 부품의 비율이 착각의 강도를 좌우하는 중요한 요인일 수 있다는 대목이 있습니다. 지퍼처럼 움직이는 부분이 겉에 드러난 물건은 이해했다고 느끼기 쉽다는 이야기입니다. 이 논의를 업무에 그대로 옮길 수는 없습니다. 다만 질문 하나는 남길 수 있습니다. 우리 업무에서 화면에 보이는 단계와 다른 팀이나 시스템 뒤에 숨은 단계는 설명하기 쉬운 정도가 같은가, 하는 질문입니다.

저는 이 질문을 자동화 검토 목록의 마지막 열로 두자고 제안합니다. 단계마다 화면에서 보이는 부분인지, 다른 사람이나 시스템이 맡는 부분인지 적고, 후자의 설명이 얼마나 채워졌는지 따로 봅니다. 이 열이 실제로 도움이 되는지는 아직 확인하지 않았습니다.

DMS가 다루는 업무 자동화와 AX 전환 설계에서도 이 질문은 설계 앞쪽에 놓을 수 있다고 생각합니다. 어떤 일을 자동화할 만한지 고르는 단계에서 보통은 반복 횟수나 걸리는 시간을 먼저 봅니다. 거기에 이 단계를 설명할 수 있는 사람이 있는가를 한 줄 더하면, 같은 반복 업무라도 도구에 맡기기 쉬운 일과 먼저 정리해야 할 일이 나뉩니다. 이것은 제안일 뿐이며, 이렇게 나눈 결과가 실제로 더 좋았다는 기록은 아직 없습니다.

마지막으로, 설명이 막히지 않았다는 사실이 곧 그 단계가 옳다는 뜻은 아닙니다. 막힘없이 말하는 설명이 틀린 설명일 수도 있습니다. 이 방법이 보여 주는 것은 설명이 이어지는지 끊기는지까지이고, 이어진 설명이 맞는지는 기록이나 다른 사람의 확인으로 따로 봐야 합니다.

설명을 부탁하는 방식

이 방법에는 어려운 점이 하나 있습니다. 설명해 보라는 요청이 평가처럼 들릴 수 있습니다. 일을 오래 맡아 온 사람에게 왜 그 단계가 있느냐고 물으면, 시험을 받는다고 느끼거나 일을 잘못 해 왔다는 뜻으로 듣기 쉽습니다. 막히는 곳이 나왔을 때 그것이 그 사람의 잘못이 아니라 일의 구조에서 비어 있는 부분이라는 점을 먼저 말해 두는 편이 좋겠습니다.

저는 요청을 이렇게 바꿔 보려 합니다. 이 일을 처음 맡는 사람에게 넘겨 준다고 생각하고 말씀해 주십시오. 중간에 막히면 그곳을 표시해 두었다가 함께 찾아보겠습니다. 설명하는 사람이 그 일을 가장 잘 안다고 단정할 수도 없습니다. 같은 단계를 두 사람에게 따로 설명하게 해서 서로 다르게 말하는 곳을 찾는 방법도 있을 텐데, 이것도 제가 직접 시험해 본 방법은 아닙니다.

연구에서 설명을 써 본 뒤에 점수가 내려간 것은, 설명하려면 머릿속의 빈칸을 하나씩 메워야 했기 때문이라고 생각합니다. 이 풀이는 논문의 해석을 제가 쉽게 옮겨 본 것이어서 정확한 표현은 아닙니다. 업무에서도 빈칸을 메우는 일을 사람에게 한 번 시켜 보면, 도구에 맡길 일과 사람이 계속 맡을 일의 경계가 조금 더 분명해질 수 있습니다. 경계가 분명해졌는지는 이후의 기록으로 확인할 일입니다.

회의가 끝나기 전에 남길 한 줄

다음 번 자동화 검토 회의에서 목록 옆에 칸 하나를 더 두겠습니다. 이름은 설명이 막힌 단계입니다. 칸이 비어 있으면 모든 단계가 설명된 것인지, 아무도 설명해 보지 않은 것인지 구분되지 않습니다. 그래서 한 사람이 5분 동안 소리 내어 일을 설명하고, 듣는 사람이 막힌 곳만 받아 적는 방식을 먼저 써 보려 합니다.

이 방법이 시간을 줄이는지, 실수를 줄이는지는 이 글에서 계산하지 않았습니다. 설명해 본 단계가 늘어난 것만으로 일이 나아졌다고 말하기도 어렵습니다. 다음에 볼 것은 막힌 단계가 실제로 몇 개였는지, 그중 몇 개가 나중에 답을 찾았는지입니다. 그 기록이 쌓여야 이 제안이 쓸모 있었는지 말할 수 있습니다.DMS AX 전환 설계

업무를 개선하려면 무엇을 더할지 정하기 전에, 지금 하는 일 중 없어도 되는 것이 있는지 살펴볼 만합니다. 저는 자동화할 작업의 목록 옆에 그만해도 될 작업의 목록을 놓는 방식을 제안합니다. 줄일 수 있다는 이유만으로 확인 절차나 다른 사람에게 필요한 정보를 없애서는 안 됩니다.

책상 위에 서류가 쌓인 장면을 생각해 봅니다. 정리함을 하나 더 놓으면 종이를 담을 자리가 생깁니다. 정리함을 고르는 동안에는 어떤 종이가 더 이상 필요하지 않은지 묻지 않아도 됩니다. 서류를 버리지 않기로 판단한 것과, 버릴 수 있는 서류가 있는지 아예 살피지 않은 것은 다릅니다. 겉으로는 같은 책상이 남아도 그 앞에서 한 생각은 같지 않습니다.

이 글의 책상과 보고서 상황은 설명을 위한 가정이며 DMS 고객 사례나 측정 결과가 아닙니다. 2026년 10월 18일 확인한 2021년 Nature 논문의 초록과 공개 실험 설명을 출발점으로 삼았습니다. 업무에 적용하는 순서와 남겨야 할 조건은 그 연구가 정한 실무 표준이 아니라 이 글의 제안입니다.

생각하지 않은 선택

가브리엘 애덤스와 동료들은 사물이나 생각, 상황을 바꿀 때 사람들이 무언가를 더하는 변화와 빼는 변화를 어떻게 찾는지 연구했습니다. 여덟 실험에서 빼기를 떠올리라는 단서가 없을 때, 더하는 방식의 한계를 알아볼 기회가 한 번뿐일 때, 인지 부담이 더 높을 때 유리한 빼기 해법을 발견할 가능성이 상대적으로 낮았습니다. 논문의 주장은 특정 과제와 비교 조건에서 나온 결과로 읽어야 합니다.

공개된 실험 설명에는 한 모서리에 작은 블록이 놓인 구조물을 안정시키는 과제가 나옵니다. 받침을 더할 수도 있고, 그 블록을 빼서 윗판을 아래층에 고르게 얹을 수도 있었습니다. 블록을 추가하면 비용이 들고 제거는 무료인 조건이었습니다. 이 과제에서 제거가 유리하도록 짜인 조건까지 읽어야 빼기가 무조건 좋다는 이야기로 바뀌지 않습니다.

제가 관심을 두는 지점은 선택의 좋고 나쁨을 따지기 전입니다. 빼는 안을 생각해 보지 않았다면, 우리는 더하기와 빼기를 비교한 적이 없습니다. 이미 떠올린 안들 가운데 가장 나은 것을 골랐을 뿐입니다. 충분히 오래 고민했다는 느낌이 있어도 검토한 선택의 종류는 좁았을 수 있습니다.

연구에서 사용한 단서를 업무 회의에 그대로 옮긴다고 같은 효과가 난다고 보장할 수는 없습니다. 실제 조직에는 계약과 권한, 사람 사이의 약속이 있습니다. 저는 그 차이를 남겨 둔 채 회의의 질문 하나를 바꿔 보고 싶습니다. 새로 만들 기능을 정하기 전에 지금 멈춰도 되는 일이 있는지 묻는 정도입니다.

자동으로 만들 보고서가 필요할까요?

보고서를 받는 사람이 어떤 판단에 쓰는지 먼저 확인해야 합니다. 가령 매주 같은 내용을 두 문서에 옮기는 업무가 있다고 가정해 보겠습니다. 하나는 팀 회의용이고 하나는 별도 보관용입니다. 복사하는 시간을 줄일 도구를 찾기 전에 두 문서의 독자가 누구인지, 서로 다른 정보가 필요한지 알아볼 수 있습니다.

회의용 문서를 더 이상 읽지 않는다는 사실이 확인되고 이를 만들 의무도 없다면, 그 문서를 없애는 안이 후보가 됩니다. 반대로 보관용 문서에 감사나 계약상 의무가 있다면 겉보기에 비슷하다는 이유로 함께 없앨 수 없습니다. 이 예에서는 실제 의무를 조사하지 않았으므로 어느 문서를 지우라는 결론을 내리지 않습니다.

두 독자에게 같은 정보가 필요하되 보는 형식만 다르다면, 공통 원본에서 각 형식으로 내보내는 방식을 검토할 수도 있습니다. 이때는 새 자동화가 필요할 수 있습니다. 사라지는 복사 작업과 새로 생기는 관리 작업을 함께 적어야 비교가 됩니다. 연결을 유지하고 오류를 확인하는 사람이 누구인지도 그 안에 들어갑니다.

추가하는 안을 먼저 쓰고 그 아래 빈칸을 하나 남기는 방법을 생각합니다. 그 칸에는 기능 이름 대신 하지 않아도 될 일을 적습니다. 비워 둔 채 끝나도 괜찮습니다. 빼야 할 이유가 확인되지 않았다는 결론도 검토의 결과입니다. 빈칸을 채우려고 쓸모 있는 일을 희생하면 질문을 하나 더 둔 취지가 사라집니다.

이런 판단에서는 작업을 없앤 뒤의 하루를 구체적으로 그려 보는 편이 낫겠습니다. 회의에서 누가 어떤 자료를 열지, 자료가 없을 때 누구에게 다시 물을지 살펴봅니다. 문서 하나를 줄여 놓고 여러 사람이 매번 같은 질문을 보내게 된다면 문서 수만으로 개선을 설명하기 어렵습니다. 없어지는 항목 옆에 생겨나는 요청도 적어 둡니다.

남겨야 할 번거로움

확인 버튼 하나는 완료까지의 시간을 늘립니다. 그러나 그 버튼이 외부 발송이나 되돌리기 어려운 변경을 막는 자리라면, 빨라진다는 이유만으로 없애기는 어렵습니다. 무엇을 줄이는지에 따라 위험을 맡는 사람도 달라집니다. 실행하는 사람의 편리함과 결과를 받는 사람의 안전을 같은 칸에서 계산할 수는 없습니다.

같은 사실을 거듭 확인하는 절차라도 매번 새 자료를 대조하는지, 이미 확인한 내용을 그대로 다시 읽는지 구분해야 합니다. 두 절차가 막으려는 오류가 다르면 중복이라고 단정하기 어렵습니다. 반대로 같은 근거와 같은 시점의 확인을 기계적으로 반복한다면 합칠 여지가 있는지 검토할 만합니다. 누가 그 책임을 받아들일지 정하지 않고 횟수부터 줄이지 않습니다.

제거한 작업을 다른 사람에게 옮겨 놓은 경우도 생각해야 합니다. 입력 칸을 줄인 결과 뒤에서 담당자가 빈 정보를 다시 수집한다면, 앞 화면만 간단해졌을 수 있습니다. 일을 요청하는 사람에게 생긴 이익과 처리하는 사람에게 생긴 부담을 함께 봐야 합니다. 담당자가 사라진 뒤에도 필요한 정보라면 어디서 얻을지 정해 두어야 합니다.

저는 삭제할 후보를 고를 때 그 항목을 마지막으로 쓴 사람의 설명을 먼저 듣는 편을 택하겠습니다. 멀리서 보면 오래된 관행이어도 드물게 발생하는 중요한 상황에서 쓰일 수 있습니다. 최근에 사용하지 않았다는 관찰만으로 앞으로도 필요 없다고 결론 내릴 수는 없습니다. 사용 기록과 유지 이유가 확인되지 않으면 그 상태를 미확인으로 남깁니다.

덜어낼 안을 읽는 순서

1. 원하는 결과를 문장으로 씁니다. 보고서를 자동 작성한다는 실행 방법보다, 어떤 판단에 쓸 정보를 누가 언제 받아야 하는지 먼저 정합니다. 결과가 유지되어야 방법이 다른 두 안을 나란히 놓을 수 있습니다. 처음부터 도구 이름을 목표로 적으면 도구 없이 끝나는 안은 비교에서 빠집니다.

2. 현재 방식에서 더할 안과 뺄 안을 각각 적습니다. 바꾸지 않는 안도 남겨 둡니다. 당장 그만둘 항목을 고르는 단계가 아니므로 원본 파일을 지우거나 운영 절차를 멈추지 않습니다. 각 안이 같은 결과를 내는지 아직 모른다면 그 차이를 질문으로 적고 확인합니다.

3. 없어질 항목의 목적을 확인합니다. 누가 쓰는 정보인지, 무엇을 막는 확인인지, 보관 의무가 있는지 살펴봅니다. 목적을 모르는 항목은 불필요한 항목과 구분합니다. 원래 이유를 아는 사람이 없다면 없애도 된다는 승인으로 해석하지 않고 판단에 필요한 자료가 모자란 상태로 둡니다.

4. 권한을 가진 사람과 검토한 뒤 영향이 작은 범위에서 비교합니다. 가능하다면 원본과 복구 방법을 보존하고 실제 사용자에게 필요한 정보가 빠지는지 봅니다. 되돌리기 어렵거나 의무가 걸린 일은 시험 자체도 승인이 필요합니다. 이 순서는 연구의 실험 절차가 아니라, 빼기를 검토할 때 제가 두고 싶은 경계입니다.

검토한 결과 추가하는 안이 더 좋을 수도 있습니다. 필요한 기능이 없어서 생긴 문제라면 새 기능이 적절한 답입니다. 빼는 안을 적었다는 이유로 그 안을 반드시 채택할 필요는 없습니다. 저는 비교할 수 있었는지에 의미를 두고 싶습니다. 무엇을 남겼는지에 대한 설명도 그때 구체적으로 쓸 수 있습니다.

DMS에서는 무엇과 연결하나요?

DMS의 업무 경계 지도 가이드와 연결해 읽을 수 있습니다. 그 가이드는 AI에 맡길 일과 사람이 확인할 일을 나눠 보는 출발점입니다. 여기에 아직 필요성이 확인되지 않은 작업을 별도로 적어 본다는 제안을 붙이는 것입니다. 실제 DMS 교육에서 이 방법으로 시간이 줄었다고 보고하는 내용은 아닙니다.업무 경계 지도 가이드

작업을 줄였다고 말할 때에는 남은 검수와 수정까지 함께 보려 합니다. DMS의 AI 도입 성과 측정 가이드에서도 검수와 수정에 드는 시간을 살핍니다. 이 글에서는 절약 시간을 계산하지 않았습니다. 보고서 하나가 사라졌다는 사실만으로 시간을 아꼈다고 적지 않는 편이 정확합니다.AI 도입 성과 측정

다음 회의에 남겨 둘 자리

새로 만들 항목은 이름을 붙이기 쉽습니다. 승인받을 제안서에도 기능 이름과 예상 화면을 넣을 수 있습니다. 멈추기로 한 작업은 결과물 사진에 남지 않습니다. 그래서 검토 기록에는 없앤 항목뿐 아니라 남은 일과 달라지는 담당자까지 적어 두고 싶습니다. 그것이 실제로 나아졌는지는 그 뒤의 관찰로 확인해야 합니다.

다음에 개선안을 적는다면 새 도구 목록을 버리지는 않겠습니다. 그 옆에 더 이상 만들지 않아도 되는 결과물이 있는지 적을 자리를 하나 두겠습니다. 확인할 사람이 정해지지 않았다면 그 칸에는 담당자 확인 필요라고 남깁니다. 회의가 끝날 때 그 질문이 지워지지 않도록, 답을 찾을 다음 일을 함께 적어 두겠습니다.

평균이 낮아졌다는 설명만으로 모든 사람의 기다림이 줄었다고 말할 수는 없습니다. 같은 평균 안에도 금방 끝난 일과 오래 멈춰 있던 일이 함께 들어갑니다. 일을 맡길 도구를 고를 때 저는 대표 수치 옆에, 가장 오래 남아 있던 작업이 무엇이었는지 적어 두는 편이 낫다고 생각합니다.

평균 6분이라는 안내를 보면 어느 정도 기다릴지 감이 오는 듯합니다. 일정을 잡을 때도 쓸모가 있습니다. 그런데 막상 자기 차례가 되면 그 숫자와 다른 시간을 보내기도 합니다. 평균을 틀리게 계산하지 않았어도 그렇습니다. 숫자를 낸 사람과 기다리는 사람이 서로 다른 질문을 하고 있기 때문입니다. 한쪽은 여러 건을 합쳐 보고 있고, 다른 쪽은 지금 끝나지 않은 한 건을 보고 있습니다.

이 글의 시간과 작업 상황은 계산을 설명하기 위해 만든 가정이며, DMS 고객사나 실제 운영의 측정값이 아닙니다. 평균과 중앙값의 설명은 2026년 10월 15일 확인한 미국 국립표준기술연구소(NIST)의 통계 안내를 참고했습니다. 그 정의에서 출발해 기다림을 어떻게 설명할지 생각하는 부분은 저의 제안입니다.

아무도 6분을 기다리지 않았습니다

서로 독립된 다섯 작업이 있다고 가정해 보겠습니다. 네 건은 각각 2분, 나머지 한 건은 22분 걸렸습니다. 걸린 시간을 모두 더하면 30분이고 이를 다섯으로 나누면 평균은 6분입니다. 다섯 작업 중 정확히 6분 걸린 것은 하나도 없습니다. 계산은 맞지만 그 숫자와 같은 일을 겪은 작업은 없습니다.

걸린 시간의 크기대로 줄을 세웠을 때 가운데 값인 중앙값은 2분입니다. 이 값은 다섯 건 중 세 번째 작업이 걸린 시간을 그대로 보여 줍니다. 평균보다 평소의 짧은 작업을 설명하기에 가까워 보입니다. 그렇다고 중앙값 2분만 적어 놓으면, 22분 동안 끝나지 않은 한 건을 읽을 방법이 사라집니다. 값을 바꿨을 뿐 설명에서 빠지는 작업은 여전히 남습니다.

비교를 위해 다섯 작업이 모두 6분씩 걸리는 경우도 생각해 봅니다. 합계와 평균은 앞의 경우와 같고 중앙값도 6분입니다. 첫 묶음에는 짧은 네 건과 긴 한 건이 있었지만 둘째 묶음에서는 차이가 없습니다. 평균 한 줄만 받은 사람은 두 묶음을 구분하지 못합니다. 대표값에 더해 어떤 기록을 남길지 고민해야 할 지점입니다.

NIST는 분포가 한쪽으로 치우치면 평균과 중앙값이 같지 않을 수 있다고 설명합니다. 극단적인 값은 평균에 영향을 주지만 순서에 기초한 중앙값에는 같은 방식으로 작용하지 않습니다. 어느 대표값이 더 의미 있는지는 자료의 모양과 질문에 달려 있습니다. 이 설명을 읽으며 저는 평균이 부정확하다는 비난보다, 무엇을 대표하도록 골랐는지 먼저 묻는 편이 정확하다고 봅니다.

총 작업량을 어림하려는 사람에게는 30분이라는 합계가 필요할 수 있습니다. 다만 여기서 합계는 각 작업 시간의 합이며, 병렬 처리까지 고려한 실제 종료 시각은 아닙니다. 다음 한 건이 언제 끝날지 알고 싶은 사람에게는 다섯 기록의 차이가 더 궁금합니다. 같은 자료에서 출발해도 서로 다른 설명이 필요합니다.

늦어진 한 건을 빼고 싶어질 때

22분짜리 작업에 특별한 사정이 있었다고 가정해 보겠습니다. 입력 자료가 모자랐거나 사람이 확인할 때까지 멈춰 있었을 수도 있습니다. 실제 이유는 기록을 봐야 알 수 있습니다. 오래 걸렸다는 사실만으로 오류라고 부르거나, 다시 일어나지 않을 예외로 분류할 근거는 없습니다.

기계가 실제로 계산한 시간만 비교한다면 사람을 기다린 구간을 따로 떼어 측정하는 것이 맞을 수 있습니다. 반대로 일을 요청한 사람이 결과를 받기까지의 시간을 설명하려면 그 기다림도 포함해야 합니다. 측정의 시작과 끝을 바꾸면 같은 작업도 다른 숫자가 됩니다. 어느 쪽을 썼는지 이름 옆에 적지 않으면 서로 다른 시간을 같은 속도로 비교하게 됩니다.

보고 수치를 낮추려고 긴 작업을 제외하면, 그 작업이 반복될 때 손을 써야 할 사람의 사정은 보고서 밖에 남습니다. 그렇다고 모든 지연을 도구의 성능 문제로 묶어도 해결할 곳이 흐려집니다. 제가 남기고 싶은 기록은 긴 시간이 발생했다는 사실과 그 이유를 어디까지 확인했는지입니다. 원인을 모르면 모른다고 적는 것으로도 충분합니다.

가정한 다섯 건의 평균을 6분이라고 쓰면서 최장 시간 22분을 함께 적으면 설명이 달라집니다. 평균이 거짓이어서 고친 것이 아닙니다. 대표 수치를 읽는 사람이 그 뒤의 차이도 볼 수 있게 자료를 조금 더 남긴 것입니다. 최장 시간이 보이면 계획을 정하기 전에 그 작업의 사정을 물어볼 수 있습니다.

기다림을 읽는 순서

1. 시간의 시작과 끝을 맞춥니다. 요청을 받은 순간부터인지, 도구가 실행을 시작한 순간부터인지 구분합니다. 종료도 초안 생성인지 검토가 끝난 결과 전달인지 정합니다. 다른 구간을 재었다면 같은 평균 옆에 놓기 전에 차이를 밝힙니다.

2. 대표값과 건수를 함께 읽습니다. 이 예에서는 다섯 건, 평균 6분, 중앙값 2분입니다. 다섯 기록만으로 다음 작업의 소요 시간을 보장할 수는 없습니다. 작은 표본에서 얻은 숫자를 모든 작업에 적용할 약속으로 넓히지 않습니다.

3. 오래 남은 기록을 다시 봅니다. 이 예의 22분이 입력 준비 때문인지, 검토 대기 때문인지 아직 확인하지 않았다면 그대로 미확인으로 둡니다. 실제 업무에서는 그 원인에 따라 고칠 곳과 필요한 담당자가 달라집니다. 최장 시간 하나만으로 다음 실행의 최악 상황까지 안다고 할 수도 없습니다.

4. 같은 조건끼리 비교합니다. 짧고 익숙한 작업과 자료가 복잡한 작업을 섞었다면 묶음을 나눠 볼 필요가 있습니다. 개인을 평가하기 전에 배정된 작업의 성격부터 살핍니다. 이 순서는 통계 기관이 정한 자동화 평가 표준이 아니라 제가 제안하는 읽기 방식입니다.

중앙값만 보면 기다림을 알 수 있을까요?

중앙값만으로는 오래 걸린 작업의 시간이나 이유를 알 수 없습니다. 이 예에서 중앙값은 2분이지만 한 건은 22분 걸렸습니다. 중앙값은 가운데를 설명하는 데 쓰고, 오래 걸린 건은 원기록이나 별도의 요약으로 함께 확인하는 편이 낫습니다.

가끔은 기다린 시간보다 그 시간을 예측할 수 없었다는 사정이 더 신경 쓰입니다. 설명을 위한 상황으로, 결과를 받을 때까지 다른 일을 시작하지 못하는 요청자를 떠올려 봅니다. 평균만 안내받은 채 진행 상태를 모른다면 그 사람은 끝날 때를 계속 확인해야 합니다. 얼마나 늦어질지 아직 모를 때에도 현재 어느 단계에 있는지 알려 주는 것과 아무 정보 없이 기다리게 하는 것은 다릅니다.

여기서 모든 요청에 완료 시각을 약속하자는 뜻은 아닙니다. 확인되지 않은 예상 시간을 덧붙이면 설명이 오히려 부정확해집니다. 자료를 받았는지, 검토를 기다리는지처럼 실제로 아는 상태를 구분해 말할 수 있습니다. 평균을 더 자주 계산해 보여 주는 일만으로 해결되지 않는 기다림도 있습니다.

DMS의 성과 측정 글과 어떻게 다릅니까?

DMS.Labs의 기존 성과 측정 글은 AI 도입의 속도 개선을 실제 비용과 업무 결과까지 연결해 확인하자는 실무 가이드입니다. 이 글은 여러 작업을 하나의 숫자로 묶는 순간 어떤 기다림이 빠지는지에 초점을 맞춥니다. 중앙값으로 평균을 대체하자는 공식이나 특정 도구의 성능 비교를 제시하는 글은 아닙니다.AI 도입 성과 측정 가이드

기존 가이드는 초안 생성뿐 아니라 검수까지 포함한 총시간, 작업의 난이도와 담당 조건을 함께 살피도록 제안합니다. 그 방향에 개별 기록도 함께 남기면, 전체 평균이 좋아진 뒤에도 계속 늦어지는 종류의 일을 찾아볼 수 있습니다. 그런 일이 실제로 있는지는 자료로 확인해야 하며, 이 에세이의 가상 숫자로 증명할 수는 없습니다.

업무 경계 지도 가이드는 도구에 맡길 일과 사람이 확인할 일을 작업별로 나누는 방법을 다룹니다. 기다림을 그 단계와 연결해 적으면 생성 단계가 느린지, 결과를 확인할 사람이 없는지 구분할 자료가 생깁니다. 누군가의 검토 시간을 낭비로 단정하기 전에 그 검토가 어떤 오류를 막는지도 함께 보아야 합니다.업무 경계 지도 가이드

저는 도구를 배우는 자리에서도 가장 빠른 결과만 남기는 것보다, 늦어진 작업 하나를 읽을 시간을 두는 편을 택하겠습니다. 다만 학습자가 올바른 결과를 확인할 수 있고 민감한 자료를 드러내지 않는 조건이 먼저입니다. 왜 늦었는지 설명해 보며 필요한 도움과 불필요한 대기를 나눌 수 있어야 다음 실습의 조건도 고칠 수 있습니다.

개인의 하루에 돌려놓을 때

평균을 통해 서로 다른 일을 나란히 볼 수 있습니다. 보고받는 사람은 그 덕분에 많은 기록을 짧은 시간에 읽습니다. 저는 그 편의를 포기할 필요는 없다고 생각합니다. 다만 편하게 읽었다는 사실이 모든 일을 충분히 이해했다는 뜻이 되지는 않도록, 원기록으로 돌아갈 길을 남겨 두고 싶습니다.

다섯 건의 표를 다시 적는다면 다섯 줄을 지우지 않은 채 그 아래에 평균을 쓰겠습니다. 22분이 걸린 줄 옆에는 이유를 확인한 만큼만 적어 두면 됩니다. 그 한 건을 맡은 사람과 이야기할 때에는 6분이라는 대표값 대신, 그 줄에서 어느 단계가 오래 비어 있었는지부터 함께 읽을 수 있습니다.

실행 취소를 누르면 화면의 일부는 이전 상태로 돌아갑니다. 그 사이 다른 사람이 내용을 읽었거나 그 내용을 보고 일을 시작했다면, 그 결과까지 사라지는 것은 아닙니다. 저는 도구에 일을 맡길 때 취소 버튼의 유무보다 어디까지 되돌릴 수 있는지 먼저 따져 보는 편이 낫다고 생각합니다.

문서에서 잘못 지운 문장을 되살리는 일은 익숙합니다. 방금 전 상태가 남아 있고 그 상태를 다시 불러오면 됩니다. 이런 경험을 자주 하다 보면 다른 일에도 비슷한 여유가 있을 것 같습니다. 일단 해 보고 마음에 들지 않으면 취소하면 된다는 생각입니다. 초안의 문장을 고치는 동안에는 그 생각이 꽤 잘 맞지만, 문서가 다른 사람에게 전달되는 순간부터는 확인할 것이 늘어납니다.

아래의 문서와 메시지 상황은 차이를 설명하기 위한 가정입니다. 특정 고객사의 사고나 제가 겪은 일을 옮긴 것이 아닙니다. 자료는 2026년 10월 12일 확인한 Nielsen Norman Group의 사용성 설명과 W3C의 WCAG 2.2 오류 방지 기준을 참고했습니다. 두 자료가 직접 말하는 범위와, 그 범위에서 제가 업무 자동화를 생각하며 덧붙인 판단을 나누어 적습니다.

되돌아갈 자리가 있을 때

Nielsen Norman Group은 사용자 통제와 자유를 설명하면서 이전 단계로 돌아가기, 진행하던 작업을 취소하기, 상태 변경을 되돌리기를 구분합니다. 뒤로 가기와 닫기, 취소, 실행 취소는 모두 사용자가 원하지 않는 상태에서 빠져나오도록 돕지만 같은 일을 하는 버튼은 아닙니다. 무엇이 유지되고 무엇이 사라지는지 사용자가 예상할 수 있어야 합니다.

가령 입력 창을 닫았을 때 작성하던 내용이 남는 경우와 지워지는 경우를 생각해 보면 차이가 드러납니다. 모양은 같은 닫기 버튼이어도 이후에 할 일은 다릅니다. 다시 열어서 이어 쓰면 되는지, 처음부터 써야 하는지 알 수 없다면 누르기 전에 망설이게 됩니다. 버튼의 이름만으로 그 뒤의 상태를 설명하기 어려운 순간입니다.

되돌릴 수 있다는 확신은 마음대로 실수해도 된다는 허락과 다릅니다. 잘못 누른 뒤 다시 고칠 방법이 눈에 보이면, 사용자는 선택지 하나를 살펴보는 데 필요한 부담을 덜 수 있습니다. NN/g도 사용자가 실수를 고치고 선택을 되짚는 기능을 탐색과 학습에 연결해 설명합니다. 이 글에서는 그 효과의 크기를 숫자로 주장하거나 AI 도구에서도 똑같이 검증됐다고 말하지 않습니다.

종이에 연필로 쓴 문장을 지우면 흐린 자국이 남기도 합니다. 화면 속 문서는 이전 내용을 더 말끔하게 복구할 수 있습니다. 그런데 그 문서를 본 사람이 이미 다른 일을 했다면 문서 자체를 복구하는 것으로는 부족합니다. 여기서부터는 저장된 상태와 그 상태 때문에 생긴 일을 따로 봐야 합니다.

화면 밖에서 일어난 일

초안을 잘못 고친 경우와 잘못된 초안을 전달한 경우는 겉으로는 같은 문장 실수입니다. 앞의 경우에는 원본과 수정본을 비교해 문장을 되돌리면 됩니다. 뒤의 경우에는 받는 사람이 어느 내용을 읽었는지, 다른 사람에게 전달했는지, 그 내용으로 무엇을 결정했는지도 확인해야 할 수 있습니다. 수정본 하나를 보내는 일만으로 끝나는지는 상황에 따라 다릅니다.

같은 이유로 공개한 글을 내리거나 값을 다시 수정했다고 해서 그 시간 사이의 일을 모두 없던 일로 만들었다고 단정할 수 없습니다. 누군가 본 내용이나 이미 만들어 둔 사본은 현재 화면과 별도로 남을 수 있습니다. 실제로 얼마나 퍼졌는지는 확인해야 할 사실입니다. 퍼졌을 것이라고 겁을 주거나, 아무도 보지 않았을 것이라고 안심시키는 추측은 둘 다 피해야 합니다.

되돌릴 수 있는 부분부터 복구하고 남은 영향을 따로 다루자는 제안입니다. 기록 한 줄을 원래 값으로 바꿨다면 그 복구는 완료라고 말할 수 있습니다. 그 값으로 만들어진 문서가 아직 돌아다닌다면 문서의 정정은 남아 있습니다. 무엇을 끝냈고 무엇을 아직 모르는지 나누어 말하면 다음 행동도 구체해집니다.

자동화 화면의 성공 표시에도 같은 질문을 붙일 만합니다. 작업을 중단했다는 표시는 다음 행동을 멈췄다는 뜻일 수 있고, 이미 실행한 행동을 복구했다는 뜻일 수도 있습니다. 실제 도구의 동작을 확인하기 전에는 어느 쪽인지 정할 수 없습니다. 중단 버튼을 눌렀다는 사실과 결과를 확인했다는 사실을 같은 완료 기록에 합치지 않는 편이 좋겠습니다.

확인은 어느 순간에 필요할까요?

되돌리기 어려운 영향을 만들기 전에 확인할 수 있는 순간을 남기는 것이 제 판단입니다. 확인 창을 모든 클릭에 붙이면 검토가 형식으로 흐를 수 있으므로, 무엇이 바뀌는지와 누구에게 영향을 주는지를 기준으로 확인할 지점을 고르는 편이 낫습니다. 이것은 모든 작업에 똑같은 절차를 적용하라는 뜻은 아닙니다.

W3C의 WCAG 2.2 성공 기준 3.3.4는 법적 약속이나 금융 거래를 발생시키는 웹페이지, 사용자가 통제할 수 있는 저장 데이터를 수정하거나 삭제하는 웹페이지, 시험 응답을 제출하는 웹페이지를 다룹니다. 이런 경우 제출을 되돌릴 수 있거나, 입력 오류를 검사하고 고칠 기회를 주거나, 제출 확정 전에 정보를 검토하고 확인하고 수정할 방법을 제공하는 조건 중 적어도 하나가 충족돼야 한다고 설명합니다.

여기서 눈여겨볼 부분은 선택 가능한 방법이 있다는 점입니다. 모든 행동을 사후에 완벽히 되돌려야 한다는 기준이 아닙니다. 되돌릴 수 없는 행동에는 실행 전에 검토할 자리를 마련하는 방법도 있습니다. 같은 문서는 단순한 문서 작성과 편집, 매번 저장하는 행동에 일일이 확인을 요구하려는 의도가 아니라고 밝힙니다. 기준이 겨냥하는 범위를 넓혀 읽으면 평범한 수정까지 불편하게 만들 수 있습니다.

이 접근성 기준을 모든 AI 업무의 인증 기준으로 쓸 수는 없습니다. 저는 그 설명에서 확인 시간을 어디에 배치할지에 관한 힌트를 얻습니다. 외부로 나갈 문서라면 수신자와 첨부 파일을 전송 전에 볼 수 있어야 하고, 데이터를 바꾸는 일이라면 바뀔 대상을 실행 전에 확인할 수 있어야 합니다. 이미 끝난 일을 취소할 방법이 불완전할수록 그 앞의 검토가 더 구체해야 한다는 제안입니다.

되돌릴 범위를 살피는 순서

1. 원래 상태가 어디에 남는지 봅니다. 원본 문서나 이전 값이 실제로 있어야 복구할 대상을 정할 수 있습니다. 있다고 알려진 백업과 지금 열어서 확인한 백업은 다릅니다. 복구에 필요한 자료를 찾지 못했다면 되돌릴 수 있는 작업으로 분류하기 어렵습니다.

2. 바뀐 내용을 누가 볼 수 있는지 살핍니다. 나 혼자 쓰는 복사본인지, 팀이 함께 읽는 자료인지, 외부로 전달할 내용인지에 따라 영향의 범위가 달라집니다. 읽기 권한이 있다는 사실과 실제로 읽었다는 사실은 구분합니다. 확인되지 않은 열람을 사실처럼 기록할 필요는 없습니다.

3. 되돌리는 데 필요한 사람과 시간을 적습니다. 혼자 이전 버전을 선택하면 되는 일과 다른 담당자의 협조가 필요한 일은 같은 취소 가능 목록에 넣기 어렵습니다. 여기서 정해진 시간 수치를 제시하지는 않습니다. 해당 업무에서 확인한 복구 절차와 조건을 적는 것이 먼저입니다.

4. 복구 후 확인할 결과를 정합니다. 이전 값이 돌아왔는지, 이미 만든 산출물에도 수정이 필요한지, 다음 실행이 멈췄는지를 각각 확인합니다. 같은 버튼으로 여러 일을 처리하는 도구라면, 버튼 이름보다 그 뒤에 확인할 상태를 기준으로 완료를 기록하는 편이 정확합니다.

DMS의 권한 단계와는 어떻게 다를까요?

DMS.Labs의 「AI 자동화, 권한을 세 단계로 나눠 주기」는 AI가 읽고 초안을 만들고 실행하는 범위를 나누는 실무 가이드입니다. 이 글은 그중 실행 뒤에 되돌릴 수 있는 범위를 더 좁게 생각해 본 것입니다. 읽기와 초안 단계로 남겨 두면 아직 전달되지 않은 내용을 고칠 자리가 있습니다. 실행 권한을 주더라도 외부 영향이 큰 행동에는 확인을 남길 수 있습니다.자동화 권한 단계 가이드 읽기

관련 가이드인 「AI에게 일을 시키기 전에, 업무 설명서 한 장부터 씁니다」도 작업의 대상과 완료 조건을 먼저 적는 방향을 제시합니다. 여기서 완료 조건에 복구 상태를 함께 적어 두면, 실행을 멈춘 것과 이전 상태를 되찾은 것을 구분하기 쉬워집니다. 실제 프로젝트에서 이 방법으로 얼마를 아꼈다는 성과는 이 글에 없으며, 가이드의 내용을 확장한 판단 기준으로 읽어 주시면 됩니다.AI 업무 설명서 가이드 읽기

취소 버튼이 있으면 자동 실행해도 될까요?

버튼이 있다는 이유만으로 자동 실행 범위를 넓히기는 어렵습니다. 어떤 상태를 되돌리는지, 언제까지 가능한지, 그 사이 영향을 받은 사람이 있는지를 먼저 확인해야 합니다. 답이 불분명한 작업은 초안에 머물러도 괜찮습니다. 자동화 안에서도 행동마다 실행 속도와 검토 조건을 달리 정할 수 있습니다.

지금 쓰는 도구의 취소 기능 하나를 고른 뒤, 어떤 일을 되돌렸다고 말할 수 있는지 한 문장으로 적어 보는 것부터 시작해 볼 만합니다. 가령 문서의 이전 버전을 복구했다는 설명은 확인할 대상이 분명합니다. 이미 전달된 정보까지 사라졌다는 설명은 훨씬 많은 확인을 요구합니다. 작업을 맡기는 사람과 실행하는 도구가 그 차이를 같은 뜻으로 이해하는지 살펴보면 됩니다.

새 프로그램을 설치하면 설정 화면이 한 번 열린다. 대개는 그 화면을 읽지 않고 닫는다. 알림은 켜진 채로, 자동 저장도 켜진 채로, 사용 기록을 보내는 항목도 처음 놓여 있던 자리에 그대로 남는다. 게으르다고 할 일은 아니다. 항목마다 따져 볼 시간이 없고, 따져 본다 해도 어느 쪽이 나은지 알기 어렵다. 그러는 사이 처음에 놓인 값이 내가 고른 값처럼 굳는다.

이 글은 그 처음 값, 곧 기본값(default)을 다룬 연구 몇 편을 따라가 본다. 끝에서는 업무에 AI 도구를 들일 때 권한과 기록에 관한 기본 설정을 어떻게 보면 좋을지도 생각한다. 내 경험을 근거로 삼지는 않고, 공개된 논문에서 확인되는 만큼만 말한다.

양식의 한 줄이 만든 간격

가장 자주 인용되는 사례는 장기 기증이다. 에릭 존슨(Eric Johnson)과 대니얼 골드스타인(Daniel Goldstein)은 2003년 《Science》에 두 쪽짜리 글 「기본값이 생명을 구하는가」를 실었다. 기증 의사를 묻는 양식이 “기증하려면 여기에 표시하세요”로 되어 있는지, “기증하지 않으려면 여기에 표시하세요”로 되어 있는지에 따라 결과가 얼마나 달라지는지를 본 글이다. 앞의 방식을 옵트인(opt-in), 뒤의 방식을 옵트아웃(opt-out)이라 부른다.

첫 번째 자료는 온라인 실험이다. 응답자 161명이 양식 중 하나를 받았다. 기증하겠다고 답한 비율은 옵트인 양식에서 42퍼센트, 옵트아웃 양식에서 82퍼센트였고, 미리 정해 둔 값이 없는 중립 양식에서는 79퍼센트였다. 눈여겨볼 곳은 중립 양식의 숫자다. 선택지를 비워 두자 답이 옵트아웃 쪽에 가까웠다. 기증에 마음이 열린 사람이 적지 않았는데, 옵트인 양식에서는 그 마음이 표시로 이어지지 않았다고 읽을 여지가 있다.

두 번째 자료는 나라별 비교다. 논문은 국가별 ‘유효 동의율’을 그래프로 나란히 놓는다. 명시적으로 동의해야 하는 네 나라는 4.25퍼센트에서 27.5퍼센트 사이였고, 반대하지 않으면 동의한 것으로 보는 일곱 나라는 이보다 훨씬 높았다. 나중에 나온 메타분석은 이 대목을 옵트아웃 나라는 90퍼센트대 후반, 옵트인 나라는 10퍼센트대라고 요약한다. 양식 한 줄을 뒤집은 차이로는 큰 간격이다.

다만 이 숫자는 동의율이다. 실제 이식 건수가 아니다. 존슨과 골드스타인도 기본값이 두 방향의 오분류를 낳을 수 있다고 적는다. 기증할 뜻이 있는데 확인되지 않은 사람이 생기고, 원하지 않았는데 기증자로 분류되는 사람도 생긴다. 기본값이 내 뜻을 대신 말해 줄 때, 그 말이 늘 맞는 것은 아니다.

월급에서 빠져나가는 저축

비슷한 이야기가 은퇴저축에도 있다. 브리지트 매드리언(Brigitte Madrian)과 데니스 시(Dennis Shea)는 2001년 《Quarterly Journal of Economics》에 한 미국 기업의 401(k) 가입 기록을 분석한 논문을 냈다. 제목이 「암시의 힘: 401(k) 가입과 저축 행동의 관성」이다. 회사가 새로 입사한 직원을 자동으로 가입시키는 제도를 도입하기 전과 후를 비교한 연구다. 직원은 원하면 언제든 빠질 수 있었다.

이 연구를 요약한 뒤의 메타분석에는 이렇게 적혀 있다. 자동 가입이 기본일 때 직원이 은퇴저축에 참여할 가능성이 대략 50퍼센트 높았다. 이 논문이 보여 주는 것은 사람들이 저축의 장점을 몰랐다는 사실이 아니다. 가입 서류를 직접 내야 하는 순간, 미루는 일이 쉬웠다는 점이다. 서류가 필요 없어지자 미루던 사람들도 같은 제도 안에 들어왔다.

존슨과 골드스타인은 왜 기본값이 이렇게 오래 남는지도 짧게 설명한다. 모든 정책에는 아무것도 하지 않았을 때 적용되는 값이 하나는 있어야 하고, 그 값을 바꾸려는 사람은 몸과 머리를 쓰는 비용을 치러야 한다. 기증처럼 감정이 얽힌 결정이라면 마음의 비용도 든다. 양식을 찾고, 항목을 읽고, 서명하고, 맡기는 일이 하나하나는 작아도 겹치면 사람들은 대개 미룬다. 기본값은 그 미루는 마음에 가장 가까이 놓여 있다.

효과는 얼마나 크고, 언제 약해지나

기본값 효과는 이런 사례 몇 개로만 알려진 것이 아니다. 욘 야히모비츠(Jon Jachimowicz)와 동료들은 2019년 《Behavioural Public Policy》에 기본값 연구 58건, 참여자 합계 73,675명을 모은 메타분석을 실었다. 전체 효과 크기는 d=0.68(95퍼센트 신뢰구간 0.53~0.83)이었다. 미리 선택된 값이 있으면 그 값을 고르는 쪽이 표준편차 기준으로 0.68만큼 늘었다는 뜻이다.

같은 논문은 편차도 크다고 지적한다. 대부분의 연구에서 효과가 양(+)으로 나왔지만 유의하지 않은 연구도 여럿이었고, 두 건은 오히려 음(−)의 효과를 냈다. 소비 영역에서는 기본값이 더 잘 먹혔고 환경 영역에서는 덜 먹혔다. 연구진이 부분적으로 설명하는 요인은 두 가지다. 기본값이 설계자의 권고처럼 읽힐 때(endorsement), 그리고 지금 상태를 그대로 두는 값처럼 읽힐 때(endowment) 효과가 컸다.

앞의 요인은 곱씹을 만하다. 기본값은 중립적인 빈칸으로 받아들여지지 않는다. 설계한 쪽이 이 값이 맞다고 본다는 신호로 읽힌다. 처음 놓인 값 속에는 선택지를 정리하는 사람의 판단이 들어 있다.

여기서 기본값이 나쁘다는 결론이 나오지는 않는다. 자동 가입처럼 많은 사람에게 도움이 될 수 있는 값도 있고, 선택지가 수십 개인 설정 화면에서 출발점이 아예 없는 것보다 나을 때도 많다. 문제는 값 자체보다 그 값이 누구의 사정에 맞춰 정해졌는지 사용자 눈에 보이지 않는 데 있다. 보이지 않는 값은 다시 생각해 볼 기회를 얻지 못한다. 바꿀 수 있다는 사실부터 알아야 바꿀 생각도 할 수 있다.

AI 도구를 들일 때의 기본값

위 연구는 장기 기증 양식과 저축 가입, 소비자 선택을 다룬다. AI 도구의 설정에서 같은 크기의 효과가 난다고 검증한 연구는 아직 찾지 못했다. 그래서 이 대목은 조심스러운 확장이다. 그래도 구조는 닮았다. 도구를 처음 열면 어떤 파일에 접근할 수 있는지, 대화 기록을 얼마나 남기는지, 외부 서비스에 어디까지 연결되는지, 작업을 사람 확인 없이 실행하는지에 처음 값이 놓여 있다. 위 연구에 비추어 보면 이 값들 가운데 상당수는 그대로 쓰일 가능성이 크다.

그 값을 정한 쪽은 대개 도구를 만든 회사다. 회사가 정한 값이 우리 팀의 업무와 맞는지는 별개의 문제다. 시작을 쉽게 하려고 넓은 권한을 처음 값으로 둘 수도 있고, 안전을 먼저 보고 좁은 권한으로 시작할 수도 있다. 어느 쪽이든 설정 화면 어딘가에 누군가의 판단이 이미 들어가 있다.

권한 설정에서 이 문제는 더 구체적이다. 사람은 대체로 새 기능을 쓰기 시작한 뒤에야 그 기능이 무엇을 건드리는지 알게 된다. 그때는 이미 일이 그 설정 위에서 돌아가고 있어서, 바꾸려면 쓰던 흐름을 멈춰야 한다. 처음 열 때 한 번 정해 두는 쪽이 나중에 고치는 쪽보다 싸다는 것은 위 연구의 논리를 그대로 옮긴 추정이다.

설정 화면에서 물어볼 세 가지

기본값을 전부 바꾸자는 이야기는 아니다. 기본값은 선택의 수고를 덜어 주려고 있는 것이고, 대부분은 그대로 두어도 문제가 없다. 다만 업무에 영향이 큰 몇 가지는 한 번 손으로 정해 두는 편이 낫다. 그때 이런 질문이 도움이 된다.

첫째, 이 값은 누가 정했는가. 제품이 처음 가져온 값인지, 우리 팀이 논의해서 정한 값인지 구분해 둔다. 둘째, 바꾸는 데 무엇이 드는가. 화면에서 한 번 누르면 되는지, 관리자에게 요청해야 하는지에 따라 사람들이 실제로 바꾸는 정도가 달라진다. 셋째, 값이 틀렸을 때 누가 비용을 치르는가. 장기 기증 논문이 두 방향의 오분류를 함께 적었듯이, 권한이 너무 넓어서 생기는 문제와 너무 좁아서 생기는 문제는 치르는 사람이 다르다.

이 질문은 팀 단위로 해 볼 만하다. 도구 하나당 설정 항목을 열 개 안팎으로 추려 ‘기본값 그대로’, ‘우리가 바꿈’으로 표시하고 이유를 한 줄씩 적어 두면, 몇 달 뒤 누가 와서 봐도 어디까지가 제품의 판단이고 어디부터가 우리의 판단인지 읽힌다. 이것은 연구에서 나온 결론이 아니라 내가 덧붙이는 제안이다.

이 세 가지에 답이 있으면 기본값은 계속 기본값으로 남아도 괜찮다. 달라지는 것은 그 값이 이제 누군가의 결정이라는 점이다. 결정한 사람이 있으면 나중에 고칠 사람도 있다.

처음 놓인 값은 눈에 띄지 않고, 그래서 오래 남는다. 설정 화면을 닫기 전에 한 번 더 읽는 정도로 충분한 경우가 많다. 길이 이미 나 있어도, 어느 길을 쓸지는 그 위에 서서 정할 수 있다.

일정표를 다 채우고 나면 기분이 좋아진다. 칸마다 할 일이 들어가고, 앞 칸이 끝나면 뒤 칸이 이어지고, 마지막 칸에는 마감 날짜가 놓인다. 빠진 데가 없어 보인다. 그런데 이 일정이 제날짜에 끝나는 일은 의외로 드물다. 계획을 허술하게 세워서 그런 것이 아니다. 오히려 꼼꼼하게 세웠기 때문에 틀리는 경우가 많다.

새로운 일을 맡을 때마다 이 일이 되풀이된다. 사내에 AI 도구를 들이는 일이든, 반복 업무를 자동화하는 일이든, 처음 해 보는 일일수록 일정은 더 낙관적으로 나온다. 이 글은 그 이유를 심리학과 프로젝트 관리의 연구 몇 편으로 따라가 본다. 내 경험을 근거로 삼지는 않고, 공개된 자료에서 확인되는 만큼만 말한다.

자기 일만 유독 짧게 본다

이 현상에는 이름이 있다. 계획 오류(planning fallacy)다. 사람이 앞으로 할 일의 비용, 기간, 위험을 실제보다 낮게 어림하고 이득은 실제보다 높게 어림하는 경향을 가리킨다. 대니얼 카너먼(Daniel Kahneman)과 아모스 트버스키(Amos Tversky)가 1979년에 쓴 예측 연구에서 이 생각의 뼈대가 나왔고, 이름은 이후 로발로(Lovallo)와 카너먼의 2003년 글에서 널리 쓰였다.

실험으로 이를 파고든 대표 논문은 1994년 로저 뷸러(Roger Buehler), 데일 그리핀(Dale Griffin), 마이클 로스(Michael Ross)의 「‘계획 오류’ 탐구」다. 《Journal of Personality and Social Psychology》에 실린 이 논문은 학부생 465명이 참여한 다섯 건의 연구를 묶었다. 학업 과제든 일상 과제든 참가자들의 완료 시간 예측은 지나치게 낙관적이었다. 눈여겨볼 대목은 두 가지다. 사람은 자기가 할 일은 짧게 보면서 남이 할 일은 그렇게 보지 않았다. 다섯 번째 연구에서 관찰자 역할을 맡은 참가자들은 오히려 남의 완료 시간을 실제보다 길게 어림했고, 과거 경험도 더 많이 끌어다 썼다.

그러니 낙관은 단순히 성격이 밝아서 생기는 문제가 아니다. 같은 사람도 남의 일정을 점검할 때는 꽤 현실적이다. 내 일정 앞에서만 시선이 달라진다.

시나리오를 그릴수록 과거가 지워진다

같은 논문에서 연구진은 참가자에게 예측하는 동안 떠오르는 생각을 소리 내어 말하게 했다. 사고 발화(think-aloud) 기록을 보니 참가자들은 주로 앞으로 일이 어떻게 흘러갈지에 대한 장면을 떠올리고 있었다. 이전에 비슷한 일이 얼마나 걸렸는지를 떠올린 경우는 드물었다. 계획을 세운다는 것은 장면을 이어 붙이는 작업이고, 그 장면에는 대개 순조롭게 흘러가는 길만 들어간다.

여기에 일정을 꼼꼼히 짜는 습관이 얹힌다. 일을 작은 단계로 쪼개 하나씩 어림하는 방식은 관리 도구가 권하는 정석이다. 그런데 이 방식은 내가 아는 단계만 일정에 올린다. 중간에 끼어들 승인 대기, 사양 변경, 다른 일의 급한 요청, 처음 써 보는 도구의 낯선 오류 같은 것은 칸이 없어 들어갈 자리가 없다. 칸이 촘촘할수록 계획은 완결된 것처럼 보이고, 완결돼 보일수록 빠진 것을 의심하기 어렵다. 이 대목은 연구가 직접 측정한 결과가 아니라, 위 논문의 발견에서 내가 읽어 낸 추론이다.

다행히 같은 논문에는 방향을 바꾸는 단서도 있다. 네 번째 연구에서 참가자들에게 과거의 비슷한 경험을 지금의 예측과 의식적으로 연결하게 했더니 낙관 편향이 사라졌다. 과거를 모르는 것이 아니라, 예측하는 순간 과거를 꺼내지 않는 것이 문제라는 뜻이다.

안에서 보는 눈, 밖에서 보는 눈

카너먼은 이 차이를 ‘안쪽 시각(inside view)’과 ‘바깥 시각(outside view)’으로 갈랐다. 안쪽 시각은 지금 맡은 일의 세부를 들여다보며 앞날을 그린다. 바깥 시각은 세부를 잠시 접어 두고 비슷한 일들이 실제로 어떻게 끝났는지를 본다. 벤트 플루비야(Bent Flyvbjerg)는 2006년 글에서 이 구분을 정리하며, 안쪽 시각으로 낸 예측이 보수적인 것조차 낙관적이었다는 점을 짚었다. 반대로 비슷한 일들의 결과를 분포로 놓고 지금의 일을 그 안에 배치하는 방식은 훨씬 정확했다고 소개한다.

이 방법에는 이름과 절차가 붙어 있다. 참조 집단 예측(reference class forecasting)이다. 먼저 비슷한 과거 사업들의 집단을 고르고, 그 집단에서 예측하려는 값의 분포를 만들고, 지금의 사업을 그 분포 안에 놓아 본다. 세 단계가 전부다. 이 절차의 핵심은 지금 일의 특수한 사정을 일부러 덜어 낸다는 데 있다. 이 일만은 다르다는 확신이 가장 강하게 작동하는 지점을 건너뛰는 셈이다.

숫자로 옮기면 이렇게 된다

플루비야의 글에는 실제 적용 사례가 나온다. 2004년 10월 에든버러 트램 2호선 사업계획을 검토한 오브 아럽(Ove Arup)은 사업계획서의 기본 비용 2억 5,500만 파운드에 우발 비용과 낙관 편향 보정으로 6,400만 파운드, 곧 25%가 얹혀 있음을 확인했다. 총 3억 2,000만 파운드쯤이다. 그런 다음 영국 교통부(UK Department for Transport)의 낙관 편향 보정률을 적용해 계산했다. 예산 안에서 끝낼 확률을 80%로 잡으면 총 자본 비용은 4억 파운드(기본 비용의 1.57배, 보정률 57%)였고, 50%로 잡으면 3억 5,700만 파운드(보정률 40%)였다.

읽는 방법에 주의할 점이 있다. 이 보정률은 ‘이 정도 더 들 것이다’라는 단정이 아니라 ‘이 확률로 예산 안에 들려면 이만큼 잡아야 한다’는 표현이다. 얼마나 안전하게 가고 싶은지에 따라 숫자가 달라진다. 검토 보고서도 이 추정이 오히려 낮을 가능성이 있다고 밝혔다. 보정률은 의사결정 시점의 예산에 적용하도록 권고되는데, 이 사업은 아직 그 단계에도 이르지 못했고 위험이 더 크게 남아 있었기 때문이다. 같은 글에는 도시철도 사업이 80% 확신을 원하면 자본 비용에 57%를 얹는 예도 나온다. 3억 파운드로 시작한 예산이 5억 400만 파운드가 되고, 확신 수준이 50%면 4억 2,000만 파운드가 된다.

수치의 크기보다 형식이 중요하다. 이 방식은 한 개의 날짜를 내놓지 않고 확률이 붙은 범위를 내놓는다. 두 개의 숫자가 나란히 있으면 의사결정자는 질문을 바꿀 수밖에 없다. 언제 끝나느냐에서, 어느 정도 확률로 언제까지 끝나기를 원하느냐로 바뀐다.

이 방법에도 한계가 있다

참조 집단 예측이 만능이라는 이야기는 아니다. 2026년에 나온 칸타렐리(Cantarelli)의 검토 논문 제목이 「참조 집단 예측: 가능성, 문제점, 그리고 앞으로의 길」인 것도 이 방법의 약점이 따로 논의돼 왔기 때문이다. 이 글에서 그 논문의 세부 논점을 내 말로 옮기지는 않겠다. 다만 제목이 가리키는 점은 분명하다. 이 방법의 정확도는 어떤 사업들을 한 집단으로 묶었는지에 크게 기댄다.

AI 도입이나 업무 자동화 같은 일에 이를 그대로 옮기는 데에는 더 큰 어려움이 있다. 도구가 빠르게 바뀌고 회사마다 업무가 달라서, 비슷한 과거 사업을 모은 믿을 만한 집단이 아직 없을 수 있다. 이런 일에서 정량화된 보정률 표를 들고 나오는 것은 오히려 근거 없는 정밀함을 만들 위험이 있다. 위 연구들은 건설과 교통 사업, 그리고 학생들의 과제에서 나온 결과이므로, 이를 AI 도입 일정에 적용하는 것은 검증된 결론이 아니라 조심스러운 연장이다.

작게 해 볼 수 있는 일

그래도 가져다 쓸 만한 생각이 하나 있다. 뷸러 팀이 낙관 편향을 지운 방법은 거창하지 않았다. 예측하는 순간에 과거의 경험을 꺼내 놓게 한 것이다. 이를 일하는 방식으로 옮기면 이런 질문이 된다. 지난번에 비슷한 일은 실제로 얼마나 걸렸는가. 처음 계획과 끝난 날짜는 얼마나 달랐는가. 어떤 일이 끼어들어 어긋났는가. 기록이 남아 있지 않다면, 그 사실부터 하나의 결과다.

또 하나, 일정을 한 줄로 말하지 않고 범위로 말하는 습관이 있다. 빠르면 언제, 대체로 언제, 늦으면 언제처럼 세 개의 날짜를 나란히 적는 것이다. 이것이 통계적으로 검증된 방법이라고 주장할 수는 없다. 다만 위에서 본 연구가 보여 준 두 가지, 곧 내 일은 짧게 보인다는 점과 분포를 보면 예측이 나아진다는 점을 일상의 크기로 줄여 놓은 방식이다.

처음 해 보는 일일수록 칸을 하나 비워 두는 것도 방법이다. 무엇이 들어올지 모르는 칸이다. 이름을 붙이지 못한 위험에도 시간을 배정해 둔다는 뜻이다. 빈 칸은 계획이 허술하다는 표시가 아니라, 계획이 모든 것을 알지 못한다는 사실을 일정표에 적어 두는 일이다.

꼼꼼한 계획은 여전히 필요하다. 일을 쪼개고 순서를 잡아야 오늘 무엇을 할지 알 수 있다. 다만 그 계획이 언제 끝날지까지 알려 준다고 믿을 필요는 없다. 해야 할 일을 정하는 도구와 걸릴 시간을 가늠하는 도구는 다르다. 앞의 것은 안쪽에서 쓰고, 뒤의 것은 바깥에서 빌려 와야 한다.

메모를 하고 나면 마음이 놓인다. 약속 시간을 달력에 넣고, 비밀번호를 관리 앱에 맡기고, 회의에서 나온 이야기를 녹음해 두면 머릿속 한구석이 비워진 느낌이 든다. 이 홀가분함을 게으름이라고 부르기는 어렵다. 사람은 오래전부터 기억을 바깥에 맡겨 왔다. 점토판과 매듭 끈, 장부와 수첩이 그랬고, 지금은 휴대전화와 클라우드 문서가 그렇다.

요즘 이 오래된 습관에 새 질문이 붙었다. 물으면 몇 초 만에 정리된 답을 내놓는 도구가 생겼기 때문이다. 맡기는 대상이 기억에서 생각의 일부로 넓어지는 것처럼 보이기 시작했다. 이 글은 그 걱정을 반쯤만 받아들인다. 맡기는 일에는 실제로 대가가 있고, 실제로 이득도 있다. 둘을 가른 연구 몇 편을 따라가며 무엇을 맡기고 무엇을 쥐고 있을지 생각해 보려 한다. 내 경험담으로 풀지는 않고, 공개된 논문에 기대어 간다.

찾을 수 있다는 기대가 남긴 것

2011년 베치 스패로(Betsy Sparrow), 제니 리우(Jenny Liu), 대니얼 웨그너(Daniel Wegner)는 《Science》에 「구글이 기억에 미치는 효과(Google Effects on Memory)」라는 논문을 실었다. 네 건의 연구를 묶은 이 논문의 요지는 이렇다. 어려운 질문을 받으면 사람은 컴퓨터를 먼저 떠올린다. 그리고 나중에 정보를 다시 찾을 수 있다고 기대하면 정보 자체는 덜 기억하고, 대신 어디에서 찾을 수 있는지를 더 잘 기억한다.

웨그너는 이미 1980년대에 가까운 사이에서 서로가 서로의 기억 창고 노릇을 나눠 갖는 현상을 ‘교류 기억(transactive memory)’이라는 이름으로 설명한 심리학자다. 부부 중 한 사람은 가족 일정을 기억하고 다른 사람은 세금과 수리 기록을 기억하는 식이다. 논문은 인터넷이 그런 창고의 하나가 되었다고 본다. 사람에게 맡기던 기억을 이제는 검색창에도 맡긴다는 것이다.

이 결과는 ‘구글 효과’라는 이름으로 널리 퍼졌고, 인터넷이 기억을 망친다는 말의 근거로 자주 불려 나왔다. 다만 뒷이야기도 함께 알아 두는 편이 좋다. 이후 몇몇 연구가 이 결과에 의문을 제기했고, 2018년 카머러(Camerer) 등이 《Nature》와 《Science》에 실린 사회과학 실험 21건을 다시 돌린 재현 프로젝트도 그 논의에서 자주 인용된다. 그 프로젝트 전체에서는 21건 중 13건이 원래와 같은 방향의 유의한 효과를 보였고, 평균 효과 크기는 원래의 절반쯤이었다. 개별 연구 하나의 판정은 따로 확인해야 하지만, 한 편의 인상적인 실험에 큰 결론을 얹지 않는 편이 안전하다는 점은 분명하다.

그러니 이 논문에서 가져갈 것은 인터넷이 기억을 망가뜨린다는 단정이 아니다. 다시 찾을 수 있다는 기대가 무엇을 붙들고 무엇을 흘려보낼지에 영향을 줄 수 있다는 가능성, 그리고 그때 사람이 ‘내용’ 대신 ‘위치’를 기억하게 될 수 있다는 가능성 정도다. 이 정도로 줄여 읽어도 생각할 거리는 충분히 남는다.

논문이 보고한 실험 하나를 떠올려 보면 이 말의 크기가 가늠된다. 참가자들이 짧은 사실 문장을 컴퓨터에 입력했는데, 입력한 내용이 저장된다고 들은 쪽보다 지워진다고 들은 쪽이 그 내용을 더 잘 기억했다. 어차피 남는다고 믿을 때 머리가 힘을 덜 쓴다는 해석이다. 그래서 이 효과는 기억력이 나빠졌다는 이야기라기보다, 사람이 남아 있을 것을 알고 있을 때 기억 자원을 어디에 쓸지 조절한다는 이야기에 가깝다.

저장했더니 더 잘 기억한 경우

같은 주제에서 방향이 반대인 결과도 있다. 2015년 벤저민 스톰(Benjamin Storm)과 션 스톤(Sean Stone)은 《Psychological Science》에 세 건의 실험을 보고했다. 참가자가 파일 하나를 저장한 뒤 새 파일을 공부하면, 저장하지 않았을 때보다 새 파일의 내용을 더 잘 기억했다. 저장이 머릿속에서 지금 필요 없는 내용을 치워 주었고, 그만큼 새로 배우는 내용이 덜 방해받았다는 해석이다.

이 논문에서 눈여겨볼 대목은 조건이다. 저장 과정을 믿을 수 없다고 여길 때는 효과가 나타나지 않았다. 저장하는 내용이 새 파일을 방해할 만큼 실질적이지 않을 때도 마찬가지였다. 그러니 이 결과를 아무 메모나 아무 때나 도움이 된다는 말로 읽으면 곤란하다. 믿을 만한 저장소가 있고, 맡기는 내용이 실제로 머리를 차지할 만큼 무거울 때 이득이 생긴다. 조건이 붙은 이득이다.

맡기는 일에는 이름이 있다

2016년 에반 리스코(Evan Risko)와 새뮤얼 길버트(Sam Gilbert)는 《Trends in Cognitive Sciences》에 이런 현상을 ‘인지적 오프로딩(cognitive offloading)’이라는 이름으로 정리한 개관 논문을 냈다. 손가락으로 수를 세는 일, 장보기 목록을 쓰는 일, 길을 지도 앱에 묻는 일이 모두 여기에 들어간다. 머릿속에서 처리하던 부담을 몸이나 도구로 옮기는 행동 전반을 가리키는 말이다.

이 틀의 쓸모는 맡기는 행동을 좋거나 나쁜 습관으로 나누지 않고 거래로 보게 해 준다는 데 있다. 맡기면 당장의 부담이 줄고, 대신 맡긴 내용은 덜 기억하거나 저장소가 사라졌을 때 곤란해질 수 있다. 앞의 두 연구는 이 거래의 양쪽 면을 각각 보여 준다. 스패로 팀은 대가를, 스톰과 스톤은 이득을 보았다. 둘은 서로를 반박한다기보다 같은 거래의 다른 면에 가깝다.

도구가 사실에서 과정으로 넓어질 때

검색은 대체로 사실이 어디에 있는지를 알려 준다. 요약하고 비교하고 초안을 쓰는 도구는 한 걸음 더 간다. 사실을 찾는 일이 아니라 읽고 정리하는 과정을 맡는다. 맡기는 대상이 ‘무엇’에서 ‘어떻게’로 넓어지는 셈이다. 위의 연구들은 주로 사실과 파일의 저장을 다뤘다. 생성형 도구에 일을 맡길 때 같은 결과가 나온다고 말할 근거는 여기에 없다. 이 점은 모른다고 적어 두는 것이 맞다.

대신 앞의 연구들이 건넨 조건을 질문으로 바꿔 볼 수는 있다. 맡기기 전에 던져 볼 만한 질문은 이런 것들이다. 이 저장소는 필요할 때 믿고 다시 열 수 있는가. 맡긴 뒤에도 그것이 어디에 있는지 내가 알고 있는가. 맡긴 내용이 나중에 내가 판단할 때 쓸 재료인가, 아니면 판단과 무관한 짐인가.

마지막 질문이 특히 중요하다고 본다. 비밀번호나 약속 시간은 맡겨도 판단을 잃을 일이 거의 없다. 반대로 어떤 계약서의 어느 조항이 위험한지, 이 숫자가 왜 지난달과 다른지는 맡긴 뒤에 내가 검토할 수 있어야 하는 내용이다. 요약본만 남기고 원문을 보지 않는 습관이 이어지면, 요약이 틀렸을 때 그 사실을 알아챌 사람이 없어진다. 이것은 연구 결과가 아니라 연구의 조건을 일에 옮겨 본 추론이다.

맡긴 것의 목록을 쥐고 있기

실천으로 옮기면 의외로 소박하다. 무엇을 맡겼는지 목록을 갖고 있으면 된다. 스패로 팀이 발견한 것이 ‘내용 대신 위치’였다면, 위치만큼은 확실히 알고 있자는 이야기다. 어느 문서에 어떤 내용이 있는지, 그 문서는 누가 고치는지, 사라지면 어떻게 복구하는지를 적어 두면 맡긴 기억은 길을 잃지 않는다.

무엇을 맡기고 무엇을 쥘지는 일에 따라 다르겠지만, 나눠 보는 출발점은 있다. 일정, 계정 정보, 참고 링크, 지난 회의의 결정 사항처럼 필요할 때 정확히 다시 보면 되는 것은 맡기기 좋다. 반대로 그 결정을 왜 그렇게 했는지, 어떤 기준으로 두 안 중 하나를 골랐는지, 어디까지가 확인된 사실이고 어디부터가 추측인지는 내가 쥐고 있어야 한다. 기록은 결과를 남기고, 판단의 이유는 대개 사람의 머릿속에 남기 때문이다. 이 구분도 연구가 증명한 것이 아니라 앞의 조건을 일에 옮긴 제안이다.

여럿이 일할 때는 이 목록이 더 중요해진다. 웨그너가 말한 교류 기억은 누가 무엇을 아는지 서로 알고 있을 때 잘 돌아간다. 문서와 도구에 일을 맡긴 팀에서도 같은 원리가 적용된다고 생각해 볼 수 있다. 어떤 문서가 최신인지, 어떤 자동화가 무엇을 하는지, 그것을 아는 사람이 누구인지가 팀 안에 퍼져 있어야 한다. 그 지도가 없으면 맡긴 기억은 있어도 아무도 찾지 못하는 기억이 된다.

여기에 한 가지를 더하면 좋다. 가끔 맡긴 내용을 일부러 다시 꺼내 보는 일이다. 저장소가 실제로 열리는지, 내용이 아직 맞는지, 내가 그 내용을 설명할 수 있는지 확인한다. 전부 외울 필요는 없다. 다만 핵심 몇 개는 설명할 수 있는 상태를 유지한다. 설명할 수 없는 것은 넘길 수도 없다는 앞선 글의 이야기와도 이어지는 대목이다.

기억을 바깥에 두는 일은 사람이 늘 해 온 일이고, 앞으로도 계속할 일이다. 문제는 맡긴다는 사실이 아니라 맡긴 것을 잊어버리는 데 있을지 모른다. 맡긴 목록을 갖고, 가끔 열어 보고, 판단에 쓸 재료는 내가 읽는다. 이 정도면 적어 두었으니 잊어도 된다는 말은 꽤 믿을 만한 말이 된다.

도구가 일을 대신해 주면 사람은 한가해진다고 생각하기 쉽다. 손이 하던 일이 기계로 넘어가니 남는 것은 판단과 창의성이라는 그럴듯한 말도 따라온다. 그런데 자동화 연구는 오래전부터 다른 그림을 그려 왔다. 손이 하던 일은 줄어도 사람의 일이 사라지지는 않고, 모양이 바뀐다. 직접 하는 일에서 지켜보는 일로 바뀐다.

이 글은 그 변화를 다룬다. 생성형 도구가 초안을 몇 초 만에 내놓는 지금, 병목은 쓰는 속도가 아니라 읽는 속도로 옮겨 갔다. 누가 더 빨리 만드느냐보다, 만들어진 것을 누가 제대로 보느냐가 결과를 가른다. 다만 이 주제를 내 경험담으로 풀지는 않겠다. 대신 수십 년 전에 쓰인 논문 몇 편에 기대어, 지켜보는 일이 왜 어려운지 차근차근 따라가 보려 한다.

일이 줄어든 자리에 남는 것

1983년 리사 베인브리지(Lisanne Bainbridge)는 학술지 《Automatica》에 「자동화의 아이러니(Ironies of Automation)」라는 짧은 논문을 실었다. 논문이 던진 질문은 단순하다. 산업 공정을 자동화하면 사람의 문제가 줄어드는가, 아니면 다른 모양으로 커지는가. 그녀의 답은 후자에 가까웠다. 자동화는 사람과 관련된 문제를 없애기보다 넓힐 수 있다.

핵심 논리는 이렇다. 설계자는 사람을 오류의 원천으로 보고 되도록 일에서 빼려 한다. 그러고 나서도 자동화하지 못한 부분은 결국 사람에게 남긴다. 예외 상황, 기계가 멈춘 순간, 처음 보는 고장 같은 것들이다. 평소에는 기계가 다 하니 사람은 손을 쓸 일이 없다. 그러다 가장 어려운 순간에만 호출된다. 연습할 기회는 사라졌는데 요구되는 수준은 오히려 높아진다. 논문이 아이러니라고 부른 것이 바로 이 구조다.

여기에 지켜보는 일 자체의 무게가 더해진다. 아무 일도 일어나지 않는 화면을 계속 들여다보며 이상 신호를 놓치지 않는 일은 생각보다 소모적이다. 베인브리지는 그래서 자동화가 진행될수록 운영자에게 필요한 훈련이 줄지 않고 늘어난다고 짚었다. 드물지만 결정적인 개입의 순간을 위해서다.

이 논문은 공정 제어실을 배경으로 쓰였지만, 문장을 조금만 바꾸면 지금의 사무 환경에도 그대로 겹친다. 보고서 초안을 도구가 쓰고, 요약을 도구가 만들고, 코드의 첫 판을 도구가 내놓는다. 사람은 그 결과를 훑어보고 승인한다. 쓰는 손은 쉬는데 읽는 눈은 더 바빠진다. 그리고 읽는 눈은 쓰는 손보다 훨씬 쉽게 지친다.

삼십 분이라는 숫자

지켜보는 일이 왜 그렇게 어려운지는 1948년으로 거슬러 올라가면 조금 보인다. 영국의 심리학자 노먼 매크워스(Norman Mackworth)는 레이더 관제 요원의 경계 임무를 연구하려고 시계 과제를 만들었다. 시곗바늘이 일정하게 한 칸씩 움직이다가 아주 가끔 두 칸을 건너뛴다. 참가자는 그 건너뜀을 알아채면 된다. 단순한 과제이고, 참가자들도 열심히 임했다.

결과는 뚜렷했다. 시작 후 삼십 분쯤 지나자 놓치는 건너뜀이 눈에 띄게 늘었다. 이 현상은 이후 ‘경계 감소(vigilance decrement)’라고 불리며 수십 년에 걸쳐 확인되고 논쟁되었다. 2025년에 나온 회고 논문은 이 감소를 다룬 연구의 75년을 정리하면서, 매크워스의 연구가 그 실험적 분석의 출발점으로 꼽힌다고 적는다. 세부 메커니즘을 두고는 아직 견해가 갈리지만, 오래 지켜볼수록 드문 신호를 놓치는 비율이 올라간다는 큰 흐름은 흔들리지 않았다.

같은 회고 논문이 전하는 대목 하나가 특히 흥미롭다. 매크워스는 전화벨 같은 뚜렷한 방해나 삼십 분의 휴식이 감소를 줄이거나 없애 준다는 것을 발견했다. 수행 결과를 알려 주는 피드백도 마찬가지였다. 반면 ‘더 집중하라’고 참가자를 다그치는 것은 효과가 없었다. 의지로 되는 문제가 아니라는 뜻이다. 집중하라는 당부는 설계의 대안이 될 수 없고, 쉬는 시간과 피드백이 오히려 설계의 재료가 된다.

베인브리지도 이 실험을 논문 안에서 짚었다. 아무 일도 일어나지 않는 정보원에 동기가 높은 사람이 시각적 주의를 유지하는 것은 삼십 분을 넘기기 어렵다는 취지다. 여기서 조심할 점이 있다. 삼십 분이라는 숫자는 특정 과제와 조건에서 나온 값이다. 모든 확인 작업에 그대로 적용되는 법칙이 아니다. 다만 ‘변화가 드물고 대부분 정상인 화면을 오래 보는 일은 저절로 무뎌진다’는 방향은 여러 연구가 공유한다.

믿음이 주의를 대신할 때

자동화가 잘 작동할수록 문제가 하나 더 생긴다. 신뢰가 확인을 대체하기 시작한다. 라자 파라슈라만(Raja Parasuraman)과 디트리히 만차이(Dietrich Manzey)는 2010년 《Human Factors》 52권 3호에 실린 리뷰에서 이 현상을 ‘안일함(complacency)’과 ‘자동화 편향(automation bias)’이라는 두 이름으로 정리했다. 하나는 자동화를 충분히 살피지 않게 되는 것, 다른 하나는 자동화가 내놓은 권고를 비판 없이 따르는 것이다. 이전에는 각각 따로 다뤄지던 이 둘을 주의(attention)라는 축으로 묶어 설명하려 한 글이다.

이 리뷰의 결론에서 옮겨 올 만한 것은 두 가지다. 첫째, 이런 오류는 성격이 나쁘거나 게으른 사람만의 문제가 아니다. 개인의 특성, 상황, 자동화 시스템의 특성이 서로 영향을 주고받으며 생기는 결과라고 저자들은 본다. 둘째, 주의가 그 한가운데에 있다. 그러니 대책도 ‘조심하세요’라는 구호보다는 주의가 흘러가는 길을 설계하는 쪽에서 나와야 한다. 저자들은 실제로 이 모형이 자동화와 의사결정 지원 시스템의 설계 방향을 찾는 틀이 될 수 있다고 적었다.

일상적인 장면으로 옮겨 보자. 도구가 열 번 연속으로 맞는 답을 내놓았다고 하자. 열한 번째 답은 사람이 훨씬 덜 의심하게 된다. 그것이 어리석어서가 아니다. 열 번의 정확함이 다음 답에 대한 합리적인 기대를 만들기 때문이다. 문제는 그 기대가 검토 노력을 조용히 깎아낸다는 데 있다. 정확도가 높을수록 오류는 드물고, 드문 오류일수록 눈에 걸리지 않는다. 앞에서 본 경계 감소와 똑같은 모양이다.

확인이라는 일을 설계하기

그렇다면 무엇을 할 수 있을까. 논문들이 준 재료를 일하는 방식으로 옮겨 보면 몇 가지 생각이 나온다. 아래는 연구가 직접 처방한 목록이 아니라, 앞의 내용에서 끌어낸 나의 해석이라는 점을 밝혀 둔다.

하나, 확인의 분량을 정한다. 경계 감소 연구가 보여 주듯 오래 볼수록 눈은 무뎌진다. 그렇다면 한 번에 오래 보는 방식보다 짧게 끊어 보는 방식이 낫다. 긴 문서라면 구간을 나누고, 구간마다 무엇을 볼지 미리 적어 둔다. ‘전체를 꼼꼼히 읽는다’는 목표는 성실해 보이지만 시간이 지날수록 지켜지지 않는 약속이 되기 쉽다.

둘, 일부러 틈을 만든다. 매크워스가 발견한 방해와 휴식의 효과를 떠올리면, 확인 중간의 쉼은 낭비가 아니라 정확도의 일부다. 같은 맥락에서 피드백도 중요하다. 내가 놓친 것이 무엇이었는지 나중에라도 알 수 있는 구조가 있어야 확인하는 눈이 조정된다. 놓친 오류가 아무 기록도 남기지 않고 사라지는 환경에서는 검토가 점점 형식이 된다.

셋, 직접 해 보는 기회를 남겨 둔다. 베인브리지의 아이러니는 연습 없는 숙련은 없다는 이야기이기도 하다. 자동화가 모든 반복을 가져가면 사람은 개입해야 할 순간에 감을 잃는다. 그래서 일부 작업은 일부러 손으로 해 보는 편이 좋다. 효율을 조금 포기하는 대신, 결과물이 이상할 때 이상하다고 말할 수 있는 감각을 유지하는 셈이다.

넷, 확인할 항목을 눈에 보이게 만든다. 숫자, 날짜, 고유명사, 인용, 링크처럼 틀리면 곤란한 것들을 따로 뽑아 두고 하나씩 대조한다. 매끄러운 문장은 눈을 미끄러지게 한다. 항목 단위로 쪼개 놓으면 문장의 유창함에 기대지 않고 사실만 볼 수 있다. 기계가 쓴 글이든 사람이 쓴 글이든 마찬가지다.

다섯, 틀릴 수 있다는 전제를 도구 밖에 적어 둔다. 도구가 얼마나 정확한지는 도구의 문제이고, 어디까지를 사람이 책임지는지는 조직과 개인의 문제다. 승인 버튼을 누르는 사람이 무엇을 확인했다는 뜻으로 누르는지 분명하지 않으면, 모두가 서로를 믿는 사이에 아무도 확인하지 않는 상황이 벌어진다.

— 도구가 빨라질수록, 읽는 속도가 일의 속도가 된다. —

지켜보는 일의 품위

지켜보는 일은 화려하지 않다. 잘하면 아무 일도 일어나지 않고, 못하면 나중에 큰일이 된다. 성과가 눈에 보이지 않는 일이라 쉽게 낮게 평가된다. 그래서 일을 나눌 때도 만드는 쪽에 사람과 시간을 몰아 주고, 확인하는 쪽에는 남는 자투리를 배정하기 쉽다.

하지만 자동화가 깊어질수록 저울은 반대쪽으로 기운다. 만드는 일은 점점 싸지고, 확인하는 일은 상대적으로 비싸진다. 만드는 비용이 내려가면 만들어지는 양이 늘고, 그만큼 확인해야 할 양도 는다. 베인브리지가 40년 넘게 전에 쓴 문장이 오늘 더 잘 들어맞는 이유가 여기에 있다고 나는 생각한다.

그러니 지켜보는 일을 존중하는 방식은 생각보다 구체적이다. 확인에 시간을 배정한다. 확인하는 사람이 지치지 않도록 분량과 쉬는 틈을 계획한다. 놓친 것을 되짚을 통로를 남긴다. 그리고 승인이라는 행위가 단순한 클릭이 아니라 책임의 표시라는 것을 일하는 방식 안에 새겨 둔다.

자동화는 손의 일을 가져간다. 그 대신 눈과 판단의 일이 남는다. 남은 일을 하찮게 여기지 않는 것, 그것이 어쩌면 기계와 함께 일하는 사람이 가질 수 있는 가장 오래된 기술일지 모른다. 1948년의 시계와 1983년의 논문이 우리에게 말해 주는 것도 그 정도다. 지켜보는 일은 결코 쉬운 일이 아니고, 그래서 설계할 가치가 있다.