AI의 도움으로 논리 문제를 푼 사람들은 점수가 올랐지만, 자기가 몇 개를 맞혔는지는 실제보다 높게 짐작했습니다. 핀란드 알토대학 연구팀의 실험 1에서 ChatGPT-4o를 쓴 246명은 20문제 중 평균 12.98개를 맞혔는데, 푼 직후에는 평균 16.50개를 맞혔다고 답했습니다. 다만 실험 2에서는 AI 없이 푼 사람들도 비슷하게 높게 짐작했습니다. 'AI가 과신을 만든다'고 읽으면 연구보다 앞서 나가는 것입니다. 이 글의 점검 방법은 연구를 읽고 DMS.Labs가 만든 제안이며, 어림을 실제로 바로잡는지는 시험하지 않았습니다.
13화 AI가 내 편만 들 때는 AI의 맞장구가 내 확신을 키울 수 있다는 연구를 다뤘습니다. 이번에는 AI와 문제를 푼 뒤에 내 확신이 실제 결과와 얼마나 어긋나는지 봅니다. 두 글을 이어서 읽는 것은 제 해석입니다.
2026년 11월 22일 확인한 공개 자료 기준입니다. Daniela Fernandes 등의 「AI makes you smarter but none the wiser: The disconnect between performance and metacognition」는 Computers in Human Behavior 175권(2026년 2월호) 108779번에 실렸고, 알토대학 보도자료에 따르면 2025년 10월 27일 학술지에 공개됐습니다. 학술지 본문은 접속이 막혀 열지 못했습니다. 학술지 초록과 강조점, 알토대학 보도자료를 읽었고, 세부 방법과 수치는 저자들이 2025년 1월 5일 올린 사전 출판본(arXiv 2409.16708 v2, 27쪽)을 전문으로 읽고 확인했습니다. 사전 출판본과 최종본의 수치가 다를 수 있어서 아래 수치는 모두 사전 출판본 기준입니다. 이 연구는 직장에서 쓰는 AI가 아니라 시험 문제 풀이를 다룹니다.
열린 빈 공책 위에 연필이 놓이고, 옆에 빈 종이쪽지가 한 줄로 늘어선 창가 나무 책상 장면원본 전체 보기
AI와 푼 뒤 사람들은 자기 점수를 얼마나 높게 짐작했습니까?
세 집단 모두 맞힌 개수를 약 3.5개에서 3.9개 높게 짐작했습니다. 참가자들은 미국 로스쿨 입학시험(LSAT)의 논리 추론 문제 20개를 풀고, 다 푼 뒤 몇 개를 맞혔을 것 같은지 적었습니다. 아래 차이는 표의 평균값에서 제가 계산했습니다.
표가 넓으면 좌우로 스크롤하여 확인하세요.
| 실험 | 집단 | 인원 | 실제 평균 | 스스로 짐작한 평균 | 차이 |
|---|---|---|---|---|---|
| 1 | ChatGPT 사용 | 246 | 12.98 | 16.50 | 3.52 |
| 2 | ChatGPT 사용 | 245 | 13.31 | 17.13 | 3.82 |
| 2 | AI 없이 풀기 | 207 | 9.71 | 13.62 | 3.91 |
초록은 실험 1의 어긋남을 '약 4점'으로 적었습니다. 이 글은 표의 평균으로 계산한 3.52개를 씁니다.
점수 자체는 AI를 쓴 쪽이 높았습니다. 실험 2에서 같은 시기에 모집한 AI 없는 집단과 비교하면 13.31점 대 9.71점이었습니다. 실험 1에는 같은 시기의 비교 집단이 없어서, 같은 문제를 쓴 앞선 연구의 자료(3,543명, 평균 9.45점)와 비교했습니다. 참가자들의 평균은 ChatGPT-4o가 혼자 푼 점수(100회 평균 13.65점)보다 조금 낮았고, 실험 1에서 AI 혼자보다 높은 점수를 낸 사람은 136명(55.28%)이었습니다.
실험 2는 맞힌 개수를 정확히 짐작하면 보너스를 주는 조건이었습니다. 그래도 AI 집단은 평균 3.82개 높게 짐작했습니다. 보상이 없던 실험 1과 같은 집단끼리 비교한 것은 아니어서, 보상의 효과는 말할 수 없습니다.
AI 없이 푼 사람도 높게 짐작했다면 무엇이 달라진 것입니까?
달라진 것은 평균 어림값이 아니라 어림이 빗나가는 모양입니다. 더닝-크루거 효과는 실력이 낮은 사람일수록 자기를 더 높게, 실력이 높은 사람일수록 더 낮게 어림하는 경향입니다. 연구팀은 통계 모형으로 이 모양이 남아 있는지 따로 살폈습니다. AI 없이 푼 집단에서는 나타났고, ChatGPT를 쓴 집단에서는 나타나지 않았습니다.
실험 1의 AI 집단에서 점수가 낮은 쪽 110명은 실제 평균이 10.82점인데 15.34점이라고 짐작했습니다. 점수가 높은 쪽 22명은 16점을 받고 17.68점이라고 짐작했습니다. 어긋남은 낮은 쪽이 약 4.5개, 높은 쪽이 약 1.7개입니다. 그런데도 연구팀은 이 격차가 전체적으로 높게 짐작하는 쏠림만으로도 생길 수 있다고 보고, 쏠림과 실력에 따른 흔들림을 모형에서 나눠 계산했습니다. 이 모형의 흔들림 값은 실력에 따른 흔들림이 있으면 1보다 크고, 1 근처면 없는 것입니다. 실험 1에서 AI 집단은 1.01, AI 없이 푼 앞선 자료는 1.78이었고, 실험 2에서는 AI 집단이 1.13, AI 없는 집단이 1.53이었습니다.
저자들은 이 결과를 두 가지로 읽을 수 있다고 한계에 적었습니다. AI가 더닝-크루거 효과를 없앴을 수도 있고, 참가자들이 비슷한 점수를 받게 됐지만 자기 점수는 모르는 상태가 됐을 수도 있습니다. 실험 2에서 보상을 걸어도 AI 집단에서 이 모양이 돌아오지 않았다는 것까지가 연구가 보여 준 부분입니다.
AI를 잘 안다는 사람이 더 정확하게 가늠했습니까?
아니요, 어긋남이 조금 더 컸습니다. 연구팀은 31문항 설문(SNAIL)으로 참가자의 AI 이해도를 쟀습니다. 기술 이해 점수가 높을수록 맞힌 개수를 더 높게 짐작하는 경향이 두 실험에서 모두 나타났습니다(상관 0.21과 0.20). 비판적 평가와 실제 활용 점수를 포함한 세 항목 모두 평균 확신도와는 양의 상관이 있었습니다(실험 1에서 0.13에서 0.25 사이).
이 상관은 작은 값이고, 저자들도 조심해서 읽어야 한다고 적었습니다. AI 이해도는 참가자가 직접 답한 점수여서 실제 능력과 다를 수 있습니다. 저자들은 AI에 익숙할수록 '나는 평균보다 낫다'는 믿음이 강해질 수 있다고 추측했는데, 이 연구가 확인한 것은 아닙니다.
참가자들은 AI를 어떻게 썼습니까?
대부분 문제를 붙여 넣고 나온 답을 그대로 받아들였습니다. 이 실험은 문제마다 최소 한 번은 ChatGPT에 묻도록 설계됐습니다. 실험 1에서 모인 프롬프트는 11,944개였고, 문제와 선택지를 그대로 복사한 것을 걸러 내자 3,074개가 남았습니다. 알토대학 보도자료는 대부분의 참가자가 한 문제에 한 번만 물었다고 전합니다.
연구진은 마지막 주관식 답변을 읽고 사용 방식을 네 가지로 나눴습니다.
- 크게 신뢰: 145명(58.94%). 문제를 붙여 넣고 답을 비판 없이 받아들였습니다. 이 집단의 실제 평균은 13.01점, 스스로 짐작한 평균은 16.84점이었습니다.
- 확인용 도구: 53명(21.54%). 자기가 낸 답을 검증하는 데만 썼습니다.
- 협력자: 31명(12.60%). '우리가 풀었다'처럼 말하며 AI를 팀원처럼 대했습니다.
- 불분명하거나 쓰지 않음: 17명(6.91%).
저자들은 이 분류에 따른 점수나 어림 정확도의 차이가 뚜렷하지 않았다고 적었습니다. 문제마다 적은 확신도(0에서 100)에서도 맞은 문제와 틀린 문제의 구분은 작았습니다. 맞은 문제는 평균 82.49, 틀린 문제는 77.00으로, 차이는 5.5점입니다. 확신도가 맞고 틀림을 얼마나 가려내는지 보는 지표(AUC)는 평균 0.62였고, 0.5는 구분하지 못한다는 뜻입니다. 246명 중 36명은 확신도로 맞고 틀림을 가려내지 못했습니다.
이 결과를 일터의 AI 사용에 옮겨도 됩니까?
그대로 옮기기는 어렵습니다. 연구가 재지 않은 것이 여럿 있습니다.
첫째, 과제는 정답이 하나인 객관식 20문제입니다. 견적서나 안내문, 분석 보고서는 맞고 틀림이 이렇게 가려지지 않습니다. 둘째, 모델은 연구 시점의 ChatGPT-4o 하나(gpt-4o-2024-05-13)입니다. 셋째, 참가자는 미국의 온라인 참가자이고 한 번의 과제에 평균 42분을 썼습니다. 넷째, 잰 것은 맞힌 개수의 숫자 어림과 문제별 확신도이고, 자신감 일반은 아닙니다. 다섯째, 반복해서 쓰면 어림이 나아지는지 나빠지는지는 보지 않았습니다. 저는 이 결과를 최신 모델에서 다시 시험하지 않았습니다.
그래도 닮은 장면은 일터에 있습니다. AI가 만든 고객 안내문이나 요약을 한 번 훑어보고 '문제없다'고 넘기는 순간입니다. 이 장면을 연구 상황과 닮았다고 보는 것은 제 판단입니다.
푼 뒤의 자신감을 어떻게 점검합니까?
결과를 확인하기 전에 맞았을 개수를 숫자로 적고, 나중에 실제와 나란히 놓는 것이 가장 단순합니다. 12화 AI 답을 읽기 전 내 판단이 답을 보기 전의 판단을 적는 연습이었다면, 이번에는 답을 받은 뒤의 확신을 적어 두는 연습입니다. 다음 표는 DMS.Labs의 제안이며 연구가 시험한 방법이 아닙니다.
표가 넓으면 좌우로 스크롤하여 확인하세요.
| 만약 | 그러면 | 연결한 연구 내용 |
|---|---|---|
| AI가 낸 결과가 괜찮아 보일 때 | 검토를 끝내기 전에 '이 열 건 중 문제없는 것은 몇 건인가'를 숫자로 적고, 확인한 결과를 그 옆에 씁니다 | 참가자들은 푼 직후 맞힌 개수를 평균 약 3.5개 높게 짐작했습니다 |
| 한 건을 AI에게 한 번만 묻고 답을 받으려 할 때 | 내 말로 이유를 한 줄 적고 'AI의 이 답에서 틀릴 수 있는 곳을 찾아 달라'고 한 번 더 묻습니다 | 대부분 한 번만 묻고 답을 받아들였습니다. 연구자 Fernandes는 AI가 사용자에게 이유를 설명해 보라고 묻는 방식을 보도자료에서 제안했습니다 |
| 일주일 치 작업을 마무리할 때 | 한 건은 AI 없이 처음부터 다시 풀어 AI의 답과 비교합니다 | 저자들은 과신이 AI 없이 성과를 평가하는 능력을 해칠 수 있다고 논의했습니다 |
| AI를 잘 안다고 느낄 때 | 같은 점검을 건너뛰지 않습니다 | 기술 이해 점수가 높을수록 어림이 더 크게 어긋나는 경향이 있었습니다(작은 상관) |
숫자를 적어 두면 맞았는지 여부보다 어긋난 크기가 남습니다. 한 번의 어긋남은 우연일 수 있어서, 몇 주 쌓인 뒤에야 의미가 생깁니다. 이 방법이 어림을 바로잡는지는 이 글이 확인하지 못했습니다.
가상의 한 장면에서는 어떻게 쓰게 됩니까?
작은 놋쇠 저울이 접힌 천 위에 서 있고 옆에 연필이 놓인 창가 나무 선반 장면원본 전체 보기
직원 세 명의 가상 번역 사무실에서 AI가 초안을 쓴 고객 안내문 열 건을 보내기 전에 한 사람이 검토한다고 가정하겠습니다. 실제 사례가 아니라 설명을 위한 장면입니다. 검토자는 첫 건을 열기 전에 '문제없는 건 아홉 건'이라고 적습니다. 확인해 보니 일곱 건이 문제없었다면 두 건만큼 어긋난 것입니다.
이 숫자 하나로 정할 수 있는 것은 많지 않습니다. 다음 열 건을 볼 때 두 번째 표 행을 한 번 더 쓰기로 정하는 정도입니다. 누가 어떤 기준으로 확인할지는 AI 결과 검수자 정하기에서 따로 다뤘습니다.
이번 주에 무엇을 해 볼 수 있습니까?
AI와 한 일을 닫기 전에 '맞을 것 같은 개수'를 세 번만 적어 봅니다. 확인이 끝나면 차이를 한 줄로 남깁니다. 세 번 모두 차이가 0이었다면 어림이 정확했을 수도 있고 확인이 얕았을 수도 있어서 해석이 열려 있습니다.
이 글이 확인하지 못한 것을 정리합니다. 학술지 최종본 본문은 읽지 못했고, 사전 출판본과 수치가 같은지 대조하지 못했습니다. 직장 업무에서의 어림은 측정하지 않았습니다. 이 점검 방법의 효과는 시험하지 않았고, 이 연구 이후의 후속 연구도 찾아 읽지 않았습니다. 표와 가상 장면은 모두 DMS.Labs의 제안과 가정이며 고객 사례나 현장 측정이 아닙니다.
다음에 볼 것
업무에서 AI를 쓰는 사람이 결과를 확인하는 습관을 익히는 과정은 DMS.Labs 생성형 AI 교육 페이지에서 볼 수 있습니다. 어떤 결과를 어떤 기준으로 받아들일지 정하는 방법은 AI 스킬 합격 기준에도 정리했습니다. 교육 도입을 검토 중이시라면 문의 페이지에 상황을 적어 보내 주십시오.
참고한 자료
2026년 11월 22일에 확인했습니다. 이 글의 사진 두 장은 AI로 만든 예시 이미지이며 실제 작업 기록이 아닙니다.
- Daniela Fernandes, Steeven Villa, Salla Nicholls, Otso Haavisto, Daniel Buschek, Albrecht Schmidt, Thomas Kosch, Chenxinran Shen, Robin Welsch, 「AI makes you smarter but none the wiser: The disconnect between performance and metacognition」, Computers in Human Behavior 175, 108779, 2026: 출판사 DOI (초록과 강조점 확인), 읽은 사전 출판본: arXiv 2409.16708 v2
- 알토대학, 「AI use makes us overestimate our cognitive performance」, 2025년 10월: 보도자료

