같은 부탁인데 결과가 매번 다릅니다
AI에게 같은 일을 맡겼는데 어제는 마음에 들게 나오고, 오늘은 전혀 다르게 나온 적이 있으신가요. 자동화를 처음 만들었을 때는 분명 지시한 대로 움직였는데, 며칠 쓰다 보면 중간중간 엉뚱한 결과가 섞여 나오기 시작합니다. 이럴 때 많은 분이 AI가 아직 부족하다고 생각하고 도구를 바꾸거나 모델이 새로 나오기를 기다립니다.
이 글은 다른 방향에서 원인을 찾아봅니다. 문제가 AI에게만 있지 않을 수 있다는 이야기입니다. 내가 원하는 기준을 대화 속에서 말로만 알려 주고 있었다면, 그 기준은 대화가 끝나는 순간 함께 사라집니다. 다음 날 새 대화를 열면 AI는 어제의 기준을 전혀 모릅니다. 그러니 결과가 달라지는 것은 어쩌면 당연한 일입니다.
말로 한 기준은 왜 사라질까요
AI와의 대화는 기본적으로 그 대화 안에서만 기억됩니다. 새 대화를 시작하면 이전에 어떤 부탁을 했고 무엇을 고치라고 했는지 알지 못하는 상태에서 다시 시작합니다. 사람으로 치면 매일 아침 처음 보는 직원에게 일을 맡기는 것과 같습니다.
그래서 우리는 같은 말을 반복하게 됩니다. 글이 반말로 나오면 존댓말로 쓰라고 고치고, 다음 날 또 반말이 나오면 또 고칩니다. 이렇게 고치는 일이 쌓이면 AI를 쓰는 시간보다 AI를 바로잡는 시간이 더 길어지기도 합니다.
여기서 한 가지를 구분해 두면 좋습니다. 하나는 이번 한 번만 필요한 요청이고, 다른 하나는 앞으로도 계속 지켜야 하는 기준입니다. "이 글은 짧게 써 줘"는 요청에 가깝고, "SNS 글은 항상 ~습니다체로 쓴다"는 기준에 가깝습니다. 사라지면 곤란한 것은 뒤쪽입니다.
해결 방법은 단순합니다
기준을 대화 속에 두지 않고 파일로 남겨 두는 것입니다. 메모장 하나면 충분합니다. 거기에 지금까지 고치라고 말했던 내용을 한 줄씩 적어 두고, AI가 일을 시작하기 전에 그 파일을 먼저 읽게 하면 됩니다.
원리는 신입 직원에게 업무 매뉴얼을 주는 일과 같습니다. 매번 구두로 설명하는 대신 한 번 정리한 매뉴얼을 주고 "일하기 전에 먼저 읽어 주세요"라고 말하는 것입니다. 매뉴얼에는 긴 설명이 필요하지 않습니다. 짧고 분명한 한 줄이면 됩니다.
따라 하기 3단계
1단계. 고친 말 모으기
가장 먼저 최근에 AI에게 고치라고 한 말을 떠올려 적습니다. 처음에는 다섯 개면 충분합니다. 기억이 잘 나지 않는다면 최근 대화를 훑어보면서 "아니, 이렇게 해 줘"라고 말한 부분을 찾아보세요. 같은 지적을 두 번 이상 했다면 그것이 가장 먼저 적어야 할 기준입니다.
적을 때는 감정이나 사정은 빼고 무엇이 문제였는지만 적습니다. "글이 반말로 나갔다", "카드의 글자가 도형 밖으로 넘쳤다", "제목이 너무 길다" 정도면 됩니다.
2단계. 한 줄 기준으로 바꾸기
적어 둔 문제를 "앞으로 이렇게 한다"는 문장으로 바꿉니다. 이때 AI가 그대로 따를 수 있을 만큼 구체적으로 쓰는 것이 중요합니다.
- "글이 반말로 나갔다" → "SNS 글은 ~습니다체로 쓰고, 질문은 ~까요?로 쓴다"
- "글자가 도형 밖으로 넘쳤다" → "카드의 글자는 도형 안쪽에 여백을 두고 넣는다"
- "제목이 너무 길다" → "제목은 짧고 쉽게, 한 줄로 쓴다"
"좋은 글을 써 줘"처럼 넓은 말은 기준이 되기 어렵습니다. 무엇이 좋은 글인지 AI가 알 수 없기 때문입니다. 반대로 "~습니다체로 쓴다"는 지켰는지 아닌지를 바로 확인할 수 있습니다. 확인할 수 있는 문장이 좋은 기준입니다.
3단계. AI가 먼저 읽게 하기
기준 목록을 파일로 저장하고, 새 일을 시킬 때 그 파일을 먼저 읽도록 지시합니다. 도구에 따라 방법은 조금씩 다르지만 큰 틀은 같습니다.
- 파일을 첨부하거나 붙여 넣을 수 있는 도구라면 대화 맨 앞에 목록을 붙여 넣습니다.
- 파일을 직접 읽는 도구라면 "작업 전에 이 파일을 먼저 읽고 따를 것"이라고 한 줄로 지시합니다.
- 반복해서 쓰는 자동화라면 그 자동화의 시작 지침에 "먼저 기준 파일을 읽는다"는 한 줄을 넣어 둡니다.
기준이 늘어나면 층으로 나눕니다
기준이 열 개, 스무 개로 늘어나면 모든 기준을 매번 AI에게 읽히는 것이 오히려 방해가 됩니다. 글을 쓰는 일에 카드 이미지 규칙은 필요하지 않기 때문입니다. 그래서 기준을 성격별로 나눠 두고, 작업에 맞는 것만 꺼내 쓰는 방식이 편리합니다.
나누는 기준은 어렵지 않습니다. 세 칸이면 충분합니다.
- 항상 지키는 원칙: 어떤 작업이든 적용되는 것입니다. 예를 들어 "지어낸 경험이나 수치는 쓰지 않는다"가 여기에 들어갑니다.
- 작업별 규칙: 특정 작업에만 적용되는 것입니다. "블로그 글은 차분한 해요체로 쓴다", "카드 글자는 도형 안쪽에 둔다" 같은 문장입니다. 각 규칙 옆에 이름표(태그)를 붙여 두면 필요한 것만 골라 쓰기 쉽습니다.
- 사례: 그 규칙이 왜 생겼는지 적어 둔 짧은 기록입니다. "10월 2일에 글이 반말로 나가서 삭제하고 다시 올렸다"처럼 적어 두면 나중에 규칙이 낡았는지 판단할 때 도움이 됩니다.
사례 칸을 두는 이유가 중요합니다. 규칙은 시간이 지나면 낡습니다. 지시가 바뀌었는데 예전 규칙이 남아 있으면 AI는 낡은 규칙을 그대로 따릅니다. 이유가 적혀 있으면 지금도 맞는지 사람이 쉽게 점검할 수 있습니다.
기준 목록의 모양 예시
아래는 메모장이나 마크다운 파일에 그대로 적어 쓸 수 있는 예시입니다. 내용은 본인 상황에 맞게 바꿔 쓰시면 됩니다.
# 내 기준 목록
## 항상 지키는 원칙
- 지어낸 경험이나 수치는 쓰지 않는다. 확인된 사실만 쓴다.
- 어려운 말은 쉬운 말로 바꾸고, 영어 단어 뒤에는 뜻을 붙인다.
## 작업별 규칙
- [SNS] 글은 ~습니다체로 쓴다. 질문은 ~까요?로 쓴다.
- [카드] 글자는 도형 안쪽에 여백을 두고 넣는다.
- [제목] 제목은 짧고 쉽게, 한 줄로 쓴다.
## 사례
- 10월 2일: 글이 반말로 나가서 삭제 후 다시 올렸다. → [SNS] 규칙
- 10월 5일: 카드 글자가 도형 밖으로 넘쳤다. → [카드] 규칙
AI에게 읽게 하는 문장 예시
기준 파일을 만들었다면 일을 시킬 때 다음처럼 말하면 됩니다. 복사해서 쓰셔도 됩니다.
작업을 시작하기 전에 아래 '내 기준 목록'을 먼저 읽어 주세요.
이번 작업은 [SNS] 글입니다. 이 태그에 맞는 규칙과 '항상 지키는 원칙'을 지켜서 써 주세요.
기준과 이번 요청이 충돌하면 이번 요청을 따르고, 충돌했다는 사실을 알려 주세요.
마지막 줄이 중요합니다. 기준이 현재 요청과 부딪힐 때 AI가 조용히 한쪽을 고르면 나중에 원인을 찾기 어렵습니다. 충돌을 알려 달라고 해 두면 낡은 규칙을 발견하는 기회가 됩니다.
여러 사람이 함께 쓴다면
혼자 쓸 때보다 팀에서 쓸 때 이 방법의 장점이 더 분명해집니다. 같은 AI를 쓰는데도 사람마다 말투와 요구가 달라서 결과가 제각각이 되는 일이 흔하기 때문입니다. 이럴 때는 팀이 함께 지키는 기준을 하나의 파일로 두고, 개인 기준은 별도 파일로 나눠 둡니다.
팀 기준에는 고객에게 나가는 글의 말투, 숫자를 쓸 때의 출처 표기, 반드시 넣어야 하는 안내 문구처럼 사람이 바뀌어도 같아야 하는 내용을 넣습니다. 개인 기준에는 자기가 선호하는 문장 길이나 자주 쓰는 표현처럼 사람마다 달라도 되는 내용을 넣습니다. 두 파일이 부딪히면 팀 기준이 먼저라는 순서도 한 줄로 적어 두면 좋습니다.
새로 들어온 사람에게도 이 파일이 좋은 안내서가 됩니다. 구두로 전해지던 노하우가 문장으로 남기 때문입니다. 다만 파일을 고치는 사람과 시기를 정해 두지 않으면 기준이 조용히 늘어나기만 하니, 누가 언제 점검할지도 함께 정해 두시기 바랍니다.
쓰다 보면 흔히 하는 실수
기준을 한꺼번에 너무 많이 만드는 것입니다. 처음부터 완벽한 목록을 만들려 하지 마세요. 실제로 고친 말만 적어야 목록이 살아 있습니다. 상상으로 만든 기준은 대부분 쓰이지 않습니다.
넓고 흐릿한 말을 쓰는 것입니다. "자연스럽게 써 줘", "멋지게 만들어 줘"는 AI도 사람도 지켰는지 알 수 없습니다. 지켰는지 눈으로 확인할 수 있는 문장으로 바꿔 보세요.
한 번 고친 일을 규칙으로 올리는 것입니다. 그날 기분에 따라 한 번 한 말이 영구 규칙이 되면 오히려 일이 꼬입니다. 같은 지적을 두 번 이상 했을 때 규칙으로 올리는 편이 안전합니다.
목록을 만들고 점검하지 않는 것입니다. 지시가 바뀌면 목록도 같이 고쳐야 합니다. 몇 주에 한 번이라도 훑어보면서 지금은 맞지 않는 줄을 지워 주세요.
효과는 어떻게 확인할까요
솔직하게 말씀드리면, 이 방법이 결과를 얼마나 좋게 만드는지는 일반적으로 보장할 수 없습니다. 작업의 종류와 도구에 따라 다르고, 지금도 직접 비교하며 확인하는 중입니다. 그래서 다음처럼 작게 시험해 보시기를 권합니다.
- 자주 하는 작업 하나를 정합니다.
- 기준 목록 없이 같은 요청을 한 번 하고 결과를 저장합니다.
- 기준 목록을 붙여서 같은 요청을 다시 하고 결과를 저장합니다.
- 두 결과를 나란히 놓고, 이전에 고치라고 했던 문제가 줄었는지만 확인합니다.
보는 기준은 하나면 충분합니다. "예전에 고쳤던 같은 문제가 또 나왔는가"입니다. 이 질문에 대한 답이 "덜 나온다"라면 목록이 일을 하고 있는 것입니다. 변화가 없다면 기준 문장이 너무 흐릿하지 않은지부터 점검해 보세요.
정리
AI가 매번 다르게 하는 이유의 상당 부분은 기준이 대화 속에만 있기 때문일 수 있습니다. 해결은 거창하지 않습니다. 고친 말을 한 줄 기준으로 바꿔 파일에 남기고, AI가 일을 시작하기 전에 먼저 읽게 하는 것입니다.
오늘 바로 해볼 수 있는 일은 이것뿐입니다. 최근 AI에게 고치라고 한 말 다섯 개를 메모장에 적고, 각각을 "앞으로 이렇게 한다"로 바꿔 보세요. 그 다섯 줄이 기준 목록의 시작입니다. 같은 지적을 두 번 하지 않게 되는 것이 첫 번째 변화입니다.