AI 스킬의 합격 기준은 결과를 보기 전에 업무별로 정합니다. 설명서를 고치는 데 쓴 예시와 마지막 확인에 쓸 예시를 나누고, 반드시 지켜야 할 조건을 별도로 판정하십시오. 문장이 자연스러워도 근거 없는 숫자를 넣거나 허용되지 않은 행동을 했다면 그 업무에는 합격을 줄 수 없습니다.
이 글은 DMS.Labs의 AI 교육·스킬 구축을 위한 실무 가이드입니다. 특정 고객의 도입 결과나 직접 실행한 성능 시험을 보고하지 않습니다. 2026년 10월 16일 확인한 OpenAI와 Anthropic의 평가 자료를 참고했으며, 아래 문서 정리 예시와 합격표는 설명을 위해 만든 제안입니다.
같은 예시만 고치면 무엇을 놓칠까요?
업무 설명서를 고치면서 이미 본 자료에만 답이 좋아졌다면, 처음 보는 자료에서도 같은 기준을 지킬지는 아직 알 수 없습니다. 담당자가 답을 보고 지시문을 수정하는 동안 예시의 특성이 설명서에 계속 반영되기 때문입니다. 수정에 쓴 자료의 점수는 개선 과정을 보여 주지만, 그것만으로 다른 업무 자료에 대한 적합성을 판단하기는 어렵습니다.
기존 업무 설명서 한 장 가이드는 실패 목록을 만들고 같은 사례로 수정 효과를 확인하는 출발점을 설명했습니다. 이번 글에서는 팀이 그 설명서를 계속 쓸지 결정하는 마지막 시험을 다룹니다. 수정 효과를 확인한 뒤에는 별도로 남겨 둔 자료에 적용하고, 그 결과까지 본 후 사용 범위를 정하자는 제안입니다.
OpenAI의 평가 지침은 목적과 성공 기준을 정한 뒤 자료를 모으고 평가 방법을 정하도록 안내합니다. 실제 사용 양상을 반영하는 시험과 사람 판단을 함께 쓰며, 변경할 때마다 평가를 이어가라고 권합니다. 문서 요약 예시에서는 수정에 사용하지 않은 별도 평가 자료를 사용합니다. 그 문서의 예시 점수나 자료 수를 우리 업무의 합격선으로 그대로 가져올 필요는 없습니다.
창가 나무 책상에서 펼친 시험 자료와 닫힌 봉투를 나란히 놓은 장면.원본 전체 보기
합격표에서 무엇을 따로 봅니까?
월간 업무 메모를 읽고 담당자와 마감일을 정리하는 AI 스킬을 가정하겠습니다. 이 스킬은 원문에 있는 할 일을 표로 옮기고 근거 위치를 붙이며, 날짜가 없으면 미확인으로 남깁니다. 외부 발송과 일정 등록 권한은 주지 않습니다. 실제 고객 자료나 제품 사양을 뜻하는 예시는 아닙니다.
이 업무에서 날짜를 하나 지어낸 결과와 표의 줄 간격이 어색한 결과를 같은 무게로 채점하면 어떤 결과를 보류할지 알기 어렵습니다. 날짜는 다른 사람이 움직일 근거가 되고 줄 간격은 검토 중 고칠 수 있습니다. 저는 치명적 조건과 편집 품질을 분리한 뒤, 치명적 조건을 통과한 결과에 한해 편집 품질을 비교하는 방식을 권합니다. 오류가 미치는 영향이 다른 업무라면 조건의 구분도 달라져야 합니다.
표가 넓으면 좌우로 스크롤하여 확인하세요.
| 확인 항목 | 합격 판단 | 확인 방법 |
|---|---|---|
| 날짜·담당자 | 원문에 있거나 미확인으로 표시 | 원문 위치와 대조 |
| 할 일 누락 | 평가자가 표시한 필수 할 일을 모두 포함 | 항목 목록 대조 |
| 근거 위치 | 해당 주장에 맞는 원문 구간을 연결 | 연결 위치를 직접 열기 |
| 허용 범위 | 발송·일정 등록을 실행하지 않음 | 사용 가능한 도구와 실행 기록 확인 |
| 읽기 편의 | 담당자가 할 일과 보류를 구분 가능 | 실제 표를 읽고 판단 |
표의 각 줄에는 틀렸다고 판정할 수 있는 관찰 대상이 있습니다. 모든 결과를 정확성이라는 한 칸으로 묶으면 검토자가 무엇을 놓쳤는지 다시 찾아야 합니다. 자동 검사가 가능한 날짜 형식이나 빈칸은 코드로 확인하고, 요약이 중요한 조건을 빠뜨렸는지는 원문을 아는 사람이 봅니다. 코드의 통과 표시가 의미 검토를 대신하지는 않습니다.
치명적 조건을 하나라도 어기면 사용을 보류한다는 규칙 역시 이 예시의 제안입니다. 모든 조직에 적용되는 인증 기준은 아닙니다. 합격표를 만드는 사람은 오류가 생겼을 때 누가 어떤 손해를 보는지 설명할 수 있어야 합니다. 결과가 마음에 든다는 이유로 시험 뒤에 조건을 느슨하게 바꾸면 이전 결과와 비교할 기준도 사라집니다.
시험 자료를 두 묶음으로 보관합니다
한 묶음은 설명서를 고치는 동안 자유롭게 열어 봅니다. 다른 묶음은 마지막 판정 때까지 답을 보며 수정하는 데 사용하지 않습니다. 학습용 자료라는 말이 모델 자체를 다시 학습시킨다는 뜻으로 오해될 수 있어, 이 글에서는 수정용 자료와 최종 확인용 자료라고 부릅니다. 자료 수를 몇 건으로 고정하는 것보다 실제 맡길 업무의 차이를 포함하는 편이 먼저입니다.
정상적인 메모만 모으면 날짜가 없을 때의 행동을 확인하지 못합니다. 마감일이 빈 메모, 같은 할 일이 중복된 문서, 서로 다른 날짜가 적힌 두 자료처럼 구별할 이유가 있는 사례를 넣습니다. 개인정보는 허용된 시험용 값으로 바꾸되, 충돌하거나 비어 있는 구조는 유지합니다. 비식별 처리를 했다는 사실만으로 모든 자료의 외부 전송이 허용되는 것은 아닙니다.
최종 확인용 자료에서 실패해 그 내용을 보고 설명서를 고쳤다면, 그 자료는 이후 수정용 묶음에 들어갑니다. 이미 정답을 참고한 자료를 계속 처음 보는 시험이라고 부르지 않습니다. 다음 판정에는 다른 자료를 마련하거나 독립성이 줄었다는 한계를 기록합니다. 작은 팀에서 완전히 분리된 자료를 오래 유지하기 어렵다면 그 제약을 숨기지 않는 편이 낫습니다.
시험 기록에는 자료의 식별자와 판본을 남깁니다. 원본을 통째로 여러 장부에 복사할 필요는 없습니다. 접근 가능한 보관 위치와 검토자가 찾을 수 있는 근거를 연결하면 됩니다. 보존 기간과 열람 권한은 조직의 자료 관리 조건에 맞춰 정하고, 암호나 접근 토큰은 넣지 않습니다.
한 번의 성공을 어떻게 기록할까요?
같은 입력에서도 생성형 AI의 답은 달라질 수 있으므로, 한 번 맞은 결과만 골라 보여 주면 일관성을 알 수 없습니다. Anthropic은 한 과제에 대한 여러 시도를 구분하고, 적어도 한 번 성공하는지와 매번 성공하는지가 다른 평가라고 설명합니다. 정해진 시각에 혼자 실행되는 업무라면 특히 반복해서 지키는 조건을 확인해야 합니다.
이 가이드에서는 시험 전에 시도 횟수와 다시 시작하는 조건을 적기를 권합니다. 결과가 나쁜 시도를 지우고 좋은 결과만 남기지 않습니다. 다만 도구에 접근하지 못해 시작하지 못한 시도와, 자료를 읽은 뒤 잘못된 답을 낸 시도는 원인이 다르므로 별도로 표시합니다. 접근 실패를 업무 성공으로 세거나 결과 오류를 환경 문제로 숨겨서는 안 됩니다.
각 시도는 같은 자료 판본과 권한에서 비교합니다. 이전 대화에 정답이 남아 있는지, 앞선 실행이 만든 파일을 다음 실행이 읽는지 확인하고, 새 작업 상태에서 시작했는지를 기록합니다. 허용된 도구가 바뀌었다면 그 변화도 결과 옆에 둡니다. 모델 이름만 같다고 시험 조건까지 같아지는 것은 아닙니다.
점수와 함께 원문, 생성 결과, 판정 이유를 따라갈 수 있어야 합니다. Anthropic은 실행 과정의 기록과 마지막 환경 상태를 구분합니다. 파일을 저장했다고 답했을 때는 실제 시험 폴더의 파일이 있는지 봅니다. 반대로 이 글의 메모 정리 스킬처럼 발송을 금지한 시험에서는 발송 성공 여부를 실험하지 않습니다. 시험을 이유로 없던 권한을 부여하지 않습니다.
빈 점검표와 서로 다른 색인 탭이 붙은 문서를 사람이 대조하는 낮은 시점의 장면.원본 전체 보기
고친 뒤에는 예전에 되던 일도 확인합니다
날짜를 추측하지 말라는 문장을 추가한 뒤 모든 날짜를 미확인으로 바꾸기 시작할 수도 있습니다. 이는 설명을 위한 가상 실패입니다. 새 조건을 지키는지와 원래 되던 일을 유지하는지를 함께 보아야 하는 까닭을 보여 줍니다. 날짜가 없는 자료를 고친 뒤에는 날짜가 명시된 정상 자료도 다시 확인합니다.
Anthropic은 능력 평가와 회귀 평가를 구분합니다. 전자는 어떤 일을 할 수 있는지, 후자는 이전에 하던 일을 여전히 처리하는지를 묻습니다. 팀의 작은 시험에서도 이 구분을 쓸 수 있습니다. 신규 예외를 추가할 때마다 대표 정상 자료를 함께 남기면, 한 실패를 고치는 동안 다른 동작이 나빠졌는지 비교할 수 있습니다.
자료 식별자, 스킬 판본, 모델 식별자, 도구 권한과 실행 시각을 결과에 연결하십시오. 모델이나 설명서를 바꾼 날에는 같은 확인표로 이전 결과와 비교하되, 자료와 채점 기준까지 동시에 바뀌었다면 단순한 성능 향상으로 해석하지 않습니다. 조건이 달라졌다는 기록부터 남깁니다.
AI에게 채점을 맡기는 경우에도 사람이 판단한 예시와 맞춰 볼 과정이 필요합니다. OpenAI는 모델 채점이 답변 순서와 길이에 영향을 받을 수 있다고 설명하고, 사람 평가와의 일치를 검증하도록 권합니다. 문장이 긴 답을 무조건 높게 평가하는지, 날짜를 지어낸 답에 좋은 점수를 주는지 확인해 보십시오. 합계나 필수 항목 포함 여부처럼 명확한 검사는 정해진 코드에 맡기는 편이 낫습니다.
DMS 업무 설명서에는 무엇을 붙이면 됩니까?
기존 설명서의 확인 방법 옆에 자료 식별자, 필수 합격 조건, 실제 결과와 판정 이유를 연결하면 됩니다. 새 도구를 구매하기 전에 같은 기준으로 두 결과를 비교할 수 있는지부터 확인하십시오. AI 도입 성과 측정에서 다룬 시간과 비용은 이 품질 판정을 통과한 범위에서 함께 읽을 지표입니다.
교육에서는 참가자가 만든 설명서와 시험표를 함께 검토할 수 있습니다. 답이 마음에 드는지 묻는 대신 어떤 원문 구간 때문에 합격 또는 보류로 판단했는지 설명하게 합니다. 이는 이 글의 교육 설계 제안이며, 이미 실시한 수업이나 학습 효과를 보고하는 내용은 아닙니다. 검토자끼리 판정이 다르면 점수를 평균내기 전에 기준 문장과 근거부터 대조합니다.
처음 도입하는 스킬은 판정한 업무 범위 안에서만 사용합니다. 메모 정리에 합격했다고 계약 검토나 외부 발송까지 맡기지는 않습니다. 이후 실제 업무에서 새로운 실패가 확인되면 허용된 방식으로 시험 자료에 추가하고, 개인정보와 보존 조건을 다시 확인합니다. 해결되지 않은 항목에는 사용할 수 없는 조건과 재검토할 사람을 남겨 둡니다.
다음에 볼 것
팀의 반복 업무를 교육과 스킬 구축으로 연결하려면 DMS.Labs 실무형 AI 교육을 참고하십시오. 준비 자료에는 맡길 업무 하나와 결과를 대조할 수 있는 원문, 보류해야 할 조건을 적으면 됩니다.
