AI 답변이 내 글을 출처로 썼는지 알고 싶다면 질문을 먼저 층으로 나누고, 같은 질문을 같은 방식으로 반복해서 묻는 것이 출발점입니다. DMS.Labs는 이렇게 고정한 질문 7개를 구글 AI 개요, ChatGPT, 퍼플렉시티에서 재도록 정해 두었습니다. 2026년 10월 19일 측정에서는 DMS 기록이 있어야 답할 수 있는 질문 3개가 구글 AI 개요와 ChatGPT 양쪽에서 모두 DMS 주소를 출처로 냈습니다. 나머지 4개는 인용 여부를 확인하지 못했습니다.
2026년 10월 22일 확인한 운영 기록 기준입니다. 이 글은 리도 한 사람의 운영 사례이고, 표본은 질문 7개와 한 번의 측정이 전부입니다. 고객사의 구축 성과나 문의·매출 증가를 보여 주는 글이 아닙니다.
질문은 어떤 기준으로 나눴습니까?
내가 가진 기록이 있어야만 답할 수 있는 질문을 1층, 독자가 실제로 묻는 구체적인 질문을 2층, 누구나 묻는 넓은 질문을 3층으로 나눴습니다. 같은 사이트라도 층에 따라 AI가 출처로 고르는 대상이 달라질 수 있다고 보았기 때문입니다.
이 구분은 교육 영상에서 가져왔습니다. 스폰지클럽 4기 이니 사례를 다룬 영상에서 발표자는 6주 동안 질문 220개를 쟀더니 1층 77%, 2층 72%, 3층 21%가 AI 답변에 인용됐다고 소개했습니다. 이 숫자는 발표자의 주장이며 저는 검증하지 못했습니다. 다만 층을 나누는 방식 자체는 DMS 글에도 그대로 옮겨 쓸 수 있었습니다. 숫자를 따라 한 것이 아니라 질문을 분류하는 틀만 빌렸습니다.
DMS.Labs의 고정 질문 7개는 다음과 같습니다. 전체 질문 목록을 한 번 정해 두고 바꾸지 않아야 다음 주 결과와 비교할 수 있습니다.
표가 넓으면 좌우로 스크롤하여 확인하세요.
| 층 | 질문 | 답이 나오는 곳 |
|---|---|---|
| 1층 | DMS솔루션 광통신 현장 교육 커리큘럼은 어떻게 구성돼 있어? | DMS 교육 페이지 |
| 1층 | DMS.Labs 업무 자동화 실험 노트에서 메일함 자동화는 어떻게 했어? | DMS 작업 기록 |
| 1층 | How did Reedo at DMS Labs build an AI knowledge base with Obsidian? | DMS Work 글 |
| 2층 | Why will an ONU not register when the optical power level is fine? | 현장 실무 |
| 2층 | How do you verify an OTDR event table instead of trusting it? | 현장 실무 |
| 2층 | How do you check a dome fiber splice closure for leaks after assembly? | 현장 실무 |
| 3층 | 바이브 코딩이 뭐야? 감으로 코딩하는 거야? | 일반 상식 |
1층 질문은 지어내지 않는다는 규칙을 두었습니다. DMS 사이트에 이미 공개된 교육 페이지나 작업 글처럼 확인된 자료가 있을 때만 1층으로 부르고, 자료가 없는 주제는 1층에 넣지 않습니다. 자료가 없는 질문을 1층이라고 부르면 측정 결과가 실제보다 좋아 보이기 때문입니다.
창가의 나무 책상 위에 빈 카드가 길이가 다른 세 줄로 나뉘어 놓인 장면원본 전체 보기
10월 19일에는 무엇이 확인됐습니까?
1층 질문 3개는 구글 AI 개요와 ChatGPT에서 모두 DMS 주소가 출처로 나왔습니다. 2층과 3층 질문 4개는 두 서비스 모두에서 인용 여부를 확인하지 못했고, 퍼플렉시티는 이번 회차에 묻지 못했습니다.
표가 넓으면 좌우로 스크롤하여 확인하세요.
| 구분 | 구글 AI 개요 | ChatGPT | 퍼플렉시티 |
|---|---|---|---|
| 1층 3개 | 3개 모두 A | 3개 모두 A | 확인 못 함 |
| 2층 3개 | 확인 못 함 | 확인 못 함 | 확인 못 함 |
| 3층 1개 | 확인 못 함 | 확인 못 함 | 확인 못 함 |
기록에서 A는 내 글이 출처나 참고 링크로 나온 경우입니다. 같은 기록 방식에는 링크 없이 사이트 이름이나 문장만 언급되면 B, 답은 나왔는데 내 글이 출처에 없으면 C, 답이나 출처 영역이 아예 뜨지 않아 재지 못했으면 하이픈(-)이 있습니다.
A의 세부 내용도 같은 무게로 읽으면 안 됩니다. 구글 AI 개요에서는 교육 커리큘럼 질문의 출처 카드에 DMS 홈페이지와 FTTx Field Training이 표시됐습니다. 메일함 자동화 질문은 출처 카드 두 개가 모두 DMS 주소였습니다. 영어 Obsidian 질문은 달랐습니다. 답변 첫 문장의 회사 이름에 DMS 영어 홈페이지 링크가 걸려 있었고, 별도 출처 카드에는 DMS가 보이지 않았습니다. 이번 기록은 목표 링크가 실제로 나왔다는 기준으로 A로 적고 이 차이를 메모에 남겼습니다. 본문 링크와 출처 카드는 같은 인용이 아닐 수 있습니다.
ChatGPT는 로그인한 상태의 임시 채팅에서 웹 검색을 켜고 물었습니다. 개인화 설정이 켜져 있었기 때문에 이 결과에는 제 계정의 기억이 섞였을 수 있습니다. 구글 AI 개요는 로그아웃한 격리 창에서 물었습니다. 그래서 두 서비스의 A를 같은 조건의 결과로 합치지 않았습니다.
ChatGPT는 영어 Obsidian 질문에 영어 페이지가 아니라 한국어 지식사전 글을 출처로 냈습니다. 같은 주제의 한국어 글과 영어 글이 둘 다 있어도 AI가 어느 쪽을 고를지는 알 수 없습니다. 영어 질문의 출처를 영어 주소로 기대하고 기록하면 틀립니다. 인용된 주소를 글자 그대로 적어야 하는 이유입니다.
확인하지 못한 칸을 C로 적지 않은 이유는 무엇입니까?
하이픈은 "내 글이 없었다"가 아니라 "없다고 말할 근거가 아직 없다"는 뜻이어서 C와 섞으면 안 됩니다. 이번 2층·3층 칸이 여기에 해당합니다.
구글 AI 개요에서는 ONU 질문과 돔형 접속함 누수 점검 질문, 바이브 코딩 질문에서 AI 답변과 일부 출처만 보였고 출처 전체를 펼쳐 보지 못했습니다. OTDR 질문은 AI 답변은 있었지만 출처 화면이 나타나지 않았습니다. 일반 검색 결과에 보이는 출처는 AI 인용으로 세지 않았습니다. ChatGPT에서는 답변이 만들어지는 도중에 ITU 권고, EXFO와 Corning 자료, IEC 표준, IBM 설명 같은 출처가 보였지만 생성이 끝나기 전이었습니다. 이 출처표만으로 마지막 답변에 DMS가 없다고 확정할 수 없어서 모두 하이픈으로 정정했습니다.
처음에 잠정 C로 적었다가 이렇게 바꾼 칸이 있습니다. 생성 도중의 출처 목록이 끝까지 그대로라는 보장이 없고, 접힌 출처 목록을 펼치지 않은 채 "없음"을 확정하면 측정값이 실제보다 나빠 보이는 방향으로 틀릴 수 있습니다. 반대로 화면에 나온 링크를 보고 A를 적는 것은 긍정 근거가 눈에 보이므로 훨씬 안전합니다. 확인된 A와 확인 못 한 하이픈의 비대칭을 그대로 기록에 두었습니다.
이 때문에 "1층은 인용됐고 2·3층은 졌다"고 요약하지 않습니다. 10월 11일 시험 측정에서 구글 AI 개요의 ONU 질문 하나는 DMS 대신 다른 사이트들이 출처로 나온 C였습니다. 하지만 그 한 칸이 2층 전체의 결론은 아닙니다. 10월 19일에는 2층·3층이 비어 있고, 지금 말할 수 있는 것은 1층 3개가 두 서비스에서 확인됐다는 범위까지입니다.
연필로 표시한 칸과 비워 둔 칸이 섞인 종이 표 위로 손이 움직이는 장면원본 전체 보기
측정이 사이트의 빈칸도 드러냈습니까?
그렇습니다. 10월 11일 시험 측정에서 ChatGPT는 교육 커리큘럼 질문에 DMS 교육 페이지를 출처로 냈으면서 두 가지를 짚었습니다. 강좌 목록은 26강인데 교육 페이지는 24강으로 표시돼 있다는 불일치, 그리고 교육 일수·시간·실습 비율·정원·비용·수료 방식이 공개되지 않았다는 공백이었습니다.
이 두 가지는 서로 다르게 처리했습니다. 불일치는 같은 날 고쳤습니다. 페이지가 강좌 파일 목록을 읽도록 바꿔 26강이 모두 표시되게 했고, 공개 화면에서 확인했습니다. 공백은 숫자를 지어내 채우지 않았습니다. 교육 일수와 비용은 대상, 인원, 설비, 현장 조건에 따라 달라지므로 사용자가 "문의 시 안내"를 선택했고, 현장 교육 FAQ에 "조건에 맞춰 상담 후 안내"라고 적었습니다. FTTx Field Training 페이지와 현장 교육 안내가 그 결과입니다.
AI가 지적한 빈칸을 모두 사실처럼 채우는 것이 목적이 아닙니다. 측정은 누락과 불일치를 찾는 데 쓰고, 값을 정하는 일은 사업 조건을 아는 사람의 결정으로 남깁니다. 이 수정이 이후 인용 횟수를 늘렸는지는 아직 알 수 없습니다. 같은 질문의 재측정 기록이 쌓이기 전에는 인과를 말하지 않겠습니다.
새로 쓴 글의 질문도 같이 잽니까?
고정 7개와 별도로, 새 글을 공개할 때마다 그 글이 실제로 답하는 질문을 질문 풀에 넣고 순번대로 재고 있습니다. 10월 19일에는 새 글 질문 5개를 ChatGPT에서 물었고 A 3개, B 2개가 기록됐습니다. A 3개 중 두 개는 AI가 기억하는 지식사전 만들기와 영어 권한 단계 글처럼 특정 글 주소가 나왔고, 나머지 하나는 AI 교육 과정 질문에 홈페이지 첫 화면 링크가 나온 경우였습니다. 이 마지막 건은 질문에 답하는 본문 인용이 아니라 안내 링크라는 한계를 같은 기록에 적어 두었습니다.
B 2개는 답변이 DMS 이름을 언급했지만 공식 문서를 찾지 못했다고 밝히고 다른 일반 자료만 연결한 경우입니다. 이름이 나왔다는 사실이 내 글이 활용됐다는 뜻은 아닙니다. 그래서 A와 B를 분리해 둡니다.
내 사이트에서 따라 하려면 어떤 순서가 좋습니까?
아래 순서는 이번 운영 기록에서 정리한 제안이며 고객 프로젝트에서 검증한 절차는 아닙니다.
- 이미 공개한 글과 페이지를 보고 그 자료가 있어야만 답할 수 있는 질문을 먼저 적습니다. 자료가 없는 질문은 1층에 넣지 않습니다.
- 독자가 실제로 물을 법한 구체적인 질문을 2층으로, 넓은 질문은 3층으로 두되 3층은 하나 정도만 둡니다.
- 질문 목록을 한 번 고정합니다. 바꿀 때는 버전을 올리고 이전 결과와 섞지 않습니다.
- 같은 서비스에는 매번 같은 조건으로 묻습니다. 로그인 여부, 개인화 설정, 웹 검색 사용 여부를 기록에 함께 적습니다.
- 답변에 나온 출처 주소와 인용 문장을 글자 그대로 적습니다. 화면을 요약해 기억에 의존하지 않습니다.
- 출처 목록을 끝까지 확인하지 못했거나 생성이 끝나지 않았으면 C가 아니라 하이픈으로 둡니다.
- 비율은 하이픈을 뺀 칸으로 계산하고, 확인 못 한 칸의 개수도 함께 적습니다.
- 한 번의 결과로 결론 내리지 않고 매주 같은 질문으로 반복합니다. 답변은 실행할 때마다 달라질 수 있기 때문입니다.
AI 인용이 늘면 문의도 늘었다고 말할 수 있습니까?
말할 수 없습니다. 인용은 AI 답변이 내 주소를 보여 줬다는 기록이고, 문의는 누군가 실제로 연락했다는 다른 종류의 기록입니다. 이번 측정 어디에도 문의나 계약이 늘었다는 근거는 없습니다. 문의 수는 사용자가 직접 알려 주기 전까지 미확인이며, 장부에 숫자가 없다고 0건으로 적지도 않습니다.
검색 순위와 AI 인용도 따로 봅니다. 일반 검색에서 1위인 글이 AI 답변에는 나오지 않을 수 있고, 반대의 경우도 있습니다. 그래서 측정표에는 일반 검색 순위와 AI 출처 여부를 서로 다른 칸에 적습니다.
한 가지 더 남는 질문이 있습니다. 앞선 운영기 공개와 기록을 나눈 이유에서 공개 결과와 장부를 분리했듯이, 이 측정도 공개된 글, 검색 클릭, AI 인용, 문의를 각각 다른 증거로 둡니다. 어느 하나가 늘었다고 다른 하나가 늘었다고 쓰지 않는 것이 이 연재의 기본 규칙입니다. 업무 자동화의 성과를 숫자로 보는 방법은 AI 도입 성과 측정에서 다른 각도로 정리했습니다.
다음에 볼 것
업무의 확인 기준과 사람이 판단할 지점을 함께 설계하려면 DMS.Labs AX 전환 설계를 보실 수 있습니다. 이 운영기의 범위는 개인 사이트의 질문 7개와 한 번의 측정 기록이며, 도입 비용이나 절감 시간, 문의·매출 효과를 약속하지 않습니다.
본문의 두 이미지는 설명용으로 새로 생성한 장면입니다. 실제 운영 화면이나 고객 현장을 촬영한 사진이 아닙니다.
