“언니, 앱은 1차 오픈에서 빠진다고 써 있던데? 견적에 왜 들어가 있어?”
같이 견적을 맞추던 디자이너 지인한테서 온 메신저. 40쪽 넘는 제안요청서를 AI 요약으로 훑고, 그 요약본을 옆에 띄워놓고 견적표를 짜던 중이었다. 요약본엔 분명 “웹과 앱 동시 구축”이라고만 있었다.
원문을 다시 열었다. 요구사항 표 맨 아래, 작은 글씨로 “단, 앱은 1차 오픈 범위에서 제외”. 웹기획 하던 시절 이런 한 줄 때문에 일정이 뒤집히는 걸 몇 번이나 봤으면서, 요약본 앞에서는 까맣게 잊었다.
사라진 건 숫자가 아니라 ‘단’이었다
처음엔 숫자가 틀렸겠거니 하고, 요약본 숫자부터 원문과 하나씩 확인해봤다. 근데 예산도, 오픈 날짜도 그대로였다. 빠진 건 “단”, “~인 경우에만”, “제외” 같은 단서 문장이었다.
Peters와 Chin-Yee의 2025년 연구는 10개 언어모델의 과학 논문 요약 4,900건을 원문과 견줬는데, AI 요약이 사람 요약보다 결론을 부풀리는 경우가 약 5배 많았다. “이 연구에서 효과가 있었다”가 “효과가 있다”로 바뀌는 식이다. 범위를 좁혀주던 말이 슬쩍 사라지면서 문장은 깔끔해지고, 뜻은 더 커진다.
논문 설명을 읽어보니 내 요약본이 딱 그 모양이었다. 문장은 훨씬 시원했고.
누가 한 말인지가 섞이는 것도 흔하더라. EBU와 BBC가 18개국 22개 공영방송과 함께 낸 2025년 보고서를 보면, 뉴스 관련 답변의 45%에서 중대한 문제가 나왔고 가장 흔한 건 출처 문제(31%)였다. 문서 요약을 잰 조사는 아니지만, 팀장 의견이 결정 사항처럼 적힌 회의록 요약을 받아본 적이 나도 있다.
ai 요약 지시, ‘정확하게’ 한마디로는 안 되더라
그 뒤로 요약을 시킬 때 “정확하게 요약해줘”를 붙였다.
그런데 위 연구에 이런 대목이 있었다. 정확하게 요약하라고 지시했더니 오히려 과잉일반화가 약 2배로 늘었다는 것. 머리를 띵 맞은 기분이었다. 든든하라고 붙인 한마디가 거꾸로 일하고 있었을 수도 있다는 소리니까.
구글 Gemini for Workspace 프롬프트 가이드는 “리더십 보고용으로 글머리표 3개로”처럼 용도·대상·형식을 넣으라고 한다. 정확하게 해달라고 비는 것보다, 뭘 남길지 콕 집어주는 쪽.
그래서 같은 제안요청서를 목적만 바꿔 세 번 요약시켜봤다.
| 목적 | 꼭 넣은 지시 |
|---|---|
| 보고용 | 결론 먼저, 숫자는 단위·기준일까지 원문 그대로 |
| 결정용 | 조건·예외·비용 빠짐없이, “단” 문장 생략 금지, 없으면 ‘문서에 없음’ |
| 공유용 | 누가 무엇을 언제까지, 발언자 표시, 의견과 사실 구분 |
결정용에서 “앱은 1차 오픈 범위에서 제외”가 제일 먼저 튀어나왔다. 보고용에서는 또 빠졌다. 결론만 앞세우라니까 단서가 밀려난 거다. 요약이 틀린 게 아니라, 내가 뭘 하려는지를 안 알려준 거였다.
따져보니 순서가 반대였다. AI가 잘 요약했는지 의심하기 전에, 내가 요약본으로 뭘 할지부터 정했어야 했다. 견적을 짤 거면 결정용이었고, 결정용 요약에서 단서가 빠지면 그건 요약이 아니라 사고다.
빠진 건 요약본만 들여다봐서는 안 보인다
그날 요약본을 몇 번이나 다시 읽어보니 그 한 줄이 없다는 건 끝내 안 보였다. 없는 문장은 아무리 읽어도 없다.
의료 기록 요약을 다룬 npj Digital Medicine 연구에서는 지어낸 비율이 1.47%, 빼먹은 비율이 3.45%였다. 지어내기보다 빼먹기가 두 배 넘게 많았던 셈이다.
좀 뜨끔했다. 뒤늦게 알았다, 나는 늘 AI가 뭘 지어냈나만 찾고 있었다는 걸.
2026년 8월에 올라온 프리프린트(동료심사 전)는 AI 평가자도 빠진 건 거의 못 잡다가, 원문에서 사실 목록을 먼저 뽑아 하나씩 대조시키니 잡더라는 내용이었다.
그래서 요즘은 이렇게 한다.
- 원문에서 숫자·날짜, “단”·”제외” 문장, 발언자를 먼저 뽑게 하고 요약과 하나씩 대조한다
- 각 문장 뒤에 원문 문단 번호를 달게 한다 (출처 번호만 믿다 낭패 본 얘기는 AI 자료조사 출처 확인기에 적었다)
- 중요한 문서는 두 번 돌려서 숫자나 결론이 다르면 원문을 연다
Anthropic의 Claude 공식 문서도 원문 인용부터 뽑게 하고, 모르면 모른다고 말하게 하라고 권한다. 그래도 환각을 완전히 없애진 못한다고 스스로 적어둔 게 오히려 믿음직했다.
카톡 안 읽은 대화 요약이나 Gmail 요약 카드는 읽을지 말지 정하는 용도까지만 쓴다. 삼성 노트 어시스트 안내에도 AI 결과의 정확성이 보장되지 않는다는 고지가 붙어 있더라. 송금이나 일정 확정은 원문을 연다.
지인이 그 한 줄을 안 짚어줬으면 앱 견적까지 얹은 숫자를 그대로 보냈을 거다. 40쪽을 다 읽기 싫어서 요약을 시켜놓고, 요약본조차 대충 읽은 건 결국 나였다.
