스무 장짜리 보고서를 통째로 복사해서 챗봇 창에 붙여넣었다. 좌라락 요약이 뜨는 걸 보며 오, 편하다 했다. 그대로 기획 메모에 옮겨 붙이고 넘어갈 뻔했다.
근데 요약을 다시 읽다가 한 군데서 멈칫했다. 보고서 한가운데 있던, 나한테는 제일 중요했던 예산 조건 하나가 통째로 빠져 있었다. 앞쪽 배경 설명하고 맨 끝 결론은 멀쩡한데, 딱 중간만 없었다. 처음엔 내가 잘못 붙여넣었나 했다.
AI 챗봇한테 긴 자료를 넘길 때 이게 은근히 자주 생기는 일이라는 걸, 나는 이 요약 하나 놓치고 나서야 알았다.
앞뒤는 잘 보고 가운데를 흘린다
한 번 놓치고 나니 신경이 쓰여서 찾아봤다. 그러다 “Lost in the Middle”이라는 말을 알게 됐다. 우리말로 옮기면 중간에서 길을 잃는다, 정도. 스탠퍼드 연구진이 2023년에 정리한 현상이라는데(Nelson F. Liu 외), 요지는 이렇다. 긴 텍스트를 한꺼번에 넣으면 AI가 맨 앞과 맨 끝 정보는 잘 붙잡는데 중간에 있는 정보는 잘 흘린다는 거다.
읽고 나서야 내 요약이 왜 그 모양이었는지 이해가 됐다. 하필 내가 챙겨야 했던 조건이 문서 딱 가운데 박혀 있었으니까. 정보가 안 중요해서 빠진 게 아니라 그냥 자리가 가운데여서 주목을 덜 받은 거였다. 위치에 따라 정확도가 20%포인트 넘게 떨어지기도 한다는 정리도 있더라(Towards AI 등).
여기서 내가 제일 크게 착각했던 게 하나 있다. 요즘 챗봇은 한 번에 읽어들이는 분량이 엄청 늘었으니까, 그냥 다 때려 넣으면 알아서 다 본다고 믿었던 거다. 아니었다. 이 가운데 흘리는 버릇은 한 번에 삼킬 수 있는 양이 훨씬 커진 최신 모델에서도 여전히 관측된다더라(DEV Community, 2026). 창이 커진 거지, 가운데를 놓치는 습성이 사라진 게 아니었던 거다.
그래서 더 고약하다. 요약이 아예 엉망이면 다시 시키기라도 할 텐데, 겉보기엔 매끄럽고 그럴듯한데 조용히 한가운데만 빠져 있으니까. 안 읽고 넘기면 티도 안 난다.
그래서 붙여넣기 대신 이렇게 바꿨다
문제를 알고 나서 요약 시키는 방식을 세 가지로 바꿨다. 대단한 기술은 아니고, 손이 조금 더 가는 대신 가운데를 덜 흘리는 쪽으로.
먼저 텍스트를 긁어 붙이는 대신 파일을 그냥 업로드한다. 챗GPT는 PDF나 문서 파일을 올려서 읽고 요약해준다는 걸 공식 도움말에서 확인했다. 파일당 512MB, 문서는 파일당 200만 토큰까지라고 안내돼 있더라. 붙여넣다 중간이 잘리거나 표 서식이 깨지는 사고가 확 줄고, 같은 파일에 계속 다른 걸 물어볼 때도 편하다. 다만 붙여넣기랑 업로드 중 뭐가 요약을 더 잘하느냐를 수치로 딱 비교한 1차 자료는 못 찾았다. 그건 내 체감이 그렇다는 정도로만 적어둔다.
둘째, 정말 긴 문서는 잘라서 요약하고 그 요약을 다시 합친다. 흔히 청킹이라고 부르는 방식이다. 챕터나 섹션 단위로 잘라서 조각마다 따로 요약을 받은 다음, 그 요약 모음을 한 문단으로 다시 정리하게 한다. 구간별로 나눠 독립적으로 요약한 뒤 종합하는 이 방식이 앞·중간 정보를 살리는 데 강하다는 연구도 있다(Frontiers in AI, 2025). 처음엔 뭘 이렇게까지 하나 싶었는데, 막상 해보니 통째로 넣었을 때 나던 가운데 구멍이 확 줄었다.
셋째, 그냥 “요약해줘” 대신 요약의 틀을 미리 짜서 준다. 예전에 화면 하나 만들 때도 그랬다. “적당히 예쁘게요”라고 넘기면 늘 산으로 갔고, 어디에 뭐가 들어가는지 칸을 그려주면 그제야 맞는 게 나왔다. 챗봇도 똑같더라. 역할을 정해주고, 뽑을 항목을 지정하고, 출력 형식을 걸어준다. 예를 들면 이렇게 던진다.
“너는 회의록 정리 담당자야. 아래 자료에서 결정 사항 / 담당자 / 마감일만 표로 뽑아줘. 추측은 넣지 말고, 없는 항목은 ‘미정’으로.”
이렇게 칸을 먼저 잡아주면 답이 튀는 폭이 확 줄어든다. 역할과 형식, 제약을 같이 걸어주면 결과가 안정된다는 건 프롬프트 관련 자료에서도 공통으로 짚는 부분이다.
요약을 믿기 전에 한 번 되묻는다
이제는 요약을 받아도 바로 안 믿는다. 특히 긴 문서일수록.
방법은 단순하다. 원문 가운데쯤 있던 항목 하나를 콕 집어서 되묻는다. “이 문서에서 예산 조건에 대해 뭐라고 했는지만 다시 알려줘.” 이렇게 물었을 때 요약에서 통으로 빠졌던 게 있으면 여기서 바로 드러난다. 처음 그 예산 조건도, 이렇게 되물었더니 그제야 챗봇이 원문에서 찾아 꺼내줬다.
솔직히 이 되묻는 한 줄이 세 가지 방법 중에 제일 게으르면서 제일 잘 먹혔다.
아니, 게으르다는 말은 취소해야겠다. 게으른 게 아니라, 결국 문서에서 뭐가 중요한지는 내가 알아야 되묻을 수 있는 거였다. 챗봇이 알아서 다 챙겨줄 거라던 처음 그 믿음이 딱 여기서 무너졌다. 편하자고 넘긴 건데, 뭐가 빠지면 안 되는지는 여전히 내 몫이더라.
그러니 긴 자료 요약 시킬 일 있으면, 붙여넣고 나온 결과를 그냥 믿지 말고 가운데 한 줄만 되물어보길. 그거 하나로 조용히 빠진 걸 잡을 때가 꽤 있다.
