동료가 점심 먹다가 툭 던졌다. “AI 에이전트 에이전트 하는데, 그거 그냥 챗봇 아니야?” 나도 반박을 못 했다. 매일 켜놓고 쓰는 게 챗GPT 대화창인데, 뉴스에는 온통 AI 에이전트 얘기다. 같은 걸 이름만 바꿔 부르는 건가 싶었다.
그날 저녁에 찾아봤다. 처음엔 요즘은 챗봇도 알아서 척척 해주니까 거기서 거기라고 결론 내리려 했다. 그건 아니었다. 자료를 대조해보니 둘을 가르는 건 기능 개수가 아니라 딱 하나, 스스로 다음에 뭘 할지 정하느냐였다. 챗봇은 말하고, 에이전트는 행동한다. 이 한 줄이 생각보다 많은 걸 갈랐다.
말만 하면 챗봇, 스스로 움직이면 에이전트
내가 여태 써온 챗GPT 대화창을 떠올려보면 흐름이 늘 똑같았다. 내가 묻는다, AI가 답한다, 다음 질문은 또 내가 넣는다. 한 턴씩 주고받는 구조다. Zendesk나 Salesforce 자료를 봐도 챗봇은 이렇게 정의된다. 질문에 응답하고, 자주 묻는 질문을 걸러주고, 정해진 흐름으로 사용자를 안내하는 것까지가 챗봇의 일이다.
에이전트는 여기서 한 칸 더 나간다. 내가 최종 목표만 던지면, 그걸 여러 작은 작업으로 쪼갠 다음 필요한 도구를 스스로 골라 실행한다더라. 웹을 뒤지고, API를 부르고, 파일을 열고 결과를 만든다. ServiceNow 설명을 빌리면 인식하고, 추론하고, 도구를 고르고, 행동하는 네 단계를 한 번의 응답이 아니라 여러 단계에 걸쳐 밟는다.
검색 종합 자료에 짧고 딱 떨어지는 판별 기준이 하나 있었다. “말만 하면 챗봇, 다음에 뭘 할지 스스로 정하고 여러 도구를 넘나들며 행동하면 에이전트다.” 웹기획자로 일할 때 화면 흐름도를 그리던 습관으로 보면 이게 확 와닿았다. 챗봇은 질문-답변 화면 하나짜리 인터랙션이고, 에이전트는 그 흐름도의 여러 단계를 대신 밟아주는 쪽이다.
한 가지 더. 챗봇은 대화가 끝나면 맥락이 대체로 초기화되는데, 에이전트는 지속 메모리로 내 선호와 지난 작업을 쌓아간다는 점도 갈렸다. 나눠 정리하면 이렇다.
| 항목 | AI 챗봇 | AI 에이전트 |
|---|---|---|
| 목적 | 질문에 답한다 | 목표를 달성한다 |
| 동작 | 한 턴 응답 | 여러 단계 자율 실행 |
| 도구 | 대개 대화만 | 웹·앱·파일 등 도구 호출 |
| 맥락 | 대화 끝나면 초기화 | 메모리로 누적 |
이 차이를 두고 예전에 정리해둔 AI 에이전트가 챗봇과 뭐가 다른가 하는 글이 있었는데, 그땐 정의 위주로만 봤다. 지금 다시 보니 정작 궁금한 건 정의가 아니라 “그래서 내 일이 뭐가 달라지느냐”였다.
지금은 진짜로 뭘 시킬 수 있나
예전에는 챗봇한테 시킬 수 있는 게 “이거 요약해줘”, “이 메일 다듬어줘” 정도였다. 결국 실행은 내가 했다. 요약을 받으면 내가 붙여넣고, 다듬은 메일은 내가 보냈다. 지금은 그 실행 단계까지 넘어가려는 제품들이 줄줄이 나온 상태다.
OpenAI는 2025년 7월에 ChatGPT agent를 공개했다. 웹사이트를 직접 조작하는 능력, 정보를 깊게 종합하는 능력, 대화 지능을 하나로 합친 시스템으로, 코드를 돌리고 슬라이드나 스프레드시트를 만들고 구글 드라이브 같은 외부 데이터에도 커넥터로 접근한다고 알려져 있다. 작업 도중 내가 끼어들어 방향을 틀어도 진행 상황을 잃지 않고 이어간다는 점이 특히 눈에 들어왔다. 이어서 2026년 7월에는 ChatGPT Work라는, 연결된 앱과 파일을 오가며 몇 시간짜리 프로젝트 하나를 붙잡고 처리하는 에이전트도 나왔다더라.
OpenAI만 그런 게 아니다. Anthropic의 Claude는 화면을 보고 마우스와 키보드를 움직여 컴퓨터를 조작하는 Computer Use, 그리고 데스크톱 파일 작업을 맡는 Cowork를 내놨다. 구글은 Project Mariner에서 이어진 Gemini의 Computer Use로 브라우저 작업에, agent mode로 워크스페이스 자동화에 붙였다. 여기서 인용이 겹치는데 잠깐 멈추자면, 이걸 다 훑고 나서야 왜 회사마다 이름만 다르지 결국 비슷한 곳을 노린다는 게 보였다. 사람이 브라우저와 파일과 문서를 오가며 하던 클릭들을 AI가 대신 밟게 하는 방향이다.
완전히 알아서는 아니라는 단서
제품 목록을 훑을 땐 이제 손 떼도 되나 싶었는데, 자료마다 한 줄씩 정직하게 붙여둔 단서가 나를 멈춰 세웠다. 세 회사 에이전트 모두 시간을 의미 있게 아껴줄 만큼은 작동하지만 완전 자율은 아니다, 사람 감독이 필요하다는 것. 이 문장을 보고 오히려 마음이 놓였다. 아직은 나를 지워버리는 도구가 아니라 내 클릭을 덜어주는 도구구나 싶어서.
내 작업에 대입해봐도 그렇다. 블로그 자료 조사를 에이전트에 맡겨두고 다른 걸 하다 돌아와도, 결국 마지막엔 내가 한 줄씩 눈으로 훑는다. 목표를 주는 것과 결과를 믿는 것은 아직 다른 얘기다.
회사에서 이게 실제로 어디까지 왔나
숫자로 보면 흐름이 확실히 기울고 있다. Gartner에 따르면 2026년 말까지 기업용 앱의 40%에 특정 작업용 AI 에이전트가 탑재될 전망이란다. 2025년엔 5%도 안 됐다니, 엔터프라이즈 소프트웨어 역사에서 가장 빠른 채택 곡선 중 하나라는 말이 과장은 아니겠다 싶었다.
부서로 내려오면 좀 더 손에 잡힌다. 개발 쪽은 코드 문서 작성이나 테스트 생성, 배포 관리에 붙이고, HR은 채용 공고와 이력서 1차 분류, 면접 일정 조율 같은 반복 업무에 쓴다는 사례가 보였다. 보고서 이야기가 제일 와닿았는데, 한 사례에서는 작성에 3시간 걸리던 일이 30분 검토로 줄었다고 했다. 물론 이건 개별 기업 사례 소개라 내 상황에 그대로 적용될 숫자는 아니지만, 방향만큼은 분명하다.
일자리 걱정으로 바로 넘어가진 않으려 한다. 자료를 보면 대부분은 사람을 줄이기보다 같은 사람이 더 많은 일을 처리하는 구조로 간다는 관측이 있었다. 나도 블로그 작업을 하다 보면 이걸 실감한다. 예전엔 자료 찾고 표 만들고 정리하는 걸 다 손으로 했는데, 지금은 그 중간 단계를 덜어내고 판단할 시간이 늘었다. 일이 사라진 게 아니라 손이 가던 자리가 옮겨진 쪽에 가깝다.
그래서 아직은 다 못 맡긴다
여기까지 쓰다 보면 당장 다 시켜도 될 것 같지만, 자료의 뒷장이 나를 붙잡았다. 에이전트는 규칙이 분명한 작업엔 강하지만 맥락을 미묘하게 읽어야 하는 상황에선 자주 헛짚는다더라. 게다가 여러 단계를 자율로 밟는 구조라, 중간에 하나 틀리면 그 위에 오류가 얹힌다. 한 턴 답변인 챗봇은 틀려도 그 자리에서 끝나는데, 에이전트는 틀린 채로 계속 가버릴 수 있다는 게 좀 무섭게 다가왔다.
할루시네이션도 여전하다. 생성형 AI는 ‘진실’이 아니라 ‘그럴듯함’을 계산하는 모델이라, 근거가 없어도 멈추지 않고 자연스러운 문장으로 빈칸을 메운다. 한 검증 사례에서는 인용 45개 중 실제 출처와 정확히 맞은 게 5개뿐이었다고 한다. 이 대목에서 내 얘기를 안 할 수가 없는데, 나도 AI가 정리해준 자료를 그대로 믿었다가 출처가 통째로 없던 걸 뒤늦게 발견한 적이 있다. 그때 이후로는 숫자와 인용은 무조건 원문을 다시 열어본다.
보안 쪽 수치도 흘려보기 어려웠다. 2026년 조사에서 조직의 88%가 지난 1년간 AI 에이전트 관련 보안 사고를 확인하거나 의심했고, 정작 보안·IT 승인을 온전히 거쳐 프로덕션에 올린 곳은 14.4%뿐이었다는 것. 다들 쓰긴 쓰는데 통제는 아직 못 따라간다는 뜻이겠다. Gartner도 2027년 말까지 에이전트형 AI 프로젝트의 40% 이상이 비용과 불명확한 가치 때문에 취소될 거라고 경고했다.
그래서 나는 아직 이렇게 본다. 에이전트가 챗봇과 다른 건 맞고, 실행까지 넘어가는 흐름도 되돌아가진 않을 것 같다. 다만 목표를 던지고 손을 떼는 도구가 아니라, 목표를 던지고 중간중간 들여다보는 도구로 쓰는 게 지금 수준에선 맞겠다. 이 판단이 몇 달 뒤엔 또 낡아 있을지도 모르지만, 일단 여기까지는 붙잡고 가려 한다.
