새 폰이니 새 노트북이니 소개를 읽다 보면 요즘 꼭 걸리는 숫자가 있다. 38 TOPS, 40 TOPS. 처음엔 이게 무슨 화소 수 같은 건가 했다. 옆에는 “온디바이스 AI”라는 말이 붙어 있고, 내 기기 안에서 AI가 직접 돈다고 써 있다.
인터넷 없이 AI가 돈다니. 챗GPT는 창을 열면 어딘가 먼 서버랑 대화하는 거였는데, 이건 내 손안의 폰이 혼자 계산을 한다는 소리 아닌가. 그 차이가 뭔지, 나한테 뭐가 달라지는지 자료를 좀 대조해봤다.
서버로 안 보내고 폰이 직접 푼다는 뜻이었다
온디바이스 AI(On-device AI, 엣지 AI)를 정의부터 보면, AI 모델의 계산이 클라우드 서버가 아니라 내 기기 위에서 직접 실행되는 방식이다. 작은 AI 모델을 폰이나 노트북에 심어두고, 거기서 바로 처리한다. 삼성SDS와 AhnLab의 온디바이스 AI 설명을 나란히 놓고 보니 핵심 차이는 딱 하나, “어디서 계산하느냐”였다.
챗GPT 같은 클라우드 AI는 내가 입력한 걸 인터넷 너머 서버로 보내고, 거기 있는 큰 모델이 답을 만들어 다시 내 화면으로 돌려준다. 그러니 인터넷이 끊기면 못 쓴다. 데이터도 일단 기기 밖으로 나간다. 온디바이스는 그 왕복이 없다. 데이터가 폰 밖으로 안 나가고, 네트워크를 오가는 지연도 없다는 게 자료마다 공통으로 짚는 장점이었다.
기획할 때 화면 흐름을 그리면서 “이 요청이 서버 갔다 오는 데 몇 초”를 늘 신경 썼던 사람 입장에선, 그 왕복 자체가 없어진다는 말이 제일 먼저 와닿았다. 요청-응답 사이의 그 공백이 없다는 거니까.
그 38 TOPS니 하는 숫자가 바로 이 계산을 담당하는 칩 얘기였다. NPU(신경망처리장치)라는 AI 전용 칩이 딥러닝 연산을 병렬로 처리하는데, CPU나 GPU보다 전력 효율이 좋다고 한다. TOPS는 이 NPU가 초당 몇 조 번 연산하는지를 나타내는 단위고, 숫자가 클수록 더 무거운 AI 작업을 기기에서 감당한다. 마이크로소프트 공식 개발자 문서에서 확인한 건, 코파일럿+ PC 등급이 40 TOPS 이상 NPU를 단 윈도우 11 하드웨어를 가리킨다는 부분이었다. 화소 수인 줄 알았던 숫자가, 알고 보니 “이 기기가 AI를 얼마나 자기 힘으로 돌릴 수 있나”를 가리키는 눈금이었다.
나는 벌써 쓰고 있었더라
말이 거창해서 그렇지, 뒤늦게 안 건 이미 내가 쓰고 있던 기능들이 여기 속한다는 거였다. 대표적인 게 오프라인 번역이다. 예전에 비행기에서 와이파이도 안 되는데 번역기를 켰던 적이 있는데, 그때는 그냥 미리 받아둔 사전이 도는 줄로만 알았다.
아니었다. 지금 다시 보니 그게 온디바이스 AI가 폰 안에서 도는 장면이었다. 구글 Gemini Nano는 5개 언어 오프라인 동작을 지원하고, 애플 인텔리전스는 아이폰 17에서 12개 언어 오프라인 번역을 지원한다는 정리가 있었다(제품별 세부 스펙은 공식 페이지 재확인이 필요한 2차 자료다). 인터넷 없이 번역이 됐던 게 우연이 아니라, 폰 안에 번역 모델이 들어앉아 있어서였던 거다.
서버 안 거치고 폰이 혼자 하던 것들
번역 말고도 체감할 수 있는 기능이 꽤 된다는 걸 알고 나니, 그동안 무심코 쓰던 것들이 다시 보였다. 삼성 갤럭시는 통화 중 대화를 실시간 번역해 화면에 띄우고, 갤러리에서 사진 속 사물을 지우거나 배경을 채우는 편집을 기기에서 처리한다. 메시지 톤을 격식체나 캐주얼로 바꿔 다시 써주는 기능도 있다더라.
애플은 사진에서 불필요한 요소를 지우는 클린업을 제공하고, 윈도우 코파일럿+ PC는 실시간 자막에 번역을 얹거나 그림판에서 AI 이미지를 만드는 걸 로컬 NPU에서 돌린다. 예전에 사진에서 뒤에 지나가는 사람 하나 지우겠다고 다른 앱 깔고 낑낑댔던 게 생각났다. 그게 이제 기본 갤러리에서, 그것도 서버 안 거치고 된다는 거였다. 나열하고 보니 “이게 다 기기가 혼자 하는 거였어?” 싶은 것들이 대부분이었다.
그럼 클라우드 AI는 필요 없어지나
여기서 나는 혼자 결론을 냈다. 그럼 앞으로는 인터넷 없이도 챗GPT급 AI를 폰에서 다 돌리겠구나, 서버 AI는 밀려나겠구나.
따져보니 순서가 반대였다. 폰에 들어가는 모델은 작을 수밖에 없어서, 깊은 추론이나 긴 문맥, 방대한 지식이 필요한 일에선 클라우드 대형 모델에 뒤진다. “GPT-4급 추론을 대체하진 못한다”는 평이 자료들에서 대체로 일치했다. 무거운 걸 다 기기에서 돌리면 배터리가 닳고 열이 난다는 지적도 있었는데, 모바일에서 AI를 돌릴 때 가장 큰 제약이 모델 크기보다 발열이라는 대목이 특히 눈에 남았다.
그래서 실제 제품들은 완전 온디바이스가 아니라 하이브리드로 간다. 가볍고 잦은 작업은 기기가, 드물고 무거운 작업은 클라우드가 맡는 역할 분담이다. 애플은 로컬은 기기 내 모델로, 무거운 건 프라이빗 클라우드 컴퓨트로 넘기고, 삼성은 가벼운 건 Gemini Nano가, 무거운 생성 기능은 구글 Gemini 클라우드로 라우팅한다. 삼성이 온디바이스 기능 폭은 가장 넓다는 평가와, 동시에 원격 인프라 의존도도 높다는 지적이 함께 붙어 있었는데, 이 상반된 평가가 오히려 하이브리드의 실체를 잘 보여준다 싶었다. “내 기기 안에서 다 한다”가 아니라 “쉬운 건 기기가, 어려운 건 서버가”인 거다.
이 대목에서 자연스레 떠오른 게, 클라우드 AI가 전력을 많이 쓴다고 계산기까지 두드려봤던 AI 데이터센터 전력 이야기였다. 잦은 요청을 기기가 나눠 가지면 서버 호출 자체가 줄어드니, 온디바이스는 그 전력 문제를 조금 덜어주는 방향이기도 하다.
그래서 새 기기 볼 때 나는 뭘 보나
정리하면서 든 생각은, 정작 나는 그동안 이 숫자들을 화소 수처럼 흘려봤다는 거였다. TOPS가 뭔지도 모르면서 “AI 폰”이라는 말만 보고 지나쳤으니.
AI가 기기에서 얼마나 도는지는 결국 사양이 좌우한다. 애플 인텔리전스는 특정 아이폰 기종으로 제한되고, 코파일럿+ PC도 NPU 40 TOPS에 램 16GB를 못 맞추면 기능 전체를 못 쓴다. 오래된 폰이나 저사양 노트북에선 애초에 모델이 안 올라간다는 얘기다. 그러니 다음에 기기를 바꾼다면, 나는 이제 그 TOPS 숫자와 램 용량을 한 번은 들여다볼 것 같다. 여기까지는 공식 문서와 정리 자료를 대조한 수준이고, 실제 체감은 기기를 오래 써봐야 알 테니 그 판단은 아껴둔다.
한 가지 더. 온디바이스 SLM이 도구를 호출하며 스스로 일을 처리하는 흐름은, 요즘 화제인 AI 에이전트 이야기와도 맞닿아 있다. 그건 다음에 따로 붙잡아봐야겠다.
돌아보면 나는 새 기술을 늘 이렇게 배운다. 남들 다 쓰고 나서, 소개 문구의 숫자 앞에서 한참 멈춘 다음에야. 이번에도 그랬다.
