어젯밤에 단톡방에 캡처 한 장이 올라왔다. 새 AI 모델 벤치마크 점수표였다. 코딩 점수 80점 몇, 어디는 몇 점, 화살표가 위로 쭉. “이번 건 진짜 다르다더라.” 예전 같으면 나도 바로 앱을 열어서 기본 모델을 갈아탔다. 새로 뭐 나왔다는 말에 제일 먼저 들썩이는 사람이 나였으니까.
아니다. 지금 와서 보면 그 점수 몇 점 차이가 내 하루 작업에서 티가 난 적은 거의 없었다. 블로그 글 초안 하나 다듬고, 기획 메모 정리하고, 사진 한 장 던져놓고 물어보는 정도다. 거기서 1등 모델이랑 2등 모델이 뭐가 그렇게 달랐냐고 물으면 솔직히 잘 모르겠다. 그래서 요즘은 점수표가 떠도 앱부터 열지 않는다. 켜기 전에 보게 된 게 따로 있다.
출시됐다는 말이랑, 내가 쓸 수 있다는 건 달랐다
제일 먼저 데인 게 이거였다. 발표 기사에는 “공개”라고 뜨는데, 막상 눌러보면 나는 못 쓰는 경우.
2026년 6월 말에 오픈AI가 GPT-5.6 계열(Sol·Terra·Luna)을 내놨다는 소식이 돌았는데, 처음엔 스무 곳 남짓한 조직에만 먼저 열렸다는 얘기가 같이 붙어 있었다. 그러니까 뉴스로는 나왔어도 나 같은 일반 사용자는 아직 만질 수도 없는 상태였던 거다. 설레서 눌렀다가 대기 안내만 보고 창을 닫은 게 한두 번이 아니다.
그 뒤로는 새 모델 소식이 뜨면 성능보다 이걸 먼저 확인한다. 한국에서 되나, 무료 요금제에서도 되나, 앱에서 바로 잡히나 아니면 개발자 계정이라야 되나. 발표한 날짜랑 내가 실제로 쓸 수 있게 되는 날은 생각보다 자주 어긋난다.
점수 말고, 새 AI 모델에서 내가 확인하는 것
켜볼 수 있는 게 확인되면, 그다음은 점수표가 안 알려주는 것들이다.
하나는 돈이다. 가격이랑 무료 한도인데, 이게 제일 자주 바뀐다. 토큰당 단가가 싸다고 덜컥 좋아할 게 아니라는 것도 뒤늦게 알았다. 싸 보여도 답을 길게 뱉거나 자꾸 되물어야 하면 결국 비슷하게 든다는 거다. 2026년 7월 기준으로 공개 자료랑 공식 문서를 대조해보면, 6월 말에 나온 클로드 소네트 5가 윗급 모델에 가까운 성능을 더 낮은 값에 내놨다는 식으로 소개되던데, 이런 가격이나 한도 숫자는 여기 적어놔도 다음 달이면 또 달라져 있을 거다. 그래서 무료로 어디까지 되는지는 늘 그때그때 다시 본다. 예전에 AI 이미지 도구들 무료 한도를 하나씩 대조해본 적이 있는데, 그때 정리해둔 것도 몇 주 만에 반쯤 어긋나 있었다.
또 하나는 한국어다. 벤치마크는 대부분 영어로 재니까, 영어 1등이 내 한국어 질문에도 1등이라는 보장이 없다. 그래서 새 모델이 잡히면 평소에 내가 던지던 한국어 질문 하나를 그대로 넣어본다. 답이 어색하면 점수가 아무리 높아도 나한텐 소용이 없으니까.
그래서 갈아타냐고 물으면
결국 남는 건 갈아탈지 말지다.
조금 낫다고 매번 기본 모델을 바꾸면, 그때마다 프롬프트 습관이며 손에 붙은 흐름을 다시 맞춰야 한다. 웹기획자로 일할 때 새 서비스 나올 때마다 화면 흐름부터 다시 그리던 게 생각나는데, 그 품이 은근히 든다. 판이 이렇게 빠른데, 6월 말 나온다던 제미나이 3.5 프로도 7월로 밀렸다는 걸 보면 굳이 첫날 달려들 이유가 있나 싶기도 하고.
그래서 요즘 내 기준은 하나로 정리됐다. 벤치마크 1등을 좇기보다, 내가 매일 하는 반복 작업에서 덜 틀리는 쪽을 고른다. 그게 안 정해지면 그냥 다음 버전을 기다린다. 새 도구를 켜기 전에 검색창에서 뭘 확인하는지는 따로 적어둔 적이 있는데, 모델도 결국 비슷하더라. 도구냐 모델이냐만 다를 뿐.
그래놓고도 새 점수표가 뜨면 또 궁금해서 앱을 연다. 기준을 세운다면서, 정작 제일 못 참는 게 나다.
