토크나이저는 전략을 숨기지 않는다

어떤 회사가 어느 언어를 진짜 고객으로 생각하는지 알고 싶다면, IR 자료를 볼 필요가 없다. 토크나이저 효율 도표 하나면 충분하다.

토크나이저는 LLM이 텍스트를 처리할 때 언어를 잘게 나누는 방식이다. 영어를 기준값 1로 놓았을 때, 같은 내용을 다른 언어로 입력하면 몇 배의 토큰을 소모하는지가 이 수치다. API 과금 구조에서 토큰은 곧 비용이고, 비용은 곧 접근성이다. 힌디어 사용자는 영어 사용자보다 같은 말을 하는 데 최대 3배 가까운 비용을 낸다.

이게 단순히 데이터 부족의 문제일까. 꼭 그렇지만은 않다.

DeepSeek과 Qwen은 중국어를 영어보다 오히려 더 효율적으로 처리한다. 각각 0.87x, 0.85x 수준이다. 단순히 중국어 데이터가 많아서가 아니다. 그 언어를 중심에 두고 토크나이저를 설계했기 때문이다.

반면 Anthropic의 힌디어는 3.11x다. 힌디어 화자는 14억 명에 달한다.

사용자가 많다고 자동으로 우선순위가 생기지는 않는다. 데이터가 많다고 의지가 따라오는 것도 아니다. 결국 저 도표는 “우리는 누구를 중심에 두고 만드는가”에 대한 꽤 솔직한 고백에 가깝다.

Anthropic의 수치가 전반적으로 낮은 것은 기술력 부족으로 보기 어렵다. 오히려 현재 사업 구조의 반영에 가깝다. 주요 수익원이 미국과 서유럽 기업 API 고객이라면, 힌디어나 아랍어 최적화는 우선순위에서 밀릴 가능성이 높다.

반면 Google이 모체인 Gemini는 다르다. 전 세계 검색과 소비자 서비스를 커버해야 하는 회사에게 언어 다양성은 선택이 아니라 인프라다. Alibaba 기반의 Qwen 역시 동남아, 중동, 인도 시장 확장을 고려하면 설명이 자연스럽다.

흥미로운 건 한국과 일본의 역설이다.

지정학적 관점에서 보면 한국은 현재 글로벌 AI 공급망에서 중요한 위치를 점하고 있다. 반도체와 인프라 측면에서 이미 깊게 연결돼 있다. 반면 일본은 자국 중심 생태계를 유지하려는 성향이 강하다.

그런데 토크나이저 수치는 반대 방향을 가리킨다. Anthropic 기준 일본어는 1.94x, 한국어는 2.59x다.

시장 위상과 언어 투자 우선순위가 일치하지 않는다.
결국 공급망 파트너십과 사용자 시장은 서로 다른 기준으로 기록된다.

이 불일치는 기술보다 조직의 시간차로 설명하는 편이 자연스럽다. 시장의 중요도가 바뀌었다고 내부 우선순위가 즉시 따라오지는 않는다. 기존 파트너십과 사업 성과, 조직 관성이 반영되기까지는 시간이 걸린다. 일본은 이미 그 축적 시간을 먼저 확보했다.

저 도표를 단순한 기술 벤치마크로 보면 그냥 아쉬운 숫자들이다.

하지만 전략 지도로 읽으면 얘기가 달라진다. 각 회사가 향후 5년의 성장 동력을 어느 시장에서 찾고 있는지가 드러난다.

회사는 말로 전략을 설명한다.
하지만 토크나이저는 이미 그 전략을 실행하고 있다.