여러분의 언어가 제 언어보다 토큰을 더 먹을지도 모릅니다

토크나이즈는 영어 우선이라는 전제가 더 이상 철학이 아니게 되는 지점입니다. 토크나이저는 가장 많이 본 것을 기준으로 글을 조각내는 법을 배웁니다. 라틴 쪽으로 기운 말뭉치에서 배우면 영어 단어에는 길고 효율적인 조각을, 나머지에는 짧고 낭비가 큰 조각을 익힙니다. 데바나가리, 태국 문자, 한글 등은 같은 문장에서도 훨씬 더 많은 토큰으로 쪼개집니다.

세 가지 결과, 어느 것도 추상적이지 않습니다

• 비용: 토큰 단위로 청구되니 같은 요청도 어떤 언어에서는 더 비쌉니다.
• 문맥: 고정된 문맥 창에 실제 내용이 덜 들어가서, 긴 문서일수록 더 일찍 잘립니다.
• 지연: 생성할 토큰이 많아지면 응답이 느려집니다. 이미 느린 회선에서 더욱더요.

불편한 지점은 값을 치르는 사람 눈에 이것이 보이지 않는다는 것입니다. “당신의 문자로 생각하면 더 비쌉니다”라는 항목은 어디에도 없습니다. 그저 도구가 조금 별로라고 느끼고, 왜인지는 말하지 못합니다.

실제로 할 수 있는 일

일부는 우리 손에 있고 일부는 아닙니다. 우리는 프런티어 모델을 학습시키지 않으니 그 토크나이저를 다시 쓸 수는 없습니다. 할 수 있는 것은 문제를 더 키우지 않는 일입니다. 프롬프트는 사용자의 언어로 짧게 유지하고 영어 발판으로 부풀리지 않기, 구조 단위로 적극적으로 캐시해서 같은 배치를 매번 다시 끌어내지 않기, 모델이 전혀 필요 없는 일은 코드에서 처리하기.

측정도 합니다. 지원하는 언어마다 빌드당 토큰 수와 첫 화면까지의 시간을 기록하고, 평균이 아니라 가장 좋은 언어와 가장 나쁜 언어의 격차를 봅니다. 평균이야말로 롱테일이 보이지 않게 되는 방식이니까요.

여러분의 언어에서 격차가 이상해 보이면 실제로 입력한 문장을 보내 주세요. 그 제보는 벤치마크보다 값집니다. 진짜 사람이 정말로 쓰고 싶었던 문장이 함께 오기 때문입니다.