이 기반은 맨 아래층까지 영어 우선입니다

학습 데이터가 영어로 기울어 있다는 건 누구나 압니다. 언어 지원 이야기에서 가장 먼저 나오는 말이고, 사실이기도 합니다. 하지만 이 문제에서 가장 재미없는 층이기도 합니다. 예산이 붙는 층은 여기뿐이기 때문입니다. 그 아래 층에는 좀처럼 붙지 않습니다.

그 전제가 숨어 있는 다섯 곳

• 토크나이저. 라틴 문자에 맞춰져 있어서, 다른 문자 체계는 같은 뜻에 더 많은 토큰을 냅니다.
• 평가 세트. 모델을 내보내도 되는지 정하는데, 압도적으로 영어로 되어 있습니다.
• 문서와 프롬프트 안내서. 영어에만 존재하는 질문 방식을 가르칩니다.
• 오류 메시지. 사용자가 가장 헤매는 바로 그 순간에 영어로 바뀝니다.
• 구전 지식. 어떤 표현이 통하는지에 대한 요령은 다른 언어로 옮겨 가지 않습니다.

하나씩 보면 긁힌 자국입니다. 다 합치면 누가 이 도구를 쓸 만하다고 느끼는지가 결정됩니다. 기술적으로는 다국어인 제품이 여전히 영어 앱 위에 번역 껍데기를 씌운 것처럼 느껴질 수 있고, 사용자는 삼십 초쯤이면 그 차이를 알아챕니다.

우리가 하는 일

우리는 언어를 로케일 파일이 아니라 제품의 표면으로 다룹니다. 즉 인터페이스도, 모델의 행동도, 지원도 여러분이 들어온 언어를 따라간다는 뜻입니다. 우리 평가도 지원한다고 말하는 언어들에서 돌린다는 뜻이고요. 영어로 돌리고 나중에 번역하는 게 아니라요. 그리고 라틴 문자 밖에서만 드러나는 결함부터 쫓는다는 뜻입니다.

영어 제품에 언어 전환 버튼을 달아 내보내는 것보다 느립니다. 그래도 만들 가치가 있는 쪽은 이쪽뿐입니다. 전환 버튼 방식은 정작 가장 중요한 지점에서 무너지기 때문입니다. 누군가 자기에게 소중한 것을 설명하려는 바로 그 순간에요.

시험에 쓰인 사용자에게 가장 잘 맞는 도구는 언제나 나머지 전부를 롱테일이라고 부르게 된다.

여기 아무도 하지 못하는 언어에서는 어딘가 틀릴 것입니다. 그래서 무엇을 검증했는지 공개적으로 구체적으로 적으려 합니다. 틀린 것이 눈에 보이도록, 영향을 받는 사람이 조용히 떠안는 일이 없도록.