La pile est anglaise d’abord, jusqu’en bas

Tout le monde sait que les données d’entraînement penchent vers l’anglais. C’est la première chose qu’on dit sur la couverture linguistique, et c’est vrai. C’est aussi la couche la moins intéressante du problème, parce que c’est la seule qui reçoit un budget. Celles du dessous, rarement.

Cinq endroits où l’hypothèse se cache

• Le tokenizer, ajusté à l’écriture latine, si bien que les autres systèmes paient plus de tokens pour le même sens.
• Les suites d’évaluation, qui décident qu’un modèle est prêt et sont massivement anglaises.
• La documentation et les guides de prompt, qui enseignent une manière de demander qui n’existe qu’en anglais.
• Les messages d’erreur, qui basculent en anglais exactement quand l’utilisateur est le plus perdu.
• Le folklore — les astuces qu’on s’échange sur la formulation qui marche — qui ne se transfère pas.

Pris isolément, chacun n’est qu’une égratignure. Ensemble, ils décident qui trouvera l’outil utilisable. Un produit peut être techniquement multilingue et donner quand même l’impression d’une coquille traduite posée sur une application anglaise — et les gens font la différence en une trentaine de secondes.

Ce que nous faisons

Nous traitons la langue comme une surface produit, pas comme un fichier de locale. Cela veut dire que l’interface, le comportement du modèle et l’assistance suivent la langue dans laquelle vous arrivez. Cela veut dire que nos propres évaluations tournent dans les langues que nous prétendons prendre en charge, pas seulement en anglais avec une passe de traduction ensuite. Et cela veut dire que nous poursuivons d’abord les défauts qui n’apparaissent qu’en dehors de l’écriture latine.

C’est plus lent que de livrer un produit anglais avec un sélecteur de langue. C’est aussi la seule version qui vaille la peine, parce que l’approche du sélecteur échoue précisément là où ça compte — au moment où quelqu’un tente de décrire une chose qui lui tient à cœur.

Un outil qui marche le mieux pour les utilisateurs sur lesquels il a été testé appellera toujours tous les autres une longue traîne.

Dans les langues que personne ici ne parle, nous nous tromperons. Le plan est d’être précis en public sur ce que nous avons testé, pour que l’erreur soit lisible plutôt que silencieusement absorbée par les personnes concernées.