NotaKejuruteraan5 minit
Bahasa anda mungkin memakan lebih banyak token
Tokenisasi disesuaikan dengan tulisan Latin. Semua orang lain membayarnya melalui kelewatan, konteks dan wang.
Pada tokenisasi, andaian Inggeris-dahulu berhenti menjadi soal falsafah. Tokenizer belajar memotong teks berdasarkan apa yang paling banyak dilihatnya. Dilatih pada korpus yang condong ke Latin, ia belajar kepingan panjang dan jimat untuk perkataan Inggeris, dan kepingan pendek yang membazir untuk selebihnya. Devanagari, Thai, Korea dan banyak lagi berakhir terpecah kepada jauh lebih banyak token untuk ayat yang sama.
Tiga akibat, tiada satu pun abstrak
- Kos: bil dikira mengikut token, jadi permintaan yang sama lebih mahal dalam sesetengah bahasa.
- Konteks: tetingkap konteks bersaiz tetap memuatkan lebih sedikit kandungan sebenar anda, jadi dokumen panjang dipotong lebih awal.
- Kelewatan: lebih banyak token untuk dijana bermakna maklum balas lebih perlahan — tepat pada talian yang memang sudah perlahan.
Bahagian yang tak selesa ialah ia tidak kelihatan kepada orang yang membayarnya. Tiada baris bil yang menyatakan bahawa berfikir dalam tulisan anda lebih mahal. Mereka cuma rasa alat itu sedikit kurang elok, dan tak dapat kata kenapa.
Apa yang benar-benar boleh dibuat
Sebahagiannya di tangan kami, sebahagian lagi tidak. Kami tidak melatih model peneraju, jadi kami tak boleh menulis semula tokenizer mereka. Yang boleh kami buat ialah tidak memburukkan lagi keadaan: pastikan gesaan pendek dalam bahasa pengguna, jangan gembungkan dengan perancah bahasa Inggeris; simpan cache secara agresif pada peringkat struktur supaya reka letak yang sama tidak diterbitkan semula setiap kali; dan buat dalam kod apa yang langsung tidak memerlukan model.
Kami juga mengukurnya. Bagi setiap bahasa yang disokong, kami merekod token setiap binaan dan masa paparan pertama, dan kami melihat jurang antara bahasa terbaik dan terburuk, bukan puratanya. Purata itulah caranya ekor panjang menjadi tidak kelihatan.
Kalau jurang untuk bahasa anda nampak tak kena, hantarkan ayat yang anda taip. Laporan itu lebih bernilai daripada penanda aras, kerana ia datang bersama ayat yang benar-benar hendak ditulis oleh seorang manusia sebenar.