CatatanTeknik5 menit
Bahasa Anda mungkin memakan lebih banyak token
Tokenisasi dipaskan ke aksara Latin. Semua orang lain membayarnya lewat latensi, konteks, dan uang.
Di tokenisasi, asumsi Inggris-dulu berhenti menjadi soal filsafat. Tokenizer belajar memotong teks berdasarkan apa yang paling sering ia lihat. Dilatih pada korpus yang condong ke Latin, ia belajar potongan panjang dan efisien untuk kata-kata Inggris, dan potongan pendek yang boros untuk selebihnya. Devanagari, Thai, Korea, dan banyak lainnya berakhir tercerai menjadi jauh lebih banyak token untuk kalimat yang sama.
Tiga akibat, tak satu pun abstrak
- Biaya: penagihan per token, jadi permintaan yang sama lebih mahal dalam sebagian bahasa.
- Konteks: jendela konteks berukuran tetap memuat lebih sedikit isi asli Anda, sehingga dokumen panjang lebih cepat terpotong.
- Latensi: makin banyak token yang harus dihasilkan, makin lambat balasannya — persis di koneksi yang memang sudah lebih lambat.
Bagian yang tidak enaknya, ini tak terlihat oleh orang yang membayarnya. Tidak ada baris tagihan yang berbunyi bahwa berpikir dalam aksara Anda lebih mahal. Yang terasa hanya perkakas yang sedikit lebih buruk, tanpa bisa dijelaskan kenapa.
Apa yang sebenarnya bisa dilakukan
Sebagian ada di tangan kami, sebagian tidak. Kami tidak melatih model garis depan, jadi kami tidak bisa menulis ulang tokenizer mereka. Yang bisa kami lakukan adalah berhenti memperparah keadaan: menjaga prompt tetap pendek dalam bahasa pengguna alih-alih menggelembungkannya dengan perancah berbahasa Inggris, melakukan caching agresif di tingkat struktur supaya tata letak yang sama tidak diturunkan ulang setiap kali, dan mengerjakan di kode hal-hal yang sama sekali tidak memerlukan model.
Kami juga mengukurnya. Untuk setiap bahasa yang didukung, kami melacak token per bangun dan waktu tampil pertama, lalu melihat jarak antara bahasa terbaik dan terburuk, bukan rata-ratanya. Rata-rata justru cara ekor panjang menjadi tak terlihat.
Kalau jaraknya terasa keliru untuk bahasa Anda, kirimkan kalimat yang Anda ketik. Laporan itu lebih berharga daripada tolok ukur, karena datang bersama kalimat yang benar-benar ingin ditulis orang sungguhan.