உங்கள் மொழி என் மொழியை விட அதிக டோக்கன் எடுக்கலாம்

ஆங்கிலம் முதன்மை என்ற அனுமானம் தத்துவமாக இல்லாமல் போகும் இடம் டோக்கனைசேஷன். டோக்கனைசர், தான் அதிகம் பார்த்ததை வைத்தே உரையை எப்படித் துண்டுகளாக்குவது என்று கற்கிறது. லத்தீன் சாய்வுள்ள தரவுத்தொகுப்பில் பயின்றால், ஆங்கிலச் சொற்களுக்கு நீளமான சிக்கனமான துண்டுகளையும், மற்ற எல்லாவற்றுக்கும் குறுகிய வீணான துண்டுகளையும் கற்கிறது. தேவநாகரி, தாய், கொரியம் உள்ளிட்ட பல மொழிகள் அதே வாக்கியத்துக்கு மிக அதிகமான டோக்கன்களாகச் சிதறுகின்றன.

மூன்று விளைவுகள், எதுவும் கற்பனை அல்ல

• செலவு: டோக்கன் அடிப்படையில் கட்டணம், எனவே அதே கோரிக்கை சில மொழிகளில் அதிக விலை.
• சூழல்: நிலையான அளவுள்ள சூழல் சாளரத்தில் உங்கள் உண்மையான உள்ளடக்கம் குறைவாகவே அடங்கும்; நீண்ட ஆவணங்கள் விரைவில் வெட்டப்படும்.
• தாமதம்: உருவாக்க வேண்டிய டோக்கன் அதிகம் என்றால் பதில் மெதுவாகும் — ஏற்கெனவே மெதுவான இணைப்புகளில்தான்.

அசௌகரியமான பகுதி என்னவென்றால், இதைக் கட்டுபவருக்கு இது தெரியாது. உங்கள் எழுத்தில் சிந்திப்பது விலை அதிகம் என்று எந்த ரசீதிலும் ஒரு வரி வராது. கருவி கொஞ்சம் மோசமாக இருப்பது போல் தோன்றும், ஏன் என்று சொல்ல முடியாது.

உண்மையில் என்ன செய்ய முடியும்

இதில் ஒரு பகுதி எங்கள் கையில், ஒரு பகுதி இல்லை. நாங்கள் முன்னணி மாதிரிகளைப் பயிற்றுவிப்பதில்லை, எனவே அவற்றின் டோக்கனைசரை மாற்ற முடியாது. செய்யக்கூடியது, பிரச்சினையை மேலும் பெரிதாக்காமல் இருப்பது: தூண்டுதல்களை பயனரின் மொழியில் குறுகியதாக வைப்பது, ஆங்கிலச் சட்டகங்களால் ஊதிப் பெரிதாக்காமல் இருப்பது; அமைப்பு அளவில் தீவிரமாகச் சேமிப்பது, அதே தளவமைப்பை ஒவ்வொரு முறையும் மீண்டும் கணிக்காமல் இருப்பது; மாதிரி தேவைப்படாத வேலையைக் குறியீட்டிலேயே முடிப்பது.

அளவிடவும் செய்கிறோம். ஆதரிக்கப்படும் ஒவ்வொரு மொழிக்கும் ஒரு உருவாக்கத்துக்கான டோக்கன் எண்ணிக்கையையும் முதல் காட்சிக்கான நேரத்தையும் பதிவு செய்கிறோம்; சராசரியை அல்ல, சிறந்த மொழிக்கும் மோசமான மொழிக்கும் இடையிலான இடைவெளியைப் பார்க்கிறோம். சராசரிதான் நீண்ட வாலை மறையச் செய்யும் வழி.

உங்கள் மொழிக்கான இடைவெளி தவறாகத் தோன்றினால், நீங்கள் தட்டச்சு செய்த வாக்கியத்தை அனுப்புங்கள். அந்த அறிக்கை எந்த அளவுகோலையும் விட மதிப்புமிக்கது — ஏனெனில் ஒரு உண்மையான மனிதர் உண்மையில் எழுத நினைத்த வாக்கியம் அதனுடன் வருகிறது.