#टोकनाइज़ेशन

कंप्यूटर साइंस

चैटबॉट से पूछिए कि \"कमल\" में कितने अक्षर हैं। वह इसलिए अटकता है कि उसने कभी कोई अक्षर देखा ही नहीं

20 सित॰ 2026 · 9 मिनट का पठन

जो मॉडल अवकल समीकरण समझा सकता है, वही आम शब्द के अक्षर ग़लत गिन देता है। यह उसकी तर्क-क्षमता की कमी नहीं — यह उस शब्दावली का नतीजा है जो ट्रेनिंग शुरू होने से पहले तय कर दी गई थी, और वही चुनाव हिंदी को अंग्रेज़ी से कई गुना महँगा बना देता है।

पूरा पढ़ें →