AI चैटबॉट झूठी जानकारी इतने भरोसे के साथ क्यों बोल देता है

किसी छोटे-से विषय पर पाँच शोध-पत्र माँगिए और चैटबॉट पाँच साफ़-सुथरे रेफ़रेंस लौटा देगा — लेखक, जर्नल, साल, वॉल्यूम, पेज नंबर — जिनमें से दो कभी लिखे ही नहीं गए। जो तीन असली हैं और जो दो नक़ली, दोनों का लहज़ा बिल्कुल एक जैसा होगा। न कोई झिझक, न कोई इशारा। इन औज़ारों को गंभीरता से इस्तेमाल करने वाले हर आदमी के लिए यही सबसे उलझन भरी बात है — और इसकी वजह यह नहीं कि बनाने वालों से कोई चूक हो गई। वजह यह है कि जिस मशीन से आप बात कर रहे हैं, उसके अंदर वह काम करने का ज़रिया ही मौजूद नहीं जो आपने मान लिया था कि वह कर रही है।

मॉडल अगला टोकन अनुमान लगाता है, कहीं ढूँढ़ता नहीं

बड़ा भाषा मॉडल बस एक काम बार-बार करता है: अब तक जो टेक्स्ट है उसे देखकर यह तय करना कि आगे क्या आने की कितनी संभावना है, उसमें से एक चुनना, जोड़ देना, और फिर वही दोहराना।

इसकी इकाई शब्द नहीं, टोकन है — शब्द का टुकड़ा। "नैनोटेक्नोलॉजी" तीन-चार टुकड़ों में बँट सकती है, जबकि कोई आम शब्द एक ही टोकन हो। मॉडल हर टोकन को संख्याओं की लंबी कतार में बदलता है, उन्हें ट्रांसफ़ॉर्मर से गुज़ारता है — वही ढाँचा जो 2017 के पेपर Attention Is All You Need से आया, और जिसकी असली चाल यह है कि हर टोकन को यह तय करने के लिए बाक़ी सब टोकनों को तौलने देता है कि यहाँ उसका मतलब क्या बनता है — और दूसरे सिरे से पूरी शब्दावली के हर टोकन का एक स्कोर निकलता है। एक चुनिए। फिर से कीजिए।

ट्रेनिंग का मतलब है अरबों आंतरिक वज़नों को इतना समायोजित करना कि विशाल टेक्स्ट पर यह अनुमान कम-से-कम ग़लत हो। इस पूरी प्रक्रिया में कोई सूची नहीं बनती। अंदर तथ्यों की कोई तालिका नहीं है, किसी शोध-पत्र के लिए कोई ख़ाली ख़ाना नहीं है जिसे देखकर मॉडल कह सके कि यहाँ कुछ नहीं मिला। जो चीज़ बनती है वह यह बारीक समझ है कि इस तरह का टेक्स्ट आम तौर पर दिखता कैसा है। एक भरोसेमंद दिखने वाला रेफ़रेंस एक साँचा है — नाम, विषय से मेल खाता जर्नल, सही दायरे का साल — और साँचों में यह मशीन असाधारण रूप से अच्छी है।

तो "इसने बना क्यों दिया" का ईमानदार जवाब यह है: इसने कुछ बनाया नहीं, क्योंकि यह कभी कुछ निकाल ही नहीं रही थी। इसने वह टेक्स्ट रचा जो वहाँ फ़िट बैठता था। कई बार जो फ़िट बैठता है वही सही भी होता है, क्योंकि इसने सीखा ही ज़्यादातर सही टेक्स्ट से है। कई बार नहीं होता — और लिखते वक़्त मशीन के भीतर इन दोनों हालतों में फ़र्क़ करने वाला कुछ है ही नहीं।

रवानी और सच्चाई एक ही प्रक्रिया से पैदा होती हैं, इसलिए दोनों एक जैसे आत्मविश्वास के साथ आती हैं। इन औज़ारों को ठीक से बरतने की बाक़ी हर बात इसी एक वाक्य से निकलती है।

एक नाम, चार अलग-अलग गड़बड़ियाँ

"हैलुसिनेशन" कम-से-कम चार चीज़ों के लिए इस्तेमाल होता है, जिनके कारण और इलाज दोनों अलग हैं।

जो देखा ही नहीं। ट्रेनिंग डेटा बहुत बड़ा है, पर पूरा नहीं — और एक तारीख़ पर जाकर रुक जाता है। किसी छोटे क्षेत्रीय संस्थान, किसी कम चर्चित मानक, या पिछले महीने छपे पेपर के बारे में पूछिए, तो मॉडल के पास संकेत बहुत कमज़ोर होता है। फिर भी वह ख़ाली नहीं छोड़ता, अपना सबसे फ़िट बैठने वाला जवाब गढ़ देता है।

साँचा पूरा कर देना। रेफ़रेंस वाला मामला यही है। मॉडल ने लाखों संदर्भ देखे हैं और संदर्भ का व्याकरण पूरी तरह सीख लिया है। ठीक ढंग से गढ़ा हुआ ग़लत रेफ़रेंस बनाना उसके लिए आसान रास्ता है; ठीक ढंग से गढ़ा हुआ सही रेफ़रेंस तभी बनेगा जब वह ख़ास याद की हुई पंक्ति काफ़ी मज़बूत हो।

नमूना चुनना (सैंपलिंग)। जवाब एक संभावना-वितरण से चुना जाता है, तय तरीक़े से पढ़ा नहीं जाता। जिस सेटिंग को टेम्परेचर कहते हैं वह तय करती है कि चुनाव सबसे संभावित टोकन की ओर कितना झुकेगा। इसे घटाइए तो जवाब ज़्यादा दोहराव भरा और सँभला हुआ मिलेगा, बढ़ाइए तो ज़्यादा विविध — और ज़्यादा "कल्पनाशील" भी, शब्द के दोनों अर्थों में। जिसे आप मॉडल की राय समझ रहे हैं, उसका कुछ हिस्सा बस यह है कि आपके हिस्से कौन-सा नमूना आया।

जवाब देने का दबाव। शुरुआती ट्रेनिंग के बाद मॉडलों को इंसानी पसंद पर ढाला जाता है — इंस्ट्रक्शन ट्यूनिंग और RLHF वाला चरण। इंसानी मूल्यांकनकर्ता औसतन मना करने के मुक़ाबले पूरा, मददगार जवाब पसंद करते हैं। इसी को बेहतर बनाते जाइए तो सिस्टम में कुछ न कुछ कह देने का हल्का पर असली झुकाव आ जाता है। जो मॉडल हर अनिश्चित सवाल पर हिचकता, उसे कम नंबर मिलते — तब भी, जब हिचकना ही सही होता।

"पता नहीं" कहलवाना इतना मुश्किल क्यों है

सीधा उपाय यही लगता है कि मॉडल अपना आत्मविश्वास ख़ुद बता दे। दिक़्क़त यह है कि मॉडल की भीतरी हालत और उसका लिखा हुआ टेक्स्ट एक चीज़ नहीं हैं।

इन नेटवर्कों को भीतर से समझने वाले शोध में बार-बार ऐसे संकेत मिले हैं जो इस बात के साथ चलते हैं कि कथन सही है या मॉडल डगमगा रहा है — यानी जानकारी कुछ हद तक अंदर मौजूद है। लेकिन टेक्स्ट वाली परत रवानी और संतुष्टि के लिए ढाली गई है, और आत्मविश्वास से भरा गद्य ही रवां और संतोषजनक लगता है। इसलिए "मुझे पूरा यक़ीन है" भी बस वही टोकन हैं जिनका मॉडल ने अनुमान लगाया — यह निश्चितता की शैली है, किसी भीतरी संभावना का पाठ नहीं।

यही वजह है कि "क्या आपको पक्का यक़ीन है?" पूछना उतना बड़ा सबूत नहीं जितना लगता है। आप कोई मीटर नहीं पढ़ रहे; आप संदर्भ में ऐसा टेक्स्ट जोड़ रहे हैं जिससे माफ़ी-और-सुधार वाले टोकन ज़्यादा संभावित हो जाते हैं। मॉडल अक्सर इस दबाव में झुककर अपना सही जवाब भी बदल देते हैं। शिष्टता की ट्रेनिंग और सच्चाई की खोज यहाँ उलटी दिशाओं में खींचती हैं।

जो सचमुच काम करता है

जो उपाय काम करते हैं उन सबका ढाँचा एक है: मॉडल से याद करवाना बंद कीजिए, उसे काम करने के लिए सामग्री दीजिए।

RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) असली सिस्टमों में सबसे बड़ा उपाय है। जवाब देने से पहले सिस्टम किसी असली संग्रह में खोजता है — आपके दस्तावेज़, कोई डेटाबेस, लाइव वेब — और जो अंश मिले उन्हें संदर्भ में रख देता है। अब मॉडल वज़नों से चीज़ें दोबारा गढ़ने के बजाय सामने मौजूद टेक्स्ट पर काम करता है। इससे बहुत फ़र्क़ पड़ता है, और इसीलिए स्रोत दिखाने वाला औज़ार आम तौर पर उससे ज़्यादा भरोसेमंद होता है जो नहीं दिखाता।

पर यह इलाज नहीं है। खोज ग़लत अंश उठा ला सकती है; मॉडल उठाए हुए अंश को भी ग़लत पढ़ सकता है या उससे ज़्यादा निष्कर्ष निकाल सकता है; और वह मिले हुए तथ्य को याद किए हुए तथ्य से मिलाकर ऐसा मिश्रण बना सकता है जिसे कोई स्रोत सहारा नहीं देता। किसी दावे के आगे लगा हवाला यह साबित करता है कि सिस्टम को वह दस्तावेज़ मिला — यह नहीं कि दस्तावेज़ में वही लिखा है। उस कड़ी को जाँचने का काम अब भी आपका है।

सीमित काम ढाँचे के स्तर पर मदद करते हैं। याद करने वाले काम ("पेपरों की सूची दो") और बदलने वाले काम ("यह रहा पेपर, इसकी विधि का सार दो", "इस पैराग्राफ़ को दोबारा लिखो", "इस तालिका को CSV बनाओ", "इन आँकड़ों में विरोधाभास ढूँढ़ो") की भरोसेमंदी में बड़ा अंतर है। बदलने वाले काम में सच्चाई प्रॉम्प्ट के भीतर ही मौजूद रहती है। रोज़मर्रा के जो इस्तेमाल वाक़ई सुरक्षित हैं, उनमें से ज़्यादातर इसी क़िस्म के हैं।

एक ही सवाल दो बार। नई चैट में वही तथ्यात्मक सवाल दो-तीन बार पूछिए। जो जवाब ठोस रूप से सीखी हुई चीज़ से आता है वह दोहराता है; जो गढ़ा गया है वह बदलता रहता है, क्योंकि वह चुना गया था, निकाला नहीं गया था। जवाबों का आपस में न मिलना एक काम की चेतावनी है।

और सबसे पुराना नियम: जिसमें नाम, संख्या या तारीख़ है, उसे जाँचिए। DOI जो सचमुच खुले। ISSN जो मेल खाए। क़ानून की धारा जो मौजूद हो। जून 2023 में न्यूयॉर्क के एक वकील पर अदालत ने जुर्माना लगाया, क्योंकि उन्होंने अपनी अर्ज़ी में ऐसे फ़ैसले लगा दिए थे जो चैटजीपीटी ने गढ़े थे और जिनका कोई अस्तित्व नहीं था। अदालत की नाराज़गी मशीन की ग़लती पर नहीं थी — इस पर थी कि दाख़िल करने से पहले किसी ने वे फ़ैसले खोलकर देखे ही नहीं। सबक़ पूरा का पूरा यही है।

विद्यार्थियों और शोधकर्ताओं के लिए क्यों मायने रखता है

पढ़ने या छपने वाले किसी भी व्यक्ति के लिए इसका नतीजा कोई फ़ैसला नहीं, काम का बँटवारा है। ये मॉडल दोबारा लिखने, ड्राफ़्ट बनाने, अनुवाद करने, अनजान संकेत-पद्धति समझाने, संभावित तरीक़े सुझाने और आपके दिए हुए टेक्स्ट की आलोचना करने में सचमुच मज़बूत हैं। ये ठीक वहाँ कमज़ोर हैं जहाँ अकादमिक काम सबसे कम माफ़ करता है: सटीक संदर्भ, सटीक आँकड़े, और साहित्य का वह किनारा जहाँ ट्रेनिंग डेटा पतला पड़ जाता है।

यह असंतुलन क्यों है, यह समझ लेना ही औज़ार चलाने और औज़ार से चल जाने के बीच का फ़र्क़ है — और नौकरियाँ भी इसी परत पर हैं। प्रॉम्प्ट लिखना ऊपरी हुनर है; टिकाऊ हुनर यह जानना है कि टोकनाइज़ेशन, सैंपलिंग, फ़ाइन-ट्यूनिंग और रिट्रीवल आपस में कैसे मिलते हैं, ताकि ऐसा सिस्टम बनाया जा सके जो चुपचाप नहीं, दिखाकर फ़ेल हो। डेमो और उस चीज़ में यही अंतर है जिस पर कोई संस्थान भरोसा कर सके — और अप्लाइड AI तथा मशीन लर्निंग के पाठ्यक्रम को असल में यही सिखाना चाहिए।

अक्सर पूछे जाने वाले सवाल

AI हैलुसिनेशन क्या होता है?

यह ऐसा जवाब है जो भाषा के लिहाज़ से साफ़ और सधा हुआ है, पर ग़लत है — गढ़ा हुआ रेफ़रेंस, भरोसेमंद दिखता पर ग़लत आँकड़ा, या किसी ऐसी चीज़ का आत्मविश्वास भरा विवरण जो है ही नहीं। ऐसा इसलिए होता है कि भाषा मॉडल जाँचे हुए तथ्य निकालने के बजाय संभावित अगला हिस्सा अनुमान से रचता है।

चैटजीपीटी नक़ली संदर्भ क्यों बना देता है?

क्योंकि उसने लाखों उदाहरणों से संदर्भ का रूप सीखा है, और ठीक ढंग का रेफ़रेंस गढ़ना उस एक याद की हुई पंक्ति को हूबहू दोहराने से कहीं आसान है। लेखक के नाम, जर्नल के शीर्षक और विषय से मेल खाते साल — ये सब बहुत अनुमान-योग्य साँचे हैं, जिन्हें मॉडल भर देता है।

क्या नया या बड़ा मॉडल इस समस्या को ख़त्म कर देता है?

आकार और बेहतर ट्रेनिंग से दर घटती है, ख़ासकर उन विषयों पर जिन पर सामग्री भरपूर है — पर कारण नहीं मिटता। जब तक जवाब खोजकर नहीं, अनुमान से बनता है, तब तक रवां और ग़लत जवाब संभव रहेगा। इसीलिए मॉडल के आकार से ज़्यादा मायने स्रोत से जोड़ने और जाँचने का रखते हैं।

क्या RAG इसे हल कर देता है?

यह काफ़ी मदद करता है, क्योंकि मॉडल के सामने असली स्रोत-सामग्री रख देता है, और इसीलिए स्रोत दिखाने वाले औज़ार आम तौर पर सुरक्षित हैं। पर खोज ग़लत दस्तावेज़ ला सकती है और मॉडल उन्हें ग़लत पढ़ भी सकता है। दिखा हुआ हवाला यह साबित करता है कि दस्तावेज़ मिला, यह नहीं कि वह दावे का समर्थन करता है।

कैसे पहचानें कि जवाब गढ़ा हुआ है?

जिसमें नाम, संख्या या तारीख़ हो उसे किसी असली स्रोत से मिलाइए; वही सवाल नई चैट में दोबारा पूछकर देखिए कि जवाब टिकता है या नहीं; और ऐसे काम चुनिए जिनमें सामग्री आप दे रहे हों — सार बनाना, दोबारा लिखना, तुलना करना — बजाय इसके कि मॉडल अपनी याद से तथ्य निकाले।