सर्च अब आपके शब्द नहीं ढूँढ़ता। वह उस जगह के पास का बिंदु ढूँढ़ता है जहाँ आपका मतलब बैठता है

बीस साल पहले सर्च इंजन आपके शब्द ढूँढ़ता था। आप लिखते "डोसा तवे पर चिपक जाता है क्या करें" तो वह उन्हीं शब्दों वाले पन्ने निकालता, इस हिसाब से क्रम देकर कि कौन-सा शब्द कितना दुर्लभ है और उस पन्ने पर कितनी जगहों से लिंक आते हैं। आज आप किसी आधी-याद आई अवधारणा का वर्णन उसके असली शब्द इस्तेमाल किए बिना लिख दीजिए और सही दस्तावेज़ मिल जाता है। बीच में कुछ बदला है, और वह यह नहीं कि मशीन आपको समझने लगी। बदला यह है कि आपका वाक्य संख्याओं की सूची में बदल दिया गया है, और खोज अब ज्यामिति है।

अर्थ को निर्देशांक में बदलना

एम्बेडिंग मॉडल किसी टेक्स्ट को लेकर एक वेक्टर लौटाता है — कुछ सौ से कुछ हज़ार संख्याओं की क्रमबद्ध सूची। वह सूची उतने ही आयामों वाले क्षेत्र में एक स्थान है जितनी संख्याएँ हैं। मॉडल इस तरह सिखाया गया है कि जो टेक्स्ट एक जैसे ढंग से इस्तेमाल होते हैं, वे एक जैसी जगहों पर जा बैठें।

इसके नीचे का विचार पुराना और भाषाई है: किसी शब्द की पहचान उसकी संगत से बनती है। अगर दो शब्द लगातार वैसे ही दूसरे शब्दों से घिरे मिलते हैं, तो वे भाषा में एक जैसा काम कर रहे हैं, शब्दकोश चाहे जो कहे। पर्याप्त टेक्स्ट पर ऐसे लक्ष्य के साथ मॉडल सिखाइए जो उसे संदर्भ का अनुमान लगाने पर मजबूर करे, और यह समानता दूरी बन जाती है। शुरुआती दौर का मशहूर प्रदर्शन यही था कि शब्द-वेक्टरों पर जोड़-घटाव समझदार नतीजे देता है — राजा का वेक्टर, उसमें से पुरुष घटाकर स्त्री जोड़िए, और नतीजा रानी के पास जा बैठता था — जो चौंकाने वाला इसलिए था कि यह किसी ने प्रोग्राम किया ही नहीं था। यह बस इस गिनती से निकल आया कि कौन-सा शब्द किसके पास आता है।

आज के सिस्टम अकेले शब्दों के बजाय पूरे वाक्य और दस्तावेज़ एम्बेड करते हैं, और उनके ट्रांसफ़ॉर्मर ख़ास इस तरह सिखाए जाते हैं कि सवाल और उसका जवाब देने वाला अंश पास-पास आ जाएँ। यह आख़िरी बात जितनी सुनाई देती है उससे ज़्यादा अहम है: मॉडल "संबंधित" की किसी एक ख़ास परिभाषा के लिए ढाला गया है, जिसे उसके सिखाने वाले ने चुना था।

पास होना कोण से क्यों नापा जाता है

दो वेक्टर मिलने पर समानता का मानक माप है कोसाइन समानता — उनके बीच के कोण का कोसाइन, जो एक ही दिशा के लिए 1, असंबंधित के लिए 0, और उलटी दिशा के लिए −1 तक जाता है।

सीधी दूरी के बजाय कोण, क्योंकि एम्बेडिंग वेक्टर की लंबाई आम तौर पर वे बातें दिखाती है जिनमें दिलचस्पी नहीं — जैसे दस्तावेज़ कितना लंबा है या शब्द कितनी बार आया — जबकि अर्थ दिशा में बैठा होता है। एक ही विषय पर लिखे दो अनुच्छेद, जिनमें एक तीन गुना लंबा हो, एक ही ओर इशारा करते हैं।

तो खोज इस तरह होती है: सवाल को एम्बेड कीजिए, जमा किए गए वेक्टरों में से वे निकालिए जिनका कोण सबसे कम है, और वही दस्तावेज़ लौटा दीजिए।

दस लाख बिंदु देखे बिना उनमें खोजना

हर जमा वेक्टर से सवाल की तुलना करना सटीक है और बड़े पैमाने पर नामुमकिन। एक करोड़ दस्तावेज़ गुणा एक हज़ार आयाम यानी हर खोज पर एक हज़ार करोड़ गुणा।

इसलिए असली सिस्टम सन्निकट निकटतम पड़ोसी तरीक़े इस्तेमाल करते हैं, और "सन्निकट" शब्द यहाँ सचमुच काम कर रहा है। एक तरीक़ा ऐसा जाल बनाता है जिसमें हर वेक्टर अपने पड़ोसियों से जुड़ा है, और खोज किसी शुरुआती बिंदु से चलकर सवाल की ओर बढ़ती जाती है, हर क़दम पर पास आते हुए और डेटा के बहुत छोटे हिस्से को छूते हुए। दूसरा क्षेत्र को हिस्सों में बाँट देता है और सिर्फ़ सवाल के पास वाले कुछ हिस्सों में खोजता है। तीसरा वेक्टरों को दबाकर छोटे कोड में बदल देता है ताकि कहीं ज़्यादा वेक्टर मेमोरी में समाएँ, कुछ सटीकता की क़ीमत पर।

ये सब रिकॉल को रफ़्तार के बदले बेचते हैं: कभी-कभी ये ऐसा दस्तावेज़ छोड़ देंगे जो सचमुच सबसे पास वालों में था। यह जानबूझकर लिया गया इंजीनियरिंग फ़ैसला है, एक पैरामीटर से तय होता है, और इसीलिए वेक्टर डेटाबेस में ऐसी सेटिंग होती हैं जो चुपचाप बदल देती हैं कि आपके उपयोगकर्ताओं को क्या मिलेगा। कोई सिस्टम पाँच प्रतिशत सही जवाब छोड़ता रह सकता है और फिर भी पूरी तरह स्वस्थ दिख सकता है।

एम्बेडिंग की समानता अर्थ का माप नहीं है। यह इस बात का माप है कि जिस डेटा पर मॉडल सिखाया गया, उसमें दो चीज़ें कितने एक जैसे ढंग से इस्तेमाल हुई थीं — जो अक्सर एक ही बात होती है, और कभी-कभी ठीक उलटी।

"मिलती-जुलती" से असल में मिलता क्या है

यही फ़र्क़ नाकामियाँ पैदा करता है, और वे इतनी नियमित हैं कि उनके लिए पहले से योजना बनाई जा सकती है।

विलोम शब्द पास-पास बैठते हैं। गरम और ठंडा लगभग एक जैसे वाक्यों में आते हैं — नल खोलिए तो, कमरा है, खाना हो गया। बाँट के लिहाज़ से वे जुड़वाँ हैं, इसलिए एम्बेडिंग उन्हें पास रख देती है। किसी उत्पाद की तारीफ़ वाली समीक्षाएँ ढूँढ़िए और सिस्टम बुराई वाली समीक्षाएँ भी सहर्ष सामने रख देगा।

निषेध लगभग दर्ज ही नहीं होता। "जिस अध्ययन में कोई संबंध नहीं मिला" और "जिस अध्ययन में संबंध मिला" — इनमें फ़र्क़ एक शब्द का है और अर्थ पूरा उसी में है, पर एम्बेडिंग उस फ़र्क़ को लगभग शून्य में दबा देती है। वैज्ञानिक या क़ानूनी टेक्स्ट खोजने वाले किसी के लिए यह किनारे का मामला नहीं है।

क्षेत्र का बेमेल होना दिखता नहीं। जो मॉडल ज़्यादातर आम अंग्रेज़ी वेब पर सिखाया गया है, वह तकनीकी शब्दावली को मोटे तौर पर ही बिठाएगा, और जिन भाषाओं का डेटा उसने कम देखा उनमें कहीं ज़्यादा कमज़ोर रहेगा। ज़्यादातर भारतीय भाषाओं के लिए एम्बेडिंग की गुणवत्ता अंग्रेज़ी से काफ़ी पीछे है, और कमज़ोर बहुभाषी मॉडल पर खड़ा रिट्रीवल सिस्टम चुपचाप फ़ेल होता है — वह दस नतीजे तब भी देता है, बस वे घटिया होते हैं।

पूर्वाग्रह भी साथ चला आता है। चूँकि यह पूरी ज्यामिति इंसानी टेक्स्ट में शब्दों के साथ-साथ आने के आँकड़ों से बनी है, उस टेक्स्ट में मौजूद जुड़ाव इस क्षेत्र में दिशाएँ बन जाते हैं। यह बार-बार दिखाया जा चुका है, और मायने इसलिए रखता है कि एम्बेडिंग अब दस्तावेज़ छाँटने, उम्मीदवार मिलाने और सामग्री का क्रम तय करने में बढ़-चढ़कर इस्तेमाल हो रही हैं।

यह अब हर चीज़ के नीचे क्यों बैठी है

टेक्स्ट के वेक्टर बन जाने के बाद कई अलग समस्याएँ एक ही समस्या बन जाती हैं। सिमैंटिक सर्च निकटतम पड़ोसी खोजना है। सिफ़ारिश उपयोगकर्ता और वस्तुओं को एक ही क्षेत्र में रखकर यह देखना है कि उपयोगकर्ता के पास क्या है। दोहराव हटाना और समूह बनाना पास-पास वालों को जोड़ना है। असामान्यता पकड़ना उन बिंदुओं को ढूँढ़ना है जो सबसे दूर पड़े हैं। और बहु-माध्यम मॉडल तस्वीरों और टेक्स्ट को एक ही क्षेत्र में रख देते हैं, जिससे आप वाक्य लिखकर तस्वीरें खोज पाते हैं।

और RAG — यानी AI सहायक से अपने दस्तावेज़ों के आधार पर जवाब दिलवाने का मानक तरीक़ा — असल में एम्बेडिंग खोज है, जिसके बाद भाषा मॉडल आता है। इस पर ज़ोर देना ज़रूरी है क्योंकि इसे व्यापक रूप से ग़लत समझा जाता है: ख़राब जवाब देने वाले ज़्यादातर RAG सिस्टमों में गड़बड़ी भाषा मॉडल में नहीं होती। खोज के क़दम ने उसे ग़लत अंश थमा दिए थे, और बेकार टेक्स्ट से भरे संदर्भ को कोई प्रॉम्प्ट इंजीनियरिंग नहीं सुधार सकती। रिट्रीवल की गुणवत्ता पूरे सिस्टम की छत है, और यही वह हिस्सा है जिसे कोई नापता नहीं।

व्यावहारिक जवाब यह है कि चुनना ही मत

कीवर्ड सर्च कभी हारा नहीं था; उसके साथ एक और चीज़ जुड़ गई। शब्द मिलाने वाली पुरानी खोज आज भी ठीक उन्हीं चीज़ों में बेहतर है जिनमें एम्बेडिंग सबसे कमज़ोर है: दुर्लभ सटीक स्ट्रिंग, उत्पाद कोड, त्रुटि संदेश, उपनाम, कोई ISSN, कोई धारा संख्या। वेक्टर मॉडल आपके पार्ट नंबर जैसा कुछ लौटाएगा। कीवर्ड इंडेक्स आपका पार्ट नंबर लौटाता है।

इसलिए गंभीर सिस्टम हाइब्रिड रिट्रीवल चलाते हैं — कीवर्ड खोज और वेक्टर खोज साथ-साथ, नतीजे मिलाकर, और फिर एक धीमा तथा ज़्यादा सटीक मॉडल ऊपर के उम्मीदवारों को दोबारा क्रम देता है, सवाल और दस्तावेज़ को साथ पढ़कर — पहले से निकाले गए बिंदुओं की तुलना करके नहीं। पहला चरण तेज़ और मोटा है, दूसरा महँगा और बारीक़, और वह सिर्फ़ उन कुछ दर्जन दस्तावेज़ों पर लगाया जाता है जो पहले चरण से बचे।

विद्यार्थियों और शोधकर्ताओं के लिए क्यों मायने रखता है

एम्बेडिंग इस समय व्यावहारिक मशीन लर्निंग का सबसे उपयोगी प्रतिनिधित्व-विचार है, और इसे समझ लेना यह बदल देता है कि आप बनाते क्या हैं। ये बिखरे हुए टेक्स्ट को ऐसी चीज़ में बदल देती हैं जिस पर गणित किया जा सके — इसीलिए ये सर्च, सिफ़ारिश, समूहन, दोहराव-सफ़ाई और हर रिट्रीवल पाइपलाइन में दिखती हैं।

ये किसी माप को ईमानदारी से पढ़ने का सबसे साफ़ उपलब्ध सबक़ भी हैं। कोसाइन समानता किन्हीं भी दो टेक्स्ट के लिए −1 और 1 के बीच एक आत्मविश्वास भरा नंबर दे देती है, उन दो के लिए भी जिनका आपस में कोई लेना-देना नहीं — और वह नंबर अर्थ नहीं, इस्तेमाल का ढंग बताता है। ये दोनों कब अलग हो जाते हैं — निषेध, विलोम, तकनीकी शब्दावली, अनजान भाषा — यह जानना ही उस रिट्रीवल सिस्टम और इस रिट्रीवल सिस्टम के बीच का फ़र्क़ है जो चलता तो दिखता है पर चलता नहीं।

यहाँ असली शोध की जगह भी है, ख़ासकर भारतीय भाषाओं के लिए, जहाँ अंग्रेज़ी और बाक़ी सब के बीच का अंतर थोड़ी-सी ट्यूनिंग का मामला नहीं, खुला सवाल है। ऐसा रिट्रीवल सिस्टम जो हिंदी, तमिल या बांग्ला में सचमुच ठीक चले, अंग्रेज़ी मॉडल के इर्द-गिर्द एक और आवरण बनाने से कहीं ज़्यादा क़ीमती चीज़ है।

अक्सर पूछे जाने वाले सवाल

एम्बेडिंग क्या है?

यह किसी टेक्स्ट का प्रतिनिधित्व करने वाली संख्याओं की सूची है, जो ऐसे मॉडल से बनती है जिसे इस तरह सिखाया गया है कि एक जैसे संदर्भों में इस्तेमाल हुए टेक्स्ट की सूचियाँ भी एक जैसी हों। ये संख्याएँ निर्देशांक की तरह काम करती हैं, इसलिए दो टेक्स्ट की तुलना दो बिंदुओं की दूरी नापना बन जाती है।

सिमैंटिक सर्च कीवर्ड सर्च से किस तरह अलग है?

कीवर्ड सर्च वे दस्तावेज़ ढूँढ़ता है जिनमें आपके शब्द हों। सिमैंटिक सर्च आपके सवाल को वेक्टर में बदलकर ऐसे दस्तावेज़ ढूँढ़ता है जिनके वेक्टर उसी दिशा में हों — इसलिए वह ऐसा वर्णन भी मिला सकता है जिसका दस्तावेज़ से एक भी शब्द साझा न हो।

वेक्टर खोज कभी-कभी साफ़ दिखते नतीजे क्यों छोड़ देती है?

क्योंकि लाखों वेक्टरों में सटीक खोज बहुत धीमी है, इसलिए सिस्टम सन्निकट तरीक़े इस्तेमाल करते हैं जो रफ़्तार के बदले कुछ सही नतीजे छोड़ देते हैं। साथ ही एम्बेडिंग निषेध ठीक से नहीं सँभालती और विलोम शब्दों को पास रख देती है, क्योंकि वे एक जैसे संदर्भों में आते हैं।

RAG क्या है?

यह ऐसा सिस्टम है जो दस्तावेज़ों के संग्रह में से संबंधित अंश खोजकर भाषा मॉडल को देता है, ताकि जवाब उन्हीं से बने। इसकी सटीकता खोज वाले क़दम पर बहुत निर्भर है — ग़लत अंश मिले तो मॉडल उसकी भरपाई नहीं कर सकता।

सर्च सिस्टम में कीवर्ड चुनें या एम्बेडिंग?

दोनों। कोड, नाम और पहचान संख्या जैसी सटीक स्ट्रिंग के लिए कीवर्ड मिलान बेहतर है, जबकि एम्बेडिंग पर्यायवाची और वर्णन सँभालती है। असली सिस्टम आम तौर पर दोनों चलाते हैं और फिर मिले-जुले नतीजों को ज़्यादा सटीक मॉडल से दोबारा क्रम देते हैं।