ज़्यादातर टीमें मॉडल को फ़ाइन-ट्यून कर बैठती हैं, जबकि ज़रूरत सिर्फ़ उसे दस्तावेज़ थमाने की थी

कोई कंपनी तय करती है कि उसे ऐसा सहायक चाहिए जो उसके अपने उत्पाद, नीतियाँ और इतिहास जानता हो। पहला ख़याल लगभग हमेशा यही आता है कि मॉडल को कंपनी के दस्तावेज़ों पर ट्रेन कर दिया जाए। यह साफ़ तौर पर सही लगता है — मशीन को वह सिखा दो जो हम जानते हैं — और आम तौर पर यह उस नतीजे तक पहुँचने का सबसे महँगा रास्ता होता है, जो किसी कहीं सादे तरीक़े से एक दोपहर में उससे बेहतर मिल जाता।

वजह एक ऐसा फ़र्क़ है जो साफ़-साफ़ शायद ही कभी बताया जाता है। किसी आम मॉडल से कोई ख़ास काम करवाने के तीन रास्ते हैं, और तीनों अलग ख़राबियाँ ठीक करते हैं। इनमें से चुनना किसी भी व्यावहारिक AI परियोजना का सबसे असरदार फ़ैसला है, और यह सही से ज़्यादा बार ग़लत लिया जाता है।

तीन घुंडियाँ, एक नहीं

प्रॉम्प्ट निर्देश और सामग्री मॉडल के इनपुट में रख देता है। मॉडल में कुछ नहीं बदलता; आप बस उसे बता रहे हैं कि क्या करना है और वह चीज़ दे रहे हैं जिस पर करना है। यह तुरंत होता है, दोहराने में मुफ़्त है, और पलटा जा सकता है। इसकी सीमाएँ हैं संदर्भ की लंबाई, और यह कि आप जो भी टोकन भेजते हैं उसकी क़ीमत हर एक कॉल पर चुकानी पड़ती है।

रिट्रीवल वही प्रॉम्प्ट है, बस उसके आगे एक खोज जुड़ी होती है। सवाल आते ही सिस्टम आपके दस्तावेज़ों में से काम के अंश ढूँढ़कर संदर्भ में रख देता है, ताकि मॉडल याददाश्त से नहीं, सामने मौजूद टेक्स्ट से जवाब दे। मॉडल अब भी नहीं बदला।

फ़ाइन-ट्यूनिंग सचमुच मॉडल के वज़न बदल देती है, उसे काम के उदाहरणों पर और सिखाकर। तीनों में यही अकेला रास्ता है जो मॉडल को ही बदलता है — और इसीलिए यही अकेला धीमा, महँगा और पलटने में मुश्किल भी है।

फ़ाइन-ट्यूनिंग सचमुच किसमें अच्छी है

फ़ाइन-ट्यूनिंग मॉडल को यह सिखाती है कि जवाब कैसे दे। इसमें उससे ज़्यादा आता है जितना सुनाई देता है।

यह रूप के लिए सही औज़ार है: घर की अपनी शैली, एक जैसा लहज़ा, ऐसा सख़्त आउटपुट ढाँचा जो हर बार ठीक से पढ़ा जा सके, किसी क्लीनिकल नोट या क़ानूनी सार को गढ़ने का कोई ख़ास तरीक़ा। यह काम की बनावट के लिए सही है — कोई असामान्य निर्देश-पैटर्न जिससे मॉडल बार-बार भटक जाता है, या आपके संगठन का अपना वर्गीकरण। और यह क्षेत्र की भाषा के लिए सही है: मॉडल से वैसा लिखवाना जैसा उस विशेष क्षेत्र के लोग सचमुच लिखते हैं, न कि जैसा कोई आम सहायक उनकी नक़ल करता है।

और यह लागत के लिए सही औज़ार है। अगर कोई बड़ा मॉडल आपका काम अच्छे से करता है और छोटा नहीं, तो छोटे मॉडल को बड़े के जवाबों पर फ़ाइन-ट्यून करना — यानी डिस्टिलेशन — आपको ज़्यादातर गुणवत्ता बहुत कम क़ीमत और देरी पर दे सकता है। जो सेवा लगातार एक जैसा ट्रैफ़िक सँभालती है, उसके लिए असली बचत अक्सर यहीं है।

तथ्यों पर फ़ाइन-ट्यूनिंग उल्टी क्यों पड़ती है

तथ्य वही जगह हैं जहाँ पहला ख़याल नाकाम होता है, और वह दो अलग वजहों से नाकाम होता है।

पहली वजह साफ़ है: रखरखाव। वज़न ख़ुद को अपडेट नहीं करते। मॉडल में ट्रेन किया गया तथ्य वहीं जम जाता है: दाम बदल गया, नीति संशोधित हो गई, उत्पाद बंद हो गया — और आपके पास ऐसा मॉडल है जो पिछली तिमाही का जवाब पूरे आत्मविश्वास से दे रहा है, और उसे सुधारने का रास्ता दोबारा ट्रेनिंग के सिवा कुछ नहीं। इससे भी बुरी बात, वह कुछ भी हवाला नहीं दे सकता। रिट्रीवल सिस्टम वह अंश दिखा सकता है जिससे उसने जवाब बनाया; फ़ाइन-ट्यून किया मॉडल सिर्फ़ यह बता सकता है कि अब वह क्या मानता है।

दूसरी वजह कम ज़ाहिर और ज़्यादा नुक़सानदेह है, और यह लोगों को चौंकाती है। इस पर हुए शोध में पाया गया है कि जब आप मॉडल को ऐसे तथ्यों पर फ़ाइन-ट्यून करते हैं जो उसे पहले से नहीं आते थे, तो वे उदाहरण धीरे-धीरे ही पकड़ में आते हैं — और जैसे-जैसे वे पकड़ में आते हैं, दूसरे सवालों पर मॉडल का गढ़ने का झुकाव बढ़ जाता है। इसकी व्याख्या असहज है पर समझ में आती है: मॉडल "यह बात सच है" को एक अलग-थलग तथ्य की तरह सीख ही नहीं सकता। ट्रेनिंग के संकेत से वह जो सीखता है वह एक बर्ताव है — इस शक्ल का आत्मविश्वास भरा, ठोस दावा करो — और फिर वही बर्ताव वह उन पड़ोसी सवालों पर भी लगा देता है जिनके बारे में उसे कुछ पता ही नहीं। आप उसे कुछ सिखाने चले थे और सिखा आए आत्मविश्वास से बोलना।

रिट्रीवल बदलती है कि मॉडल क्या देख सकता है। फ़ाइन-ट्यूनिंग बदलती है कि मॉडल बर्ताव कैसे करता है। ज़्यादातर नाकाम परियोजनाओं ने इनमें से एक से वह समस्या ठीक करवानी चाही जो दूसरे की थी।

फ़ाइन-ट्यूनिंग होती असल में कैसे है

अब हर वज़न दोबारा ट्रेन करने वाले कम ही हैं। किफ़ायती पैरामीटर वाले तरीक़ों का बोलबाला है, और सबसे आम तरीक़ा मूल मॉडल को पूरी तरह जमा रहने देता है और हर परत के साथ छोटे, कम-रैंक वाले मैट्रिक्सों की एक जोड़ी सिखाता है — यानी एक अडैप्टर, जो ज़रूरी समायोजन पकड़ लेता है और मूल को छूता तक नहीं। नतीजा गीगाबाइट नहीं, मेगाबाइट में नपने वाली फ़ाइल है, जिसकी कई प्रतियाँ अलग-अलग कामों के लिए रखी और चलते वक़्त बदली जा सकती हैं, और जो मामूली हार्डवेयर पर भी चल जाती है।

यह चलेगी या नहीं, यह दो व्यावहारिक बातों से तय होता है।

डेटा की गुणवत्ता मात्रा पर भारी है। कुछ सौ सावधानी से गढ़े उदाहरण, जो ठीक वही बर्ताव दिखाते हों जो आपको चाहिए, आम तौर पर हज़ारों बेतरतीब, बेमेल उदाहरणों से बेहतर नतीजा देंगे। फ़ाइन-ट्यूनिंग डेटा में जो भी पैटर्न है उसे बढ़ा देती है — लापरवाही समेत। सफल फ़ाइन-ट्यून की ज़्यादातर मेहनत ट्रेनिंग में नहीं, उदाहरण चुनने में लगती है।

सँकरी ट्रेनिंग सामान्य क्षमता घटा देती है। मॉडल को एक काम की ओर ज़ोर से धकेलिए और वह बाक़ी कामों में कमज़ोर हो जाता है — इसे कैटास्ट्रॉफ़िक फ़ॉरगेटिंग कहते हैं। जो मॉडल किसी एक तरह के दस्तावेज़ से जानकारी निकालने में उम्दा बना दिया गया, वह आम बातचीत, तर्क या किसी दूसरी भाषा में साफ़ तौर पर कमज़ोर पड़ सकता है। अगर आपके सिस्टम को दोनों चाहिए, तो यह सौदा मान लेने के बजाय नापना पड़ेगा।

आज़माने का क्रम क्या हो

व्यावहारिक क्रम लगभग हमेशा एक ही है, और वह सबसे सस्ते से शुरू होता है।

पहले प्रॉम्प्ट। जिन दिक़्क़तों का निदान "मॉडल काफ़ी अच्छा नहीं है" कर दिया जाता है, उनका हैरान करने वाला हिस्सा असल में निर्देश की दिक़्क़त होती है, और काम ठीक से समझा देने तथा दो-चार हल किए उदाहरण दे देने पर वह ग़ायब हो जाती है।

अगर जवाब ऐसी जानकारी पर टिका है जो मॉडल के पास होने की उम्मीद ही नहीं की जा सकती — आपके दस्तावेज़, ताज़ा आँकड़े, या कुछ भी जिसका हवाला देना ज़रूरी हो या जो बदलता रहता हो — तो रिट्रीवल लीजिए। यह कोई घटिया विकल्प नहीं है; तथ्यों पर टिके जवाब के लिए यही सही विकल्प है, और कितनी भी फ़ाइन-ट्यूनिंग इसकी जगह नहीं ले सकती।

अगर मॉडल काम साफ़ तौर पर कर सकता है पर बार-बार ग़लत शक्ल में करता है, और ईमानदार कोशिश के बाद भी प्रॉम्प्ट से बात नहीं बनी, तो बर्ताव के लिए फ़ाइन-ट्यून कीजिए। और अगर वह काम अच्छा करता है पर बहुत धीरे या बहुत महँगा, तो छोटे मॉडल को फ़ाइन-ट्यून कीजिए, बड़े के जवाबों पर।

अगर उसमें कोई असली क्षमता ही नहीं है — किसी विशेष क्षेत्र में तर्क करना, या ऐसी भाषा जो उसने मुश्किल से देखी हो — तो यह कठिन मामला है, और इसमें आम तौर पर काम-भर की फ़ाइन-ट्यूनिंग से ज़्यादा चाहिए। यह साफ़ कहना ज़रूरी है, क्योंकि भारतीय भाषाओं के काम में यही स्थिति सबसे ज़्यादा आती है, और ईमानदार जवाब अक्सर यही होता है कि अनुकूलन उस मॉडल को नहीं बचा सकता जिसने उस भाषा का पर्याप्त डेटा कभी देखा ही नहीं।

इन सबके नीचे एक शर्त है जिसे लगातार छोड़ दिया जाता है: मूल्यांकन का सेट कुछ भी बदलने से पहले बनाइए। असली जैसे मामलों का तय सेट और हर बार एक ही तरह से दिया गया अंक न हो, तो आप जान ही नहीं सकते कि फ़ाइन-ट्यून से फ़ायदा हुआ या नहीं — और टीमें अक्सर ऐसे बदलाव तैनात कर देती हैं जिन्होंने हालत बिगाड़ी, और किसी ने नापा ही नहीं।

विद्यार्थियों और शोधकर्ताओं के लिए क्यों मायने रखता है

ज़्यादातर संगठनों में — भारत में या कहीं और — अग्रिम पंक्ति की प्री-ट्रेनिंग कभी नहीं होगी। लगभग सारा व्यावहारिक काम अनुकूलन है: किसी सक्षम आम मॉडल को लेकर उससे एक काम भरोसे के साथ, सस्ते में और तय देरी के भीतर करवाना। नौकरी का विवरण यही है, और उसमें दुर्लभ हुनर फ़ाइन-ट्यूनिंग की स्क्रिप्ट चला लेना नहीं है, जो अब चंद पंक्तियों का काम है।

दुर्लभ हुनर है निदान: बिगड़े हुए सिस्टम को देखकर सही-सही पहचानना कि उसके पास जानकारी की कमी है, निर्देश की कमी है, क्षमता की कमी है, या बस उसका मूल्यांकन ही ख़राब है। इन चारों के इलाज अलग हैं और लक्षण मिलते-जुलते। यह फ़ैसला सही हो जाए तो महीने बच जाते हैं, और ग़लत हो जाए तो इस क्षेत्र की सबसे आम चीज़ बनती है — महँगे में फ़ाइन-ट्यून किया गया ऐसा मॉडल जो पुराने पड़ चुके जवाब पूरे आत्मविश्वास से देता है और यह नहीं बता सकता कि वे आए कहाँ से।

अक्सर पूछे जाने वाले सवाल

फ़ाइन-ट्यूनिंग और RAG में क्या फ़र्क़ है?

फ़ाइन-ट्यूनिंग उदाहरणों पर मॉडल के वज़न ट्रेन करके बदल देती है कि वह बर्ताव कैसे करे। RAG मॉडल को छुए बिना सवाल आने पर आपके दस्तावेज़ों में खोज करती है और काम का टेक्स्ट इनपुट में रख देती है, ताकि जवाब सामने मौजूद सामग्री से बने।

क्या मुझे अपनी कंपनी के दस्तावेज़ों पर मॉडल फ़ाइन-ट्यून करना चाहिए?

आम तौर पर नहीं। वज़न में ट्रेन किए गए तथ्य पुराने पड़ जाते हैं, उनका हवाला नहीं दिया जा सकता, और दोबारा ट्रेनिंग के बिना उन्हें बदला नहीं जा सकता। जानकारी के लिए सही औज़ार रिट्रीवल है; फ़ाइन-ट्यूनिंग बर्ताव, रूप और लागत के लिए है।

क्या नए तथ्यों पर फ़ाइन-ट्यूनिंग से हैलुसिनेशन बढ़ता है?

बढ़ सकता है। अध्ययनों में पाया गया है कि सचमुच नई जानकारी सिखाने वाले उदाहरण धीरे-धीरे पकड़ में आते हैं, और जैसे-जैसे आते हैं, मॉडल असंबंधित सवालों पर जवाब गढ़ने लगता है — क्योंकि वह तथ्य नहीं, आत्मविश्वास से दावा करने का बर्ताव सीखता है।

LoRA क्या है?

यह फ़ाइन-ट्यूनिंग का किफ़ायती तरीक़ा है, जो मूल मॉडल को जमा रहने देता है और उसके साथ छोटे कम-रैंक वाले अडैप्टर मैट्रिक्स सिखाता है। बनने वाली फ़ाइलें छोटी होती हैं, अलग-अलग कामों के बीच बदली जा सकती हैं, और पूरी फ़ाइन-ट्यूनिंग से कहीं कम हार्डवेयर पर सिखाई जा सकती हैं।

फ़ाइन-ट्यूनिंग के लिए कितना डेटा चाहिए?

ज़्यादातर लोगों की उम्मीद से कम, बशर्ते वह अच्छा हो। मनचाहे बर्ताव को ठीक-ठीक दिखाने वाले कुछ सौ सावधानी से लिखे उदाहरण आम तौर पर हज़ारों बेमेल उदाहरणों से बेहतर रहते हैं, क्योंकि फ़ाइन-ट्यूनिंग ट्रेनिंग डेटा के हर पैटर्न को दोहरा देती है — उसकी ख़ामियों समेत।