सरवम एआई ने 24 बिलियन मापदंडों के साथ फ्लैगशिप ओपन-सोर्स एलएलएम डेब्यू किया प्रौद्योगिकी समाचार

जब यह SFT की बात आती है, तो सर्वाम की टीम ने गुणवत्ता और कठिनाई पर केंद्रित संकेतों के एक विस्तृत सेट पर क्यूरेट किया। उन्होंने अनुमेय मॉडल का उपयोग करके पूर्णताएं उत्पन्न कीं, उन्हें कस्टम स्कोरिंग के माध्यम से फ़िल्टर किया, और पूर्वाग्रह और सांस्कृतिक प्रासंगिकता को कम करने के लिए समायोजित आउटपुट। SFT प्रक्रिया ने Sarvam-M को ‘थिंक’ दोनों में कार्य करने के लिए प्रशिक्षित किया, जो जटिल तर्क है, और ‘गैर-विचार’ या सामान्य वार्तालाप मोड।

दूसरी ओर, RLVR के साथ, Sarvam-M को आगे एक पाठ्यक्रम का उपयोग करके प्रशिक्षित किया गया था, जिसमें निर्देश से युक्त, प्रोग्रामिंग डेटासेट और गणित शामिल थे। टीम ने कार्यों में मॉडल के प्रदर्शन को बढ़ाने के लिए कस्टम रिवार्ड इंजीनियरिंग और शीघ्र नमूनाकरण रणनीतियों जैसी तकनीकों का उपयोग किया। अनुमान अनुकूलन के लिए, मॉडल ने FP8 परिशुद्धता के लिए पोस्ट-ट्रेनिंग क्वांटाइजेशन को कम किया, सटीकता में नगण्य हानि प्राप्त की। लुकहेड डिकोडिंग जैसी तकनीकों को थ्रूपुट को बढ़ावा देने के लिए लागू किया गया था; हालांकि, उच्च संगति का समर्थन करने में चुनौतियों का उल्लेख किया गया था।

विशेष रूप से, भारतीय भाषाओं और गणित के साथ संयुक्त कार्यों में, जैसे कि रोमनकृत भारतीय भाषा GSM-8K बेंचमार्क, मॉडल ने एक प्रभावशाली +86% सुधार हासिल किया। अधिकांश बेंचमार्क में, सर्वाम-एम ने लामा -4 स्काउट को बेहतर बनाया, और यह लामा -3.3 70 बी और जेम्मा 3 27 बी जैसे बड़े मॉडलों के बराबर है। हालांकि, यह MMLU जैसे अंग्रेजी ज्ञान बेंचमार्क में एक मामूली गिरावट (~ 1%) दिखाता है।

SARVAM-M मॉडल वर्तमान में Sarvam के API के माध्यम से सुलभ है और इसे प्रयोग और एकीकरण के लिए चेहरे को गले लगाने से डाउनलोड किया जा सकता है।