hacktricks/todo/test-llms.md

# Test LLMs

## Run & train models locally

### [**Hugging Face Transformers**](https://github.com/huggingface/transformers)

Hugging Face Transformers सबसे लोकप्रिय ओपन-सोर्स लाइब्रेरी में से एक है जिसका उपयोग, प्रशिक्षण, और LLMs जैसे GPT, BERT, और कई अन्य को तैनात करने के लिए किया जाता है। यह पूर्व-प्रशिक्षित मॉडलों, डेटासेट्स, और फाइन-ट्यूनिंग और तैनाती के लिए Hugging Face Hub के साथ सहज एकीकरण सहित एक व्यापक पारिस्थितिकी तंत्र प्रदान करता है।

### [**LangChain**](https://github.com/langchain-ai/langchain)

LangChain एक ढांचा है जिसे LLMs के साथ अनुप्रयोग बनाने के लिए डिज़ाइन किया गया है। यह डेवलपर्स को भाषा मॉडलों को बाहरी डेटा स्रोतों, APIs, और डेटाबेस के साथ जोड़ने की अनुमति देता है। LangChain उन्नत प्रॉम्प्ट इंजीनियरिंग, बातचीत के इतिहास का प्रबंधन, और जटिल वर्कफ़्लो में LLMs को एकीकृत करने के लिए उपकरण प्रदान करता है।

### [**LitGPT**](https://github.com/Lightning-AI/litgpt)

LitGPT एक प्रोजेक्ट है जिसे Lightning AI द्वारा विकसित किया गया है जो GPT-आधारित मॉडलों के प्रशिक्षण, फाइन-ट्यूनिंग, और तैनाती को सुविधाजनक बनाने के लिए Lightning ढांचे का लाभ उठाता है। यह अन्य Lightning AI उपकरणों के साथ सहजता से एकीकृत होता है, बड़े पैमाने पर भाषा मॉडलों को बेहतर प्रदर्शन और स्केलेबिलिटी के साथ संभालने के लिए अनुकूलित वर्कफ़्लो प्रदान करता है।

### [**LitServe**](https://github.com/Lightning-AI/LitServe)

**Description:**\
LitServe एक तैनाती उपकरण है जो Lightning AI से है जिसे AI मॉडलों को तेजी से और कुशलता से तैनात करने के लिए डिज़ाइन किया गया है। यह LLMs को वास्तविक समय के अनुप्रयोगों में एकीकृत करने को सरल बनाता है, स्केलेबल और अनुकूलित सर्विंग क्षमताओं को प्रदान करता है।

### [**Axolotl**](https://github.com/axolotl-ai-cloud/axolotl)

Axolotl एक क्लाउड-आधारित प्लेटफ़ॉर्म है जिसे AI मॉडलों, जिसमें LLMs शामिल हैं, की तैनाती, स्केलिंग, और प्रबंधन को सरल बनाने के लिए डिज़ाइन किया गया है। यह स्वचालित स्केलिंग, निगरानी, और विभिन्न क्लाउड सेवाओं के साथ एकीकरण जैसी सुविधाएँ प्रदान करता है, जिससे उत्पादन वातावरण में मॉडलों को तैनात करना आसान हो जाता है बिना विस्तृत अवसंरचना प्रबंधन के।

## Try models online

### [**Hugging Face**](https://huggingface.co/)

**Hugging Face** मशीन लर्निंग के लिए एक प्रमुख प्लेटफ़ॉर्म और समुदाय है, विशेष रूप से प्राकृतिक भाषा प्रसंस्करण (NLP) में इसके काम के लिए जाना जाता है। यह उपकरण, पुस्तकालय, और संसाधन प्रदान करता है जो मशीन लर्निंग मॉडलों को विकसित करने, साझा करने, और तैनात करने को आसान बनाते हैं।\
यह कई अनुभाग प्रदान करता है जैसे:

* **Models**: **पूर्व-प्रशिक्षित मशीन लर्निंग मॉडलों** का एक विशाल भंडार जहाँ उपयोगकर्ता विभिन्न कार्यों जैसे पाठ उत्पादन, अनुवाद, छवि पहचान, और अधिक के लिए मॉडलों को ब्राउज़, डाउनलोड, और एकीकृत कर सकते हैं।
* **Datasets:** प्रशिक्षण और मॉडल का मूल्यांकन करने के लिए उपयोग किए जाने वाले **डेटासेट्स का एक व्यापक संग्रह**। यह विविध डेटा स्रोतों तक आसान पहुँच की सुविधा प्रदान करता है, जिससे उपयोगकर्ता अपने विशिष्ट मशीन लर्निंग परियोजनाओं के लिए डेटा खोज और उपयोग कर सकते हैं।
* **Spaces:** **इंटरएक्टिव मशीन लर्निंग अनुप्रयोगों** और डेमो को होस्ट और साझा करने के लिए एक प्लेटफ़ॉर्म। यह डेवलपर्स को अपने मॉडलों को क्रियान्वित करते हुए प्रदर्शित करने, उपयोगकर्ता-अनुकूल इंटरफेस बनाने, और लाइव डेमो साझा करके दूसरों के साथ सहयोग करने की अनुमति देता है।

## [**TensorFlow Hub**](https://www.tensorflow.org/hub) **&** [**Kaggle**](https://www.kaggle.com/)

**TensorFlow Hub** पुन: उपयोग योग्य मशीन लर्निंग मॉड्यूल का एक व्यापक भंडार है जिसे Google द्वारा विकसित किया गया है। यह मशीन लर्निंग मॉडलों के साझा करने और तैनाती को सुविधाजनक बनाने पर केंद्रित है, विशेष रूप से उन मॉडलों पर जो TensorFlow के साथ बनाए गए हैं।

* **Modules:** पूर्व-प्रशिक्षित मॉडलों और मॉडल घटकों का एक विशाल संग्रह जहाँ उपयोगकर्ता छवि वर्गीकरण, पाठ एम्बेडिंग, और अधिक जैसे कार्यों के लिए मॉड्यूल को ब्राउज़, डाउनलोड, और एकीकृत कर सकते हैं।
* **Tutorials:** चरण-दर-चरण गाइड और उदाहरण जो उपयोगकर्ताओं को TensorFlow Hub का उपयोग करके मॉडलों को लागू करने और फाइन-ट्यून करने में मदद करते हैं।
* **Documentation:** व्यापक गाइड और API संदर्भ जो डेवलपर्स को भंडार के संसाधनों का प्रभावी ढंग से उपयोग करने में सहायता करते हैं।

## [**Replicate**](https://replicate.com/home)

**Replicate** एक प्लेटफ़ॉर्म है जो डेवलपर्स को एक सरल API के माध्यम से क्लाउड में मशीन लर्निंग मॉडलों को चलाने की अनुमति देता है। यह ML मॉडलों को आसानी से सुलभ और तैनात करने पर केंद्रित है बिना विस्तृत अवसंरचना सेटअप की आवश्यकता के।

* **Models:** मशीन लर्निंग मॉडलों का एक भंडार जो समुदाय द्वारा योगदान किया गया है जहाँ उपयोगकर्ता मॉडलों को ब्राउज़, आज़मा सकते हैं, और न्यूनतम प्रयास के साथ अपने अनुप्रयोगों में एकीकृत कर सकते हैं।
* **API Access:** मॉडलों को चलाने के लिए सरल APIs जो डेवलपर्स को अपने अनुप्रयोगों के भीतर मॉडलों को आसानी से तैनात और स्केल करने में सक्षम बनाते हैं।