hacktricks/todo/test-llms.md

# Test LLMs

## Run & train models locally

### [**Hugging Face Transformers**](https://github.com/huggingface/transformers)

Hugging Face Transformers je jedna od najpopularnijih open-source biblioteka za korišćenje, obučavanje i implementaciju LLM-ova kao što su GPT, BERT i mnogi drugi. Pruža sveobuhvatan ekosistem koji uključuje unapred obučene modele, skupove podataka i besprekornu integraciju sa Hugging Face Hub-om za fino podešavanje i implementaciju.

### [**LangChain**](https://github.com/langchain-ai/langchain)

LangChain je okvir dizajniran za izgradnju aplikacija sa LLM-ovima. Omogućava programerima da povežu jezičke modele sa spoljnim izvorima podataka, API-ima i bazama podataka. LangChain pruža alate za napredno inženjerstvo upita, upravljanje istorijom razgovora i integraciju LLM-ova u složene radne tokove.

### [**LitGPT**](https://github.com/Lightning-AI/litgpt)

LitGPT je projekat koji je razvila Lightning AI i koji koristi Lightning okvir za olakšavanje obučavanja, fino podešavanja i implementacije modela zasnovanih na GPT-u. Besprekorno se integriše sa drugim alatima Lightning AI, pružajući optimizovane radne tokove za upravljanje velikim jezičkim modelima sa poboljšanim performansama i skalabilnošću.

### [**LitServe**](https://github.com/Lightning-AI/LitServe)

**Opis:**\
LitServe je alat za implementaciju iz Lightning AI dizajniran za brzo i efikasno implementiranje AI modela. Pojednostavljuje integraciju LLM-ova u aplikacije u realnom vremenu pružajući skalabilne i optimizovane mogućnosti usluge.

### [**Axolotl**](https://github.com/axolotl-ai-cloud/axolotl)

Axolotl je platforma zasnovana na oblaku dizajnirana za pojednostavljenje implementacije, skaliranja i upravljanja AI modelima, uključujući LLM-ove. Pruža funkcije kao što su automatsko skaliranje, praćenje i integracija sa raznim cloud uslugama, olakšavajući implementaciju modela u produkcionim okruženjima bez opsežnog upravljanja infrastrukturom.

## Try models online

### [**Hugging Face**](https://huggingface.co/)

**Hugging Face** je vodeća platforma i zajednica za mašinsko učenje, posebno poznata po svom radu u obradi prirodnog jezika (NLP). Pruža alate, biblioteke i resurse koji olakšavaju razvoj, deljenje i implementaciju modela mašinskog učenja.\
Nudi nekoliko sekcija kao što su:

* **Models**: Ogroman repozitorij **unapred obučenih modela mašinskog učenja** gde korisnici mogu pretraživati, preuzimati i integrisati modele za razne zadatke kao što su generisanje teksta, prevođenje, prepoznavanje slika i još mnogo toga.
* **Datasets:** Sveobuhvatna **kolekcija skupova podataka** korišćenih za obučavanje i evaluaciju modela. Olakšava lak pristup raznolikim izvorima podataka, omogućavajući korisnicima da pronađu i koriste podatke za svoje specifične projekte mašinskog učenja.
* **Spaces:** Platforma za hostovanje i deljenje **interaktivnih aplikacija mašinskog učenja** i demo verzija. Omogućava programerima da **prikažu** svoje modele u akciji, kreiraju korisnički prijateljske interfejse i sarađuju sa drugima deljenjem uživo demo verzija.

## [**TensorFlow Hub**](https://www.tensorflow.org/hub) **&** [**Kaggle**](https://www.kaggle.com/)

**TensorFlow Hub** je sveobuhvatan repozitorij ponovo upotrebljivih modula mašinskog učenja koje je razvio Google. Fokusira se na olakšavanje deljenja i implementacije modela mašinskog učenja, posebno onih izgrađenih sa TensorFlow-om.

* **Modules:** Ogromna kolekcija unapred obučenih modela i komponenti modela gde korisnici mogu pretraživati, preuzimati i integrisati module za zadatke kao što su klasifikacija slika, ugradnja teksta i još mnogo toga.
* **Tutorials:** Vodiči i primeri korak po korak koji pomažu korisnicima da razumeju kako da implementiraju i fino podešavaju modele koristeći TensorFlow Hub.
* **Documentation:** Sveobuhvatni vodiči i API reference koje pomažu programerima da efikasno koriste resurse repozitorijuma.

## [**Replicate**](https://replicate.com/home)

**Replicate** je platforma koja omogućava programerima da pokreću modele mašinskog učenja u oblaku putem jednostavnog API-ja. Fokusira se na to da ML modeli budu lako dostupni i implementabilni bez potrebe za opsežnim postavljanjem infrastrukture.

* **Models:** Repozitorij modela mašinskog učenja koje je doprinela zajednica, gde korisnici mogu pretraživati, isprobavati i integrisati modele u svoje aplikacije uz minimalan trud.
* **API Access:** Jednostavni API-ji za pokretanje modela koji omogućavaju programerima da lako implementiraju i skaliraju modele unutar svojih aplikacija.