hacktricks/todo/test-llms.md

# Test LLMs

## Esegui e addestra modelli localmente

### [**Hugging Face Transformers**](https://github.com/huggingface/transformers)

Hugging Face Transformers è una delle librerie open-source più popolari per utilizzare, addestrare e distribuire LLM come GPT, BERT e molti altri. Offre un ecosistema completo che include modelli pre-addestrati, dataset e integrazione senza soluzione di continuità con l'Hugging Face Hub per il fine-tuning e la distribuzione.

### [**LangChain**](https://github.com/langchain-ai/langchain)

LangChain è un framework progettato per costruire applicazioni con LLM. Permette agli sviluppatori di connettere modelli linguistici con fonti di dati esterne, API e database. LangChain fornisce strumenti per l'ingegneria avanzata dei prompt, la gestione della cronologia delle conversazioni e l'integrazione degli LLM in flussi di lavoro complessi.

### [**LitGPT**](https://github.com/Lightning-AI/litgpt)

LitGPT è un progetto sviluppato da Lightning AI che sfrutta il framework Lightning per facilitare l'addestramento, il fine-tuning e la distribuzione di modelli basati su GPT. Si integra senza soluzione di continuità con altri strumenti di Lightning AI, fornendo flussi di lavoro ottimizzati per gestire modelli linguistici su larga scala con prestazioni e scalabilità migliorate.

### [**LitServe**](https://github.com/Lightning-AI/LitServe)

**Descrizione:**\
LitServe è uno strumento di distribuzione di Lightning AI progettato per distribuire rapidamente ed efficientemente modelli AI. Semplifica l'integrazione degli LLM in applicazioni in tempo reale fornendo capacità di servizio scalabili e ottimizzate.

### [**Axolotl**](https://github.com/axolotl-ai-cloud/axolotl)

Axolotl è una piattaforma basata su cloud progettata per semplificare la distribuzione, la scalabilità e la gestione di modelli AI, inclusi gli LLM. Offre funzionalità come scalabilità automatizzata, monitoraggio e integrazione con vari servizi cloud, rendendo più facile distribuire modelli in ambienti di produzione senza una gestione infrastrutturale estesa.

## Prova modelli online

### [**Hugging Face**](https://huggingface.co/)

**Hugging Face** è una piattaforma e comunità leader per l'apprendimento automatico, particolarmente nota per il suo lavoro nell'elaborazione del linguaggio naturale (NLP). Fornisce strumenti, librerie e risorse che rendono più facile sviluppare, condividere e distribuire modelli di apprendimento automatico.\
Offre diverse sezioni come:

* **Modelli**: Un vasto repository di **modelli di apprendimento automatico pre-addestrati** dove gli utenti possono navigare, scaricare e integrare modelli per vari compiti come generazione di testo, traduzione, riconoscimento di immagini e altro.
* **Dataset:** Una **collezione completa di dataset** utilizzati per addestrare e valutare modelli. Facilita l'accesso a fonti di dati diverse, consentendo agli utenti di trovare e utilizzare dati per i loro specifici progetti di apprendimento automatico.
* **Spazi:** Una piattaforma per ospitare e condividere **applicazioni di apprendimento automatico interattive** e dimostrazioni. Permette agli sviluppatori di **mostrare** i loro modelli in azione, creare interfacce user-friendly e collaborare con altri condividendo dimostrazioni dal vivo.

## [**TensorFlow Hub**](https://www.tensorflow.org/hub) **&** [**Kaggle**](https://www.kaggle.com/)

**TensorFlow Hub** è un repository completo di moduli di apprendimento automatico riutilizzabili sviluppati da Google. Si concentra sul facilitare la condivisione e la distribuzione di modelli di apprendimento automatico, specialmente quelli costruiti con TensorFlow.

* **Moduli:** Una vasta collezione di modelli pre-addestrati e componenti di modelli dove gli utenti possono navigare, scaricare e integrare moduli per compiti come classificazione delle immagini, embedding di testo e altro.
* **Tutorial:** Guide passo-passo ed esempi che aiutano gli utenti a comprendere come implementare e ottimizzare modelli utilizzando TensorFlow Hub.
* **Documentazione:** Guide complete e riferimenti API che assistono gli sviluppatori nell'utilizzare efficacemente le risorse del repository.

## [**Replicate**](https://replicate.com/home)

**Replicate** è una piattaforma che consente agli sviluppatori di eseguire modelli di apprendimento automatico nel cloud tramite una semplice API. Si concentra sul rendere i modelli ML facilmente accessibili e distribuibili senza la necessità di una configurazione infrastrutturale estesa.

* **Modelli:** Un repository di modelli di apprendimento automatico contribuiti dalla comunità che gli utenti possono navigare, provare e integrare nei loro applicativi con il minimo sforzo.
* **Accesso API:** API semplici per eseguire modelli che consentono agli sviluppatori di distribuire e scalare modelli senza sforzo all'interno delle proprie applicazioni.