hacktricks/todo/test-llms.md

# Test LLMs

## Run & train models locally

### [**Hugging Face Transformers**](https://github.com/huggingface/transformers)

Hugging Face Transformers é uma das bibliotecas de código aberto mais populares para usar, treinar e implantar LLMs como GPT, BERT e muitos outros. Oferece um ecossistema abrangente que inclui modelos pré-treinados, conjuntos de dados e integração perfeita com o Hugging Face Hub para ajuste fino e implantação.

### [**LangChain**](https://github.com/langchain-ai/langchain)

LangChain é uma estrutura projetada para construir aplicações com LLMs. Permite que os desenvolvedores conectem modelos de linguagem a fontes de dados externas, APIs e bancos de dados. LangChain fornece ferramentas para engenharia de prompt avançada, gerenciamento de histórico de conversas e integração de LLMs em fluxos de trabalho complexos.

### [**LitGPT**](https://github.com/Lightning-AI/litgpt)

LitGPT é um projeto desenvolvido pela Lightning AI que aproveita a estrutura Lightning para facilitar o treinamento, ajuste fino e implantação de modelos baseados em GPT. Integra-se perfeitamente com outras ferramentas da Lightning AI, proporcionando fluxos de trabalho otimizados para lidar com modelos de linguagem em larga escala com desempenho e escalabilidade aprimorados.

### [**LitServe**](https://github.com/Lightning-AI/LitServe)

**Descrição:**\
LitServe é uma ferramenta de implantação da Lightning AI projetada para implantar modelos de IA de forma rápida e eficiente. Simplifica a integração de LLMs em aplicações em tempo real, fornecendo capacidades de serviço escaláveis e otimizadas.

### [**Axolotl**](https://github.com/axolotl-ai-cloud/axolotl)

Axolotl é uma plataforma baseada em nuvem projetada para simplificar a implantação, escalonamento e gerenciamento de modelos de IA, incluindo LLMs. Oferece recursos como escalonamento automatizado, monitoramento e integração com vários serviços em nuvem, facilitando a implantação de modelos em ambientes de produção sem a necessidade de gerenciamento extensivo de infraestrutura.

## Try models online

### [**Hugging Face**](https://huggingface.co/)

**Hugging Face** é uma plataforma e comunidade líder em aprendizado de máquina, particularmente conhecida por seu trabalho em processamento de linguagem natural (NLP). Fornece ferramentas, bibliotecas e recursos que facilitam o desenvolvimento, compartilhamento e implantação de modelos de aprendizado de máquina.\
Oferece várias seções como:

* **Models**: Um vasto repositório de **modelos de aprendizado de máquina pré-treinados** onde os usuários podem navegar, baixar e integrar modelos para várias tarefas como geração de texto, tradução, reconhecimento de imagem e mais.
* **Datasets:** Uma **coleção abrangente de conjuntos de dados** usados para treinar e avaliar modelos. Facilita o acesso fácil a diversas fontes de dados, permitindo que os usuários encontrem e utilizem dados para seus projetos específicos de aprendizado de máquina.
* **Spaces:** Uma plataforma para hospedar e compartilhar **aplicações interativas de aprendizado de máquina** e demonstrações. Permite que os desenvolvedores **demonstrem** seus modelos em ação, criem interfaces amigáveis e colaborem com outros compartilhando demonstrações ao vivo.

## [**TensorFlow Hub**](https://www.tensorflow.org/hub) **&** [**Kaggle**](https://www.kaggle.com/)

**TensorFlow Hub** é um repositório abrangente de módulos reutilizáveis de aprendizado de máquina desenvolvidos pelo Google. Foca em facilitar o compartilhamento e a implantação de modelos de aprendizado de máquina, especialmente aqueles construídos com TensorFlow.

* **Modules:** Uma vasta coleção de modelos pré-treinados e componentes de modelo onde os usuários podem navegar, baixar e integrar módulos para tarefas como classificação de imagem, incorporação de texto e mais.
* **Tutorials:** Guias passo a passo e exemplos que ajudam os usuários a entender como implementar e ajustar modelos usando o TensorFlow Hub.
* **Documentation:** Guias abrangentes e referências de API que auxiliam os desenvolvedores a utilizar efetivamente os recursos do repositório.

## [**Replicate**](https://replicate.com/home)

**Replicate** é uma plataforma que permite que os desenvolvedores executem modelos de aprendizado de máquina na nuvem por meio de uma API simples. Foca em tornar os modelos de ML facilmente acessíveis e implantáveis sem a necessidade de configuração extensiva de infraestrutura.

* **Models:** Um repositório de modelos de aprendizado de máquina contribuídos pela comunidade que os usuários podem navegar, experimentar e integrar modelos em suas aplicações com esforço mínimo.
* **API Access:** APIs simples para executar modelos que permitem que os desenvolvedores implantem e escalem modelos sem esforço dentro de suas próprias aplicações.