hacktricks/todo/test-llms.md

# Test LLMs

## Run & train models locally

### [**Hugging Face Transformers**](https://github.com/huggingface/transformers)

Hugging Face Transformers 是一个最受欢迎的开源库之一，用于使用、训练和部署 LLM，如 GPT、BERT 等。它提供了一个全面的生态系统，包括预训练模型、数据集，以及与 Hugging Face Hub 的无缝集成，以便进行微调和部署。

### [**LangChain**](https://github.com/langchain-ai/langchain)

LangChain 是一个旨在构建 LLM 应用程序的框架。它允许开发人员将语言模型与外部数据源、API 和数据库连接。LangChain 提供了用于高级提示工程、管理对话历史和将 LLM 集成到复杂工作流中的工具。

### [**LitGPT**](https://github.com/Lightning-AI/litgpt)

LitGPT 是由 Lightning AI 开发的一个项目，利用 Lightning 框架来促进基于 GPT 的模型的训练、微调和部署。它与其他 Lightning AI 工具无缝集成，提供优化的工作流程，以处理大规模语言模型，增强性能和可扩展性。

### [**LitServe**](https://github.com/Lightning-AI/LitServe)

**描述：**\
LitServe 是 Lightning AI 的一个部署工具，旨在快速高效地部署 AI 模型。它通过提供可扩展和优化的服务能力，简化了将 LLM 集成到实时应用程序中的过程。

### [**Axolotl**](https://github.com/axolotl-ai-cloud/axolotl)

Axolotl 是一个基于云的平台，旨在简化 AI 模型（包括 LLM）的部署、扩展和管理。它提供自动扩展、监控和与各种云服务集成等功能，使在生产环境中部署模型变得更加容易，而无需广泛的基础设施管理。

## Try models online

### [**Hugging Face**](https://huggingface.co/)

**Hugging Face** 是一个领先的平台和社区，专注于机器学习，特别以其在自然语言处理 (NLP) 方面的工作而闻名。它提供工具、库和资源，使开发、共享和部署机器学习模型变得更加容易。\
它提供几个部分，如：

* **Models**：一个庞大的 **预训练机器学习模型** 库，用户可以浏览、下载和集成用于文本生成、翻译、图像识别等各种任务的模型。
* **Datasets：** 一个全面的 **数据集集合**，用于训练和评估模型。它便于访问多样的数据源，使用户能够找到并利用数据以满足其特定的机器学习项目。
* **Spaces：** 一个用于托管和共享 **交互式机器学习应用程序** 和演示的平台。它允许开发人员 **展示** 他们的模型在实际中的应用，创建用户友好的界面，并通过共享实时演示与他人合作。

## [**TensorFlow Hub**](https://www.tensorflow.org/hub) **&** [**Kaggle**](https://www.kaggle.com/)

**TensorFlow Hub** 是一个由 Google 开发的可重用机器学习模块的综合库。它专注于促进机器学习模型的共享和部署，特别是那些使用 TensorFlow 构建的模型。

* **Modules：** 一个庞大的预训练模型和模型组件的集合，用户可以浏览、下载和集成用于图像分类、文本嵌入等任务的模块。
* **Tutorials：** 逐步指南和示例，帮助用户理解如何使用 TensorFlow Hub 实现和微调模型。
* **Documentation：** 综合指南和 API 参考，帮助开发人员有效利用库中的资源。

## [**Replicate**](https://replicate.com/home)

**Replicate** 是一个平台，允许开发人员通过简单的 API 在云中运行机器学习模型。它专注于使 ML 模型易于访问和部署，而无需广泛的基础设施设置。

* **Models：** 一个由社区贡献的机器学习模型库，用户可以浏览、尝试并将模型集成到他们的应用程序中，几乎不需要努力。
* **API Access：** 简单的 API 用于运行模型，使开发人员能够轻松地在自己的应用程序中部署和扩展模型。