Translated ['todo/test-llms.md'] to jp

This commit is contained in:
Translator 2024-09-19 22:08:13 +00:00
parent a03f0f2d1d
commit df75ee6ed7
2 changed files with 51 additions and 0 deletions

View file

@ -838,6 +838,7 @@
* [Low-Power Wide Area Network](todo/radio-hacking/low-power-wide-area-network.md)
* [Pentesting BLE - Bluetooth Low Energy](todo/radio-hacking/pentesting-ble-bluetooth-low-energy.md)
* [Industrial Control Systems Hacking](todo/industrial-control-systems-hacking/README.md)
* [Test LLMs](todo/test-llms.md)
* [LLM Training - Data Preparation](todo/llm-training-data-preparation/README.md)
* [0. Basic LLM Concepts](todo/llm-training-data-preparation/0.-basic-llm-concepts.md)
* [1. Tokenizing](todo/llm-training-data-preparation/1.-tokenizing.md)

50
todo/test-llms.md Normal file
View file

@ -0,0 +1,50 @@
# Test LLMs
## Run & train models locally
### [**Hugging Face Transformers**](https://github.com/huggingface/transformers)
Hugging Face Transformersは、GPT、BERTなどのLLMを使用、トレーニング、デプロイするための最も人気のあるオープンソースライブラリの1つです。事前トレーニング済みモデル、データセット、ファインチューニングとデプロイメントのためのHugging Face Hubとのシームレスな統合を含む包括的なエコシステムを提供します。
### [**LangChain**](https://github.com/langchain-ai/langchain)
LangChainは、LLMを使用したアプリケーションを構築するために設計されたフレームワークです。開発者は、言語モデルを外部データソース、API、およびデータベースに接続できます。LangChainは、高度なプロンプトエンジニアリング、会話履歴の管理、およびLLMを複雑なワークフローに統合するためのツールを提供します。
### [**LitGPT**](https://github.com/Lightning-AI/litgpt)
LitGPTは、Lightning AIによって開発されたプロジェクトで、Lightningフレームワークを活用してGPTベースのモデルのトレーニング、ファインチューニング、およびデプロイを促進します。他のLightning AIツールとシームレスに統合され、大規模な言語モデルを扱うための最適化されたワークフローを提供します。
### [**LitServe**](https://github.com/Lightning-AI/LitServe)
**説明:**\
LitServeは、AIモデルを迅速かつ効率的にデプロイするために設計されたLightning AIのデプロイメントツールです。スケーラブルで最適化されたサービング機能を提供することで、LLMをリアルタイムアプリケーションに統合することを簡素化します。
### [**Axolotl**](https://github.com/axolotl-ai-cloud/axolotl)
Axolotlは、LLMを含むAIモデルのデプロイ、スケーリング、および管理を簡素化するために設計されたクラウドベースのプラットフォームです。自動スケーリング、モニタリング、さまざまなクラウドサービスとの統合などの機能を提供し、広範なインフラ管理なしで本番環境にモデルをデプロイすることを容易にします。
## Try models online
### [**Hugging Face**](https://huggingface.co/)
**Hugging Face**は、特に自然言語処理NLPにおける機械学習のための主要なプラットフォームおよびコミュニティです。機械学習モデルの開発、共有、デプロイを容易にするツール、ライブラリ、およびリソースを提供します。\
いくつかのセクションがあります:
* **Models**: テキスト生成、翻訳、画像認識などのさまざまなタスクのために、ユーザーがブラウズ、ダウンロード、統合できる**事前トレーニング済み機械学習モデル**の広範なリポジトリ。
* **Datasets:** モデルのトレーニングと評価に使用される**データセットの包括的なコレクション**。多様なデータソースへの簡単なアクセスを促進し、ユーザーが特定の機械学習プロジェクトのためにデータを見つけて利用できるようにします。
* **Spaces:** **インタラクティブな機械学習アプリケーション**やデモをホスティングおよび共有するためのプラットフォーム。開発者は、モデルを実際に動作させて**ショーケース**し、ユーザーフレンドリーなインターフェースを作成し、ライブデモを共有することで他の人とコラボレーションできます。
## [**TensorFlow Hub**](https://www.tensorflow.org/hub) **&** [**Kaggle**](https://www.kaggle.com/)
**TensorFlow Hub**は、Googleによって開発された再利用可能な機械学習モジュールの包括的なリポジトリです。特にTensorFlowで構築された機械学習モデルの共有とデプロイを促進することに焦点を当てています。
* **Modules:** 画像分類、テキスト埋め込みなどのタスクのために、ユーザーがブラウズ、ダウンロード、統合できる事前トレーニング済みモデルとモデルコンポーネントの広範なコレクション。
* **Tutorials:** ユーザーがTensorFlow Hubを使用してモデルを実装およびファインチューニングする方法を理解するのに役立つステップバイステップのガイドと例。
* **Documentation:** 開発者がリポジトリのリソースを効果的に利用するのを支援する包括的なガイドとAPIリファレンス。
## [**Replicate**](https://replicate.com/home)
**Replicate**は、開発者がシンプルなAPIを介してクラウドで機械学習モデルを実行できるプラットフォームです。広範なインフラストラクチャのセットアップなしで、MLモデルを簡単にアクセス可能かつデプロイ可能にすることに焦点を当てています。
* **Models:** コミュニティによって提供された機械学習モデルのリポジトリで、ユーザーはブラウズ、試す、アプリケーションにモデルを統合することができます。
* **API Access:** モデルを実行するためのシンプルなAPIで、開発者が自分のアプリケーション内でモデルを簡単にデプロイおよびスケールできるようにします。