hacktricks/todo/test-llms.md

Test LLMs

Run & train models locally

Hugging Face Transformers

Hugging Face Transformers to jedna z najpopularniejszych bibliotek open-source do używania, trenowania i wdrażania LLM-ów, takich jak GPT, BERT i wielu innych. Oferuje kompleksowy ekosystem, który obejmuje modele wstępnie wytrenowane, zbiory danych oraz bezproblemową integrację z Hugging Face Hub do dostosowywania i wdrażania.

LangChain

LangChain to framework zaprojektowany do budowania aplikacji z LLM-ami. Umożliwia programistom łączenie modeli językowych z zewnętrznymi źródłami danych, API i bazami danych. LangChain zapewnia narzędzia do zaawansowanego inżynierii promptów, zarządzania historią rozmów oraz integracji LLM-ów w złożonych przepływach pracy.

LitGPT

LitGPT to projekt opracowany przez Lightning AI, który wykorzystuje framework Lightning do ułatwienia trenowania, dostosowywania i wdrażania modeli opartych na GPT. Integruje się bezproblemowo z innymi narzędziami Lightning AI, zapewniając zoptymalizowane przepływy pracy do obsługi dużych modeli językowych z poprawioną wydajnością i skalowalnością.

LitServe

Opis:
LitServe to narzędzie do wdrażania od Lightning AI zaprojektowane do szybkiego i efektywnego wdrażania modeli AI. Ułatwia integrację LLM-ów w aplikacjach w czasie rzeczywistym, zapewniając skalowalne i zoptymalizowane możliwości serwowania.

Axolotl

Axolotl to platforma oparta na chmurze zaprojektowana w celu uproszczenia wdrażania, skalowania i zarządzania modelami AI, w tym LLM-ami. Oferuje funkcje takie jak automatyczne skalowanie, monitorowanie i integrację z różnymi usługami chmurowymi, co ułatwia wdrażanie modeli w środowiskach produkcyjnych bez rozbudowanego zarządzania infrastrukturą.

Try models online

Hugging Face

Hugging Face to wiodąca platforma i społeczność dla uczenia maszynowego, szczególnie znana z pracy w przetwarzaniu języka naturalnego (NLP). Oferuje narzędzia, biblioteki i zasoby, które ułatwiają rozwijanie, dzielenie się i wdrażanie modeli uczenia maszynowego.
Oferuje kilka sekcji, takich jak:

• Models: Ogromne repozytorium wstępnie wytrenowanych modeli uczenia maszynowego, w którym użytkownicy mogą przeglądać, pobierać i integrować modele do różnych zadań, takich jak generowanie tekstu, tłumaczenie, rozpoznawanie obrazów i inne.
• Datasets: Kompletna kolekcja zbiorów danych używanych do trenowania i oceny modeli. Umożliwia łatwy dostęp do różnorodnych źródeł danych, umożliwiając użytkownikom znajdowanie i wykorzystywanie danych do ich specyficznych projektów uczenia maszynowego.
• Spaces: Platforma do hostowania i dzielenia się interaktywnymi aplikacjami uczenia maszynowego i demonstracjami. Umożliwia programistom prezentowanie swoich modeli w akcji, tworzenie przyjaznych interfejsów użytkownika oraz współpracę z innymi poprzez dzielenie się na żywo demonstracjami.

TensorFlow Hub & Kaggle

TensorFlow Hub to kompleksowe repozytorium wielokrotnego użytku modułów uczenia maszynowego opracowanych przez Google. Skupia się na ułatwieniu dzielenia się i wdrażania modeli uczenia maszynowego, szczególnie tych zbudowanych z TensorFlow.

• Modules: Ogromna kolekcja wstępnie wytrenowanych modeli i komponentów modeli, w której użytkownicy mogą przeglądać, pobierać i integrować moduły do zadań takich jak klasyfikacja obrazów, osadzanie tekstu i inne.
• Tutorials: Przewodniki krok po kroku i przykłady, które pomagają użytkownikom zrozumieć, jak wdrażać i dostosowywać modele za pomocą TensorFlow Hub.
• Documentation: Kompletne przewodniki i odniesienia API, które pomagają programistom skutecznie wykorzystywać zasoby repozytorium.

Replicate

Replicate to platforma, która umożliwia programistom uruchamianie modeli uczenia maszynowego w chmurze za pomocą prostego API. Skupia się na ułatwieniu dostępu do modeli ML i ich wdrażania bez potrzeby rozbudowanego ustawiania infrastruktury.

• Models: Repozytorium modeli uczenia maszynowego wniesionych przez społeczność, które użytkownicy mogą przeglądać, wypróbowywać i integrować modele w swoich aplikacjach z minimalnym wysiłkiem.
• API Access: Proste API do uruchamiania modeli, które umożliwiają programistom łatwe wdrażanie i skalowanie modeli w ramach ich własnych aplikacji.