LLMs Backends

Llama.cpp

Llama.cpp est un backend pour LLMs permettant d'exécuter des modèles en utilisant une quantization entière sur 4 bits.

Mudler LocalAGI

LocalAGI est un petit assistant virtuel que vous pouvez exécuter localement, créé par l'auteur de LocalAI et alimenté par celui-ci.

Ollama

Ollama est un LLMs Backend qui vous permet d'executer et de travailler avec de grands modèles de langage localement.

Mudler LocalAI

LocalAI agit comme une API REST de remplacement compatible avec les spécifications de l'API OpenAI pour l'inférence locale. Il vous permet d'exécuter des LLM, de générer des images, de l'audio localement avec du matériel grand public, prenant en charge plusieurs familles de modèles et architectures. Ne nécessite pas de GPU.

Kobold cpp

KoboldCpp est un logiciel de génération de texte IA facile à utiliser pour les modèles GGML et GGUF. Il s'agit d'un seul distribuable autonome qui s'appuie sur llama.cpp et ajoute un point de terminaison d'API Kobold polyvalent, une prise en charge de format supplémentaire, une compatibilité ascendante, ainsi qu'une interface utilisateur, des outils d'édition, des formats de sauvegarde, etc.

gpt4all

Modèles de langage open source de grande taille qui s'exécutent localement sur votre CPU et sur presque toutes les GPU disponibles.

Kobold cpp Rocm

KoboldCpp pour AMD. Un moyen simple pour exécuter divers modèles GGML avec l'interface utilisateur de KoboldAI en utilisant AMD ROCm.

Local AI

Local AI est une application de bureau pour l'expérimentation de modèles en local.

Serge

Serge est une interface de chat conçue avec llama.cpp pour exécuter des modèles GGUF. Pas besoin de clés API, entièrement auto-hébergé.

Llama2 WebUI

Exécutez n'importe quel modèle Llama2 localement avec une interface utilisateur gradio sur un GPU ou un CPU depuis n'importe Linux, Windows ou Mac.

Text Gen WebUI

Oobabooga Text Generation WebUI est une interface web basé sur Gradio pour les grands modèles de language. Prend en charge les transformateurs, GPTQ, AWQ, EXL2, llama.cpp (GGUF), etc.

Dialoqbase

Dialoqbase est une application open source conçue pour faciliter la création de chatbots personnalisés en utilisant une base de connaissances personnalisée.

LM Studio

LM Studio est une application de bureau permettant de découvrir et d'exécuter localement des LLMs sur Mac et Linux.

vLLM

Un moteur d'inférence et de service à haut débit et à faible consommation de mémoire pour des LLMs.

ShellGPT

Un outil de productivité en ligne de commande, alimenté par des modèles de langage tels que GPT-4, vous aidera à accomplir vos tâches plus rapidement et plus efficacement.

ExLlama

Une bibliothèque d'inférence rapide pour exécuter des LLM localement sur des cartes graphiques modernes grand public.

JanAI

Alternative opensource à ChatGPT qui fonctionne à 100 % hors connexion sur votre ordinateur.