AnythingLLM – Dein eigener KI Chat-Bot

Die kurze Überschrift ist zwar prägnant, greift jedoch nicht vollständig, was AnythingLLM wirklich bietet. Besser wäre: „Dein eigenes ChatGPT mit deinen Daten – vollständig privat und sicher.“ Stell dir vor, du hast einen Chatbot, der jede Datei, die du ihm gibst, analysiert. Du kannst dann dem Bot einfach Fragen zum Inhalt der Dateien stellen, ohne dass diese Daten an Dritte übertragen werden.

Hier kommt AnythingLLM ins Spiel. Wir installieren es als Docker-Container auf einem Linux-Betriebssystem (bei mir Mint). Eine GPU mit CUDA und Docker ist von Vorteil. Nun erstellen wir einen Stack mit Docker Compose.

Mein Docker Compose File sieht so aus:

version: '3.8'
services:
  anythingllm:
    image: mintplexlabs/anythingllm:latest
    container_name: anythingllm
    ports:
      - 3123:3001
    networks:
      - my_custom_network
    environment:
      NODE_ENV: production # Example environment variable
    restart: always

  ollama:
    deploy:
            resources:
                reservations:
                    devices:
                        - driver: nvidia
                          count: all
                          capabilities:
                              - gpu
  
    image: ollama/ollama:latest
    container_name: ollama
    ports:
      - 11434:11434
    networks:
      - my_custom_network
    restart: always

networks:
  my_custom_network:
    driver: bridge

Nachdem die beiden Container (AnythingLLM und Ollama) erfolgreich gestartet sind, müssen wir noch ein Sprachmodell herunterladen, um den Chatbot zu nutzen. Dies erreichen wir mit folgendem Befehl:

sudo docker exec -it ollama ollama run llama3.1

Nach dem erfolgreichen Start sollte AnythingLLM unter der IP-Adresse http://deine-ip:3123 erreichbar sein. Sobald du diese Adresse im Browser aufrufst, wirst du durch die Einrichtung des Systems geführt.

AnythingLLM
Ollama