Wissensgraph aus eigenen Dokumenten: Lokale KI statt Cloud-API
Mit lokalen Modellen wie Ollama lässt sich ein Wissensgraph aus eigenen Dokumenten aufbauen, ohne dass Daten an Cloud-Dienste gehen oder Kosten pro API-Aufruf anfallen. Ein Beispiel zeigt, wie sich das praktisch umsetzen lässt.
Jedes Token kostet Geld. Jeder API-Aufruf summiert sich auf. Und deine Daten landen auf deren Servern.
brew install ollama ollama pull llama3.2 ollama serve Enter fullscreen mode Exit fullscreen mode Damit läuft ein Modell auf GPT-4-Niveau auf deinem MacBook. Kostenlos. Privat. Schnell.
import requests def ask_local_ai ( question ): r = requests. post ( " http://localhost:11434/api/generate ", json = { " model ": " llama3.2 ", " prompt ": question, " stream ": False } ) return r. json ()[ " response " ] # Funktioniert sofort, kein API-Schlüssel nötig answer = ask_local_ai ( " Erkläre Docker in einem Absatz " ) print ( answer ) Enter fullscreen mode Exit fullscreen mode Verfügbare Modelle Modell Größe Am besten geeignet für llama3.2 2GB Allgemeine Nutzung codellama 4GB Programmieraufgaben mistral 4.4GB Schnelles reasoning phi3 2.2GB Leichte Aufgaben gemma2 5.4GB Komplexes reasoning Was du damit bauen kannst RAG-Systeme für deine Dokumente Sprachassistenten, die offline funktionieren Code-Reviews bei jedem git commit Content-Generierung ohne Kosten Eine persönliche KI, die dich in Erinnerung behält Mein Setup Ich habe 45 Tools mit diesem Stack gebaut. Alles kostenlos. Alles lokal.
Alles Open Source.
VP bei JPMorgan Chase. Baut AI-Tools auf amrendranmishra.dev
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Every token costs money. Every API call adds up. And your data goes to their servers.
brew install ollama ollama pull llama3.2 ollama serve Enter fullscreen mode Exit fullscreen mode Now you have a GPT-4 level model running on your MacBook. Free. Private. Fast.
import requests def ask_local_ai ( question ): r = requests. post ( " http://localhost:11434/api/generate ", json = { " model ": " llama3.2 ", " prompt ": question, " stream ": False } ) return r. json ()[ " response " ] # Works immediately, no API key needed answer = ask_local_ai ( " Explain Docker in one paragraph " ) print ( answer ) Enter fullscreen mode Exit fullscreen mode Available Models Model Size Best For llama3.2 2GB General use codellama 4GB Code tasks mistral 4.4GB Fast reasoning phi3 2.2GB Lightweight tasks gemma2 5.4GB Complex reasoning What You Can Build RAG systems for your documents Voice assistants that work offline Code reviewers on every git commit Content generators at zero cost Personal AI that remembers you My Setup I built 45 tools using this stack. All free. All local.
All open source.
VP at JPMorgan Chase. Building AI tools at amrendranmishra.dev