Remote Ollama oder llama.cpp vom Mac nutzen: Desktop-App greift auf fernen Server zu
Der MacBook Air hat nur 16 GB RAM, während der Rechner im Büro mit großer GPU Ollama oder llama-server samt 30B-Modell laufen hat. Eine Desktop-App mit Chatverlauf, Dokumenten und Thinking-Steuerung lässt sich direkt mit dem entfernten Modell verbinden, ohne alles lokal laden zu müssen.
Veröffentlicht am 25. Oktober • Zuerst erschienen auf getoffgridai.co
Dein MacBook Air hat 16 GB Arbeitsspeicher. Der PC unter deinem Schreibtisch oder der Mac Studio im Büro hat eine große GPU und betreibt bereits Ollama oder llama-server mit einem geladenen 30B-Modell. Du möchtest mit diesem Modell von deinem Mac aus chatten, in einer richtigen App mit Chatverlauf, Dokumenten und Thinking-Steuerung, ohne eine 20-GB-Datei auf einen Laptop zu kopieren, der sie gar nicht ausführen kann. Off Grid AI Desktop verbindet deinen Mac mit diesem Server. Seine Modelle erscheinen neben deinen lokalen, und der Chat zeigt dir an, welcher Server antwortet und worauf er wartet.
Dein Mac muss das Modell nicht herunterladen. Das Modell läuft im Arbeitsspeicher des anderen Rechners, und dein Mac sendet Text über dein Netzwerk.
Beide Server lauschen standardmäßig nur auf dem Rechner, auf dem sie laufen. Öffne sie zuerst für dein Netzwerk.
Ollama lauscht auf Port 11434. Setze auf dem Server OLLAMA_HOST auf 0.0.0.0 und starte Ollama neu. Wenn der Server ein Mac ist, auf dem die Ollama-App läuft, führe diesen Befehl im Terminal auf diesem Mac aus, beende dann Ollama und öffne es erneut:
launchctl setenv OLLAMA_HOST "0.0.0.0" Enter fullscreen mode Exit fullscreen mode llama.cpp lauscht auf Port 8080. Starte llama-server mit --host:
llama-server -m qwen3.5-27b-q4_k_m.gguf --host 0.0.0.0 --port 8080 Enter fullscreen mode Exit fullscreen mode Falls die Firewall des Servers fragt, ob eingehende Verbindungen erlaubt werden sollen, erlaube sie. Tu dies nur in einem Netzwerk, dem du vertraust, oder füge dem Server einen API-Schlüssel hinzu.
Die App speichert einen Server erst, wenn du mindestens ein Modell auswählst. Falls du das überspringst, meldet sie: "Teste zuerst die Verbindung und wähle mindestens ein Modell aus."
Bei einem llama.cpp-Server siehst du zusätzlich die Option Bildschirmbilder erlauben. Sie bleibt deaktiviert, bis du sie einschaltest, und steuert, ob Web Use und Computer Use Screenshots deines Macs an diesen Server senden dürfen. Normaler Chat benötigt das nicht.
Öffne einen neuen Chat mit Cmd+T. Öffne im Chat die Modellauswahl: Die Modelle des Servers tragen ein Remote-Tag und erscheinen neben den Modellen auf deinem Mac. Wähle eines aus und tippe los.
Während du chattest, gibt die App den Status des Remote-Modells wahrheitsgemäß an:
Du kannst mehr als einen Server speichern, zum Beispiel Ollama auf einem Gaming-PC und llama-server auf einem Mac Studio. Jeder hat seinen eigenen Schalter Diesen Server verwenden, sodass du einen abschalten kannst, ohne die anderen zu berühren. Wird einer abgeschaltet, werden Chat, Bilder, Sprache oder Transkription nur an einen Server verschoben, der dafür ein Modell anbietet. Die Auswahl eines Bildmodells auf einem Server verschiebt deinen Chat nicht auf diesen Server.
Wenn ein Server ausgeschaltet oder entfernt wird, während ein Chat ihn nutzt, sagt der Chat das an. Er antwortet nicht stillschweigend mit einem anderen Modell.
Über Modell wechseln neben einem gespeicherten Server wählst du ein anderes Modell aus dessen Liste aus, mit Entfernen löschst du ihn.
Läuft auf dem anderen Rechner Off Grid AI Desktop, nutze stattdessen dessen Gateway auf Port 7878 statt Ollama. Dieser Server teilt deinem Mac mit, worauf eine Anfrage wartet, und der Chat zeigt es an: "Warten auf Büro-PC · 2 in der Warteschlange", wenn andere Personen vor dir in der Reihe stehen, oder "Büro-PC lädt" mit dem Modellnamen, während es geladen wird. Ollama und llama.cpp senden diese Information nicht, daher zeigt der Chat bei ihnen "Warten auf den Modellserver...", bis die ersten Worte eintreffen. Lies, wie du auf deinem Mac einen lokalen KI-Server für dein ganzes Team betreibst.
Kann ich Ollama, das auf einem anderen Computer läuft, von meinem Mac aus nutzen? Ja. Setze OLLAMA_HOST=0.0.0.0 auf dem Server und füge dann http://<server-ip>:11434 unter Einstellungen > Remote-Modellserver in Off Grid AI Desktop hinzu. Die Modelle des Servers erscheinen mit einem Remote-Tag in der Modellauswahl.
Funktioniert Off Grid AI Desktop mit llama.cpps llama-server? Ja. Starte llama-server mit --host 0.0.0.0 und füge http://<server-ip>:8080 als Server hinzu. Die App liest das Kontextfenster und die Thinking-Unterstützung des Servers direkt von llama-server aus.
Muss ich das Modell auf meinen Mac herunterladen? Nein. Das Modell bleibt auf dem Server. Dein Mac sendet die Konversation über das Netzwerk und zeigt die Antwort an.
Kann ich zwischen lokalen und Remote-Modellen wechseln? Ja. Lokale und Remote-Modelle liegen in derselben Modellauswahl. Wähle ein lokales Modell für die Arbeit ohne Netzwerk und ein Remote-Modell, wenn du dich im selben Netzwerk wie der Server befindest.
Ist es kostenlos? Ja. Remote-Server sind Teil der kostenlosen App Off Grid AI Desktop für Mac, ganz ohne Konto.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Posted on Oct 25 • Originally published at getoffgridai.co
Your MacBook Air has 16 GB of memory. The PC under your desk, or the Mac Studio in the office, has a big GPU and already runs Ollama or llama-server with a 30B model loaded. You want to chat with that model from your Mac, in a proper app with chat history, documents and thinking controls, without copying a 20 GB file to a laptop that cannot run it. Off Grid AI Desktop connects your Mac to that server. Its models show up next to your local ones, and the chat tells you which server answers and what it is waiting for.
Your Mac does not need to download the model. The model runs in the other computer's memory, and your Mac sends text over your network.
Both servers listen only on the computer they run on by default. Open them to your network first.
Ollama listens on port 11434. On the server, set OLLAMA_HOST to 0.0.0.0 and restart Ollama. If the server is a Mac running the Ollama app, run this in Terminal on that Mac, then quit and reopen Ollama:
launchctl setenv OLLAMA_HOST "0.0.0.0" Enter fullscreen mode Exit fullscreen mode llama.cpp listens on port 8080. Start llama-server with --host:
llama-server -m qwen3.5-27b-q4_k_m.gguf --host 0.0.0.0 --port 8080 Enter fullscreen mode Exit fullscreen mode If the server's firewall asks whether to allow incoming connections, allow them. Only do this on a network you trust, or add an API key to the server.
The app saves a server only after you pick at least one model. If you skip that, it says "Test the connection and select at least one model first."
For a llama.cpp server, you also see Allow screen images. It stays off until you turn it on, and it controls whether Web Use and Computer Use may send screenshots of your Mac to that server. Normal chat does not need it.
Open a new chat with Cmd+T. Open the model picker in the chat: the server's models carry a Remote tag, next to the models on your Mac. Pick one and type.
While you chat, the app reports the remote model truthfully:
You can save more than one server, for example Ollama on a gaming PC and llama-server on a Mac Studio. Each one has its own Use this server switch, so you can turn one off without touching the others. Turning one off moves chat, image, voice or transcription only to a server that offers a model for it. Picking an image model on one server does not move your chat to that server.
If a server is off or removed while a chat uses it, the chat says so. It does not quietly answer with a different model.
Use Change model next to a saved server to pick a different model from its list, and Remove to delete it.
If the other computer runs Off Grid AI Desktop, use its gateway at port 7878 instead of Ollama. That server tells your Mac what a request is waiting for, and the chat shows it: "Waiting for Office PC · 2 ahead" when other people are in line, or "Office PC is loading" and the model name while it loads. Ollama and llama.cpp do not send this, so with them the chat shows "Waiting for the model server..." until the first words arrive. See how to run a local AI server for your whole team on your Mac.
Can I use Ollama running on another computer from my Mac? Yes. Set OLLAMA_HOST=0.0.0.0 on the server, then add http://<server-ip>:11434 under Settings > Remote model server in Off Grid AI Desktop. The server's models appear in the model picker with a Remote tag.
Does Off Grid AI Desktop work with llama.cpp's llama-server? Yes. Start llama-server with --host 0.0.0.0 and add http://<server-ip>:8080 as a server. The app reads the server's context window and thinking support from llama-server itself.
Do I need to download the model to my Mac? No. The model stays on the server. Your Mac sends the conversation over the network and shows the reply.
Can I switch between local and remote models? Yes. Local and remote models sit in the same model picker. Pick a local model for offline work and a remote one when you are on the same network as the server.
Is it free? Yes. Remote servers are part of the free Off Grid AI Desktop app on Mac, with no account.