ai newsSa., 24. Okt.
EilmeldungHow do you fit a 4B LLM in 1.24 GB? Trellis-coded 2-bit quantization, explained with real benchmarks

MCP verbindet KI-Agenten mit Musik- und 3D-Visual-Tools

KI-Coding-Assistenten wie Claude Desktop, Cursor oder Devin schreiben zwar guten Code, konnten aber bislang kaum interaktive Musik oder Echtzeit-3D-Grafiken erzeugen. Ein MCP-Ansatz soll Desktop-DAWs und Visual-Engines nun direkt aus den Agenten heraus steuerbar machen.

dev.toSamstag 14:29 · 24.10.DE3 Min. Lesezeit
Bild: dev.to

Veröffentlicht am 24. Oktober • Zuerst erschienen auf infinitedevices.org

KI-Coding-Assistenten (Claude Desktop, Cursor, Antigravity, Devin) sind ausgesprochen gut im Schreiben von Code, aber historisch schlecht darin, interaktive Musik und Echtzeit-3D-Visuals zu erzeugen. Desktop-DAWs und Visual Engines erfordern manuelle Mausinteraktionen, proprietäre Projektdateien und schwergewichtige grafische Oberflächen, die Agents nicht bedienen können.

Infinite schließt diese Lücke, indem es seine gesamte C++20-Engine über das Model Context Protocol (MCP) und ein eigenes Python SDK verfügbar macht.

[Claude / Cursor / Antigravity] | (JSON-RPC stdio) v [Infinite plugin server.py] | (Headless C++ Engine) v [Audio.wav / Still.png / Video.mp4] Enter fullscreen mode Exit fullscreen mode Jede Aktion ist deterministisch und headless:

Sie können Infinite mit einem einzigen Befehl automatisch über alle Ihre KI-Assistenten hinweg einrichten:

npx -y infinite-engine init Enter fullscreen mode Exit fullscreen mode Der Befehl fügt den infinite MCP Server zu Claude Desktop, Cursor und Windsurf hinzu, allerdings nur für Apps, die bereits installiert sind. Er erstellt von jeder geänderten Datei ein Backup und lässt eine Konfigurationsdatei unangetastet, wenn sie Kommentare enthält. Mit --dry-run können Sie zuerst sehen, was er tun würde. Die Infinite-App selbst muss installiert sein; setzen Sie INFINITE_BIN auf ihren Pfad, falls sie nicht gefunden wird.

Wenn Sie Ihre Assistenten lieber manuell konfigurieren möchten:

{ "mcpServers": { "infinite": { "command": "npx", "args": [ "-y", "infinite-engine", "serve" ] } } } Enter fullscreen mode Exit fullscreen mode Nun hat Ihr Assistent neun Werkzeuge zur Verfügung (fragen Sie den Server mit tools/list ab, um deren genaue Schemas zu sehen):

Das Python SDK enthält außerdem einen MCP Server ( server.py im Infinite Claude Plugin ) mit eigenen Tool-Namen.

Wenn Sie Ihren eigenen autonomen Agenten, eine Pipeline oder ein Game-Dev-Tool entwickeln, installieren Sie das Python SDK ( pip install infinite-daw ) und nutzen Sie es direkt:

import infinite # 1. Generate an algorithmic Euclidean 5/16 bassline infinite. field_notes ( """ param float hits = 5 [1, 16] state float step = 0 if (tick(1/16) > 0.5) { on = floor((step + 1) * hits / 16 + 0.001) - floor(step * hits / 16 + 0.001) note(deg(0), 0.9 * on, 1/16) step = (step + 1) % 16 } """, out_wav = " bassline.wav ", duration = 4 ) # 2. Render a 3D procedural rotating torus infinite. sketch_3d ( """ function draw(t) { rotateY(t * 0.8); fill(0.2, 0.6, 0.9); torus(1.2, 0.4, 24, 24); } """, out_png = " torus.png " ) Enter fullscreen mode Exit fullscreen mode Ergebnisse des SDK tragen einen kleinen Credit-Eintrag mit sich:

{ "engine": "infinite", "author": "Naman Soni (n1m21n)", "homepage": "https://infinitedevices.org" } Enter fullscreen mode Exit fullscreen mode Interaktive Widgets in generierten Websites einbetten Wenn Agents Webseiten, Portfolios oder Dokumentationen generieren, können sie Infinite's responsive WebGL-Shader mit einem einzigen Snippet einbetten:

<figure style= "margin:0;width:100%;max-width:720px;" > <iframe src= "https://infinitedevices.org/embeds/cyber-tunnel.html" title= "Cyber Tunnel — Audio-Reactive Visualizer by Naman Soni (Infinite)" width= "100%" height= "400" frameborder= "0" allow= "microphone" style= "border-radius:12px;border:none;display:block;" ></iframe> <figcaption style= "font-family:sans-serif;font-size:11px;color:#8890b1;text-align:right;margin-top:6px;" > powered by <a href= "https://infinitedevices.org" target= "_blank" rel= "noopener" style= "color:#ff6b35;text-decoration:none;" > infinite by naman soni </a> </figcaption> </figure> Enter fullscreen mode Exit fullscreen mode Alle 14 Live-Widgets finden Sie im Interactive Embeds Directory.

Zuerst veröffentlicht auf https://infinitedevices.org/blog/ai-agent-mcp-audio-visual-engine-guide.html. Infinite ist eine kostenlose Open-Source-DAW für Visuals, Musik und Code: infinitedevices.org.

Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.

Original (Englisch) anzeigen

Posted on Oct 24 • Originally published at infinitedevices.org

AI coding assistants (Claude Desktop, Cursor, Antigravity, Devin) are exceptionally good at writing code, but historically poor at producing interactive music and real-time 3D visuals. Desktop DAWs and visual engines require manual mouse interactions, proprietary project files, and heavy graphical interfaces that agents cannot operate.

Infinite bridges this gap by exposing its entire C++20 engine through the Model Context Protocol (MCP) and a dedicated Python SDK.

[Claude / Cursor / Antigravity] | (JSON-RPC stdio) v [Infinite plugin server.py] | (Headless C++ Engine) v [Audio.wav / Still.png / Video.mp4] Enter fullscreen mode Exit fullscreen mode Every action is deterministic and headless:

You can automatically wire up Infinite across all your AI assistants with a single command:

npx -y infinite-engine init Enter fullscreen mode Exit fullscreen mode It adds the infinite MCP server to Claude Desktop, Cursor and Windsurf, but only for apps that are already installed. It keeps a backup of each file it changes, and leaves a config alone if it contains comments. Add --dry-run to see what it would do first. The Infinite app itself must be installed; set INFINITE_BIN to its path if it is not found.

If you prefer to configure your assistants manually:

{ "mcpServers": { "infinite": { "command": "npx", "args": [ "-y", "infinite-engine", "serve" ] } } } Enter fullscreen mode Exit fullscreen mode Now your assistant has nine tools (ask the server for tools/list to see their exact schemas):

The Python SDK also ships an MCP server ( server.py in the Infinite Claude plugin ) with its own tool names.

If you are building your own autonomous agent, pipeline, or game dev tool, install the Python SDK ( pip install infinite-daw ) and use it directly:

import infinite # 1. Generate an algorithmic Euclidean 5/16 bassline infinite. field_notes ( """ param float hits = 5 [1, 16] state float step = 0 if (tick(1/16) > 0.5) { on = floor((step + 1) * hits / 16 + 0.001) - floor(step * hits / 16 + 0.001) note(deg(0), 0.9 * on, 1/16) step = (step + 1) % 16 } """, out_wav = " bassline.wav ", duration = 4 ) # 2. Render a 3D procedural rotating torus infinite. sketch_3d ( """ function draw(t) { rotateY(t * 0.8); fill(0.2, 0.6, 0.9); torus(1.2, 0.4, 24, 24); } """, out_png = " torus.png " ) Enter fullscreen mode Exit fullscreen mode Results from the SDK carry a small credit record:

{ "engine": "infinite", "author": "Naman Soni (n1m21n)", "homepage": "https://infinitedevices.org" } Enter fullscreen mode Exit fullscreen mode Embedding interactive widgets in generated sites When agents generate web pages, portfolios, or documentation, they can embed Infinite's responsive WebGL shaders with a single snippet:

<figure style= "margin:0;width:100%;max-width:720px;" > <iframe src= "https://infinitedevices.org/embeds/cyber-tunnel.html" title= "Cyber Tunnel — Audio-Reactive Visualizer by Naman Soni (Infinite)" width= "100%" height= "400" frameborder= "0" allow= "microphone" style= "border-radius:12px;border:none;display:block;" ></iframe> <figcaption style= "font-family:sans-serif;font-size:11px;color:#8890b1;text-align:right;margin-top:6px;" > powered by <a href= "https://infinitedevices.org" target= "_blank" rel= "noopener" style= "color:#ff6b35;text-decoration:none;" > infinite by naman soni </a> </figcaption> </figure> Enter fullscreen mode Exit fullscreen mode Browse all 14 live widgets in the Interactive Embeds Directory.

Originally published at https://infinitedevices.org/blog/ai-agent-mcp-audio-visual-engine-guide.html. Infinite is a free, open-source DAW for visuals, music and code: infinitedevices.org.

Originaltitel: AI agent MCP guide for audio and visual synthesisQuelle: dev.to (dev.to). Original öffnen