Metas Muse Spark Open jetzt in Amazon SageMaker JumpStart verfuegbar
Das auf Coding optimierte Open-Weight-Modell Muse Spark Open laesst sich jetzt über SageMaker Studio oder das SageMaker Python SDK in AWS-Konten deployen. Nutzer koennen damit Endpoints starten und eigene Inference-Anfragen stellen.
Muse Spark Open, Metas auf Programmierung optimiertes Open-Weight-Modell, ist jetzt in Amazon SageMaker JumpStart verfügbar, dem Machine-Learning-Hub von Amazon SageMaker AI. Das Modell wurde an realen Entwickler-Workflows trainiert, etwa an Refactorings über mehrere Dateien hinweg und langen Debugging-Sessions, und unterstützt ein Kontextfenster von 1 Million Tokens. Sie können es in wenigen Schritten auf einem SageMaker-AI-Endpoint in Ihrem eigenen AWS-Konto deployen, ohne die Serving-Infrastruktur selbst verwalten zu müssen. SageMaker JumpStart bietet zwei Varianten an: BF16 (Muse-Spark-Open-816B-A42B) und NVFP4-quantisiert (Muse-Spark-Open-816B-A42B-NVFP4).
In diesem Beitrag stellen wir Muse Spark Open vor und zeigen Ihnen, wie Sie das Modell mit Amazon SageMaker Studio und dem SageMaker Python SDK deployen, eine erste Inferenz-Anfrage senden und anschließend aufräumen.
Meta beschreibt Muse Spark Open als ein auf Programmierung optimiertes Modell, das für agentic coding workflows trainiert wurde, mit Fokus auf Treffgenauigkeit beim ersten Versuch, Tool Calling und dem Verständnis großer Codebasen. Es handelt sich um ein Reasoning-Modell, das Text, Bilder, Dokumente, Audio sowie Audio-Video als Eingabe akzeptiert und Text zurückgibt.
Muse Spark Open verwendet eine Mixture-of-Experts-Architektur (MoE) mit insgesamt 816 Milliarden Parametern, von denen 42 Milliarden pro Token aktiv sind. Das Modell besitzt die Kapazität eines sehr großen Netzwerks, während der Rechenaufwand pro Token eher dem eines deutlich kleineren dichten Modells entspricht. Meta veröffentlicht die Gewichte unter der Muse Model License, die die Muse Spark Usage Policy einschließt.
Die folgende Tabelle fasst das Modell zusammen.
Meta hat Muse Spark Open auf die Arbeitsweise von Entwicklern in echten Repositories trainiert: Codegenerierung, Debugging, Refactorings über mehrere Dateien hinweg und Aufgaben mit langer Laufzeit. Mit dem Kontextfenster von 1 Million Tokens kann das Modell ein ganzes Projekt aufnehmen, einschließlich seiner Abhängigkeiten, Legacy-Codes und Tausender von Dateien. Sie müssen eine Aufgabe nicht in kleinere Teile zerlegen, damit sie in den Kontext passt.
Meta hat Muse Spark Open zudem von Anfang an als agentisches Modell konzipiert. Nach Angaben von Meta plant das Modell, handelt, beobachtet das Ergebnis und korrigiert sich über lange Zeiträume hinweg selbst, statt einzelne Tool Calls auszuführen. Als Reasoning-Modell durchdenkt es eine Aufgabe, bevor es handelt, und der SageMaker-AI-Endpoint liefert dieses Reasoning zusammen mit der Antwort zurück, sodass Sie nachvollziehen können, was ein Agent tut und warum.
Meta hat das Modell darauf trainiert, im Web zu browsen, Subagenten für teilbare Arbeiten zu koordinieren und Computer in Desktop-, Mobile- und Browser-Umgebungen zu bedienen. Dies sind Fähigkeiten des Modells. Auf SageMaker AI stellt Ihre Anwendung oder Ihr Agent-Framework die Tools, den Browser und die Computer-Use-Umgebung bereit, die das Modell aufruft.
Jenseits von Code gibt Meta an, dass Muse Spark Open über Bilder, Dokumente, Audio und Video hinweg reasonen kann.
Zwei Eigenschaften des Modells prägen das Serving. Erstens hält die spärliche Aktivierung den Rechenaufwand pro Token gering, das Serving erfordert dennoch ausreichend GPU-Speicher, um alle 816 Milliarden Parameter zu halten, sodass bei der Instanzwahl die Speicherkapazität entscheidend ist. Zweitens speichert die NVFP4-Variante die Gewichte im 4-Bit-Gleitkommaformat von NVIDIA, das etwa ein Viertel des Speichers der BF16-Gewichte benötigt. Auf SageMaker AI entscheidet dieser Unterschied über die Instanz: Die NVFP4-Variante läuft auf ml.p5e.48xlarge, die BF16-Variante auf ml.p6-b300.48xlarge. Das macht NVFP4 zur Variante, die Sie beim Kostensizing zuerst ausprobieren sollten. Prüfen Sie sie anhand Ihrer eigenen Workloads, um zu bestätigen, dass die Qualität zu Ihrem Anwendungsfall passt.
Mit Open Weights auf SageMaker AI kontrollieren Sie auch das Deployment. Der Endpoint läuft in Ihrem AWS-Konto, sodass Ihr Quellcode und Ihre Prompts auf einer Infrastruktur verarbeitet werden, die Sie selbst konfigurieren und kontrollieren. Sie können den Endpoint an Ihre eigene Amazon Virtual Private Cloud (Amazon VPC) anbinden, sein Speichervolume mit einem Schlüssel aus dem AWS Key Management Service (AWS KMS) verschlüsseln und die Netzwerkisolation für den Container aktivieren. Sie wählen zudem den Instanztyp und die Skalierungsgrenzen und fixieren die Modellversion, sodass sich das Modell nur ändert, wenn Sie neu deployen.
Sie können Muse Spark Open für ein breites Spektrum an Anwendungen einsetzen. Metas Fokus auf Coding und agentische Workflows eignet es sich für die folgenden Anwendungsfälle:
Sie können Muse Spark Open aus SageMaker Studio oder mit dem SageMaker Python SDK deployen. Beide Wege erstellen einen Echtzeit-SageMaker-AI-Endpoint in Ihrem Konto.
Bevor Sie beginnen, stellen Sie sicher, dass Folgendes vorhanden ist:
Die Instanzen, die Muse Spark Open hosten, sind Multi-GPU-Instanzen, und Sie zahlen für einen Endpoint, solange er läuft, unabhängig davon, ob er Anfragen bedient. Löschen Sie den Endpoint, wenn Sie fertig sind, wie im Aufräumbereich dieses Beitrags beschrieben. Zu den Preisen siehe Amazon SageMaker AI Pricing.
Der Weg über SageMaker Studio eignet sich für eine erste Evaluierung: Sie finden das Modell, prüfen seine Lizenz und deployen es über eine einzelne Modelldetailkarte.
So finden Sie Muse Spark Open in SageMaker JumpStart:
Abbildung 1 zeigt die Modelldetailkarte, die die Modellbeschreibung, die Lizenz und die Option Deploy auflistet.
Abbildung 1: Die Modelldetailkarte von Muse Spark Open in SageMaker JumpStart
Abbildung 2 zeigt die Deployment-Einstellungen für die NVFP4-Variante.
Abbildung 2: Deployment-Einstellungen für Muse Spark Open
Das Deployment dauert in der Regel 15 bis 20 Minuten, während SageMaker AI die Instanz bereitstellt und die Gewichte lädt. Sobald der Endpoint-Status zu InService wechselt, ist der Endpoint für Anfragen bereit, wie in Abbildung 3 gezeigt.
Abbildung 3: Der Muse-Spark-Open-Endpoint im Betrieb
SageMaker JumpStart identifiziert jede Variante über eine Modell-ID:
Der folgende Code deployt die NVFP4-Variante mit dem SageMaker Python SDK v3. Sie können ihn in einem SageMaker-Studio-Notebook ausführen, das die Ausführungsrolle Ihrer Domain verwendet. In jeder anderen Python-Umgebung mit AWS-Zugangsdaten übergeben Sie Ihre SageMaker-AI-Ausführungsrolle über den Parameter role_arn. Muse Spark Open ist ein gated model, daher müssen Sie accept_eula=True setzen, um es zu deployen. Um eine bestimmte Modellversion zu fixieren, fügen Sie model_version zu JumpStartConfig hinzu.
from sagemaker.core.jumpstart.configs import JumpStartConfig from sagemaker.serve import ModelBuilder from sagemaker.train.configs import Compute # NVFP4 variant; for BF16, use "meta-vlm-muse-spark-open-816b-a42b" with ml.p6-b300.48xlarge model_id = "meta-vlm-muse-spark-open-816b-a42b-nvfp4" jumpstart_config = JumpStartConfig( model_id=model_id, accept_eula=True, # Confirms that you accept Meta's license terms ) model_builder = ModelBuilder.from_jumpstart_config( jumpstart_config=jumpstart_config, compute=Compute(instance_type="ml.p5e.48xlarge"), # role_arn="<your-sagemaker-execution-role-arn>", # Required outside SageMaker Studio ) model = model_builder.build(model_name="muse-spark-open-nvfp4") endpoint = model_builder.deploy(endpoint_name="muse-spark-open-nvfp4") Inferenz ausführen Wenn der Endpoint in Betrieb ist, senden Sie ihm mit der invoke-Methode eine Anfrage. Der Endpoint akzeptiert ein OpenAI-kompatibles Chat-Payload mit einer messages-Liste und gibt einen Chat Completion zurück. Die finale Antwort befindet sich in message.content, das Reasoning des Modells in message.reasoning_content, und usage.reasoning_tokens meldet, wie viele Tokens das Reasoning verbraucht hat.
Da Muse Spark Open ein Reasoning-Modell ist, lassen Sie in max_tokens ausreichend Raum für sein Reasoning und die finale Antwort.
import json payload = { "messages": [ { "role": "user", "content": "Write a Python function that validates ISO 8601 dates, and add pytest unit tests for it.", } ], "max_tokens": 4096, } response = endpoint.invoke( body=json.dumps(payload), content_type="application/json", ) result = json.loads(response.body.read().decode("utf-8")) message = result["choices"]["message"] print("Reasoning:", message.get("reasoning_content")) print("Answer:", message["content"]) Der Endpoint unterstützt auch Streaming. Um Tokens zu empfangen, während sie generiert werden, fügen Sie dem Request-Body "stream": true hinzu und rufen Sie statt invoke endpoint.invoke_with_response_stream auf.
Um keine Kosten mehr zu verursachen, löschen Sie den Endpoint, wenn Sie ihn nicht mehr benötigen. Wenn Sie mit dem SDK deployt haben, löschen Sie das Modell, den Endpoint und die Endpoint-Konfiguration:
from sagemaker.core.resources import EndpointConfig endpoint_config = EndpointConfig.get(endpoint_config_name=endpoint.endpoint_name) model.delete() endpoint.delete() endpoint_config.delete() Wenn Sie aus SageMaker Studio deployt haben, löschen Sie den Endpoint in der SageMaker-AI-Konsole: Wählen Sie Inference, dann Endpoints, markieren Sie den Endpoint und wählen Sie Actions, Delete.
In diesem Beitrag haben wir gezeigt, wie Sie Muse Spark Open, Metas auf Coding optimiertes Open-Weight-Modell, von SageMaker JumpStart auf einen Endpoint in Ihrem eigenen AWS-Konto deployen. Sie haben SageMaker Studio oder das SageMaker Python SDK verwendet und dem Modell eine erste Inferenz-Anfrage gesendet. Testen Sie beide Varianten anhand Ihrer eigenen Repositories, bevor Sie eine Instanz für die Produktion auswählen.
Um zu beginnen, suchen Sie in SageMaker Studio nach Muse Spark Open in SageMaker JumpStart. Weitere Bereitstellungsoptionen wie Inferenzkomponenten und optimierte Bereitstellungskonfigurationen finden Sie im Abschnitt JumpStart foundation model usage im Amazon SageMaker AI Developer Guide. Machen Sie sich vor der Bereitstellung mit der Muse Model License vertraut, die SageMaker JumpStart bei der Bereitstellung des Modells anzeigt. Für Unterstützung bei der Planung einer Produktivbereitstellung wenden Sie sich an AWS.
Aris ist Senior Specialist Solutions Architect für Generative AI mit Schwerpunkt auf Open-Weight-Modellen in Amazon Bedrock und dem breiteren Open-Source-Ökosystem für generative KI. Neben seiner beruflichen Tätigkeit verfolgt er an der Universität Regensburg ein Promotionsstudium im Bereich Machine Learning Engineering, wobei sich seine Forschung auf angewandte Verarbeitung natürlicher Sprache in wissenschaftlichen Domänen konzentriert.
Liam ist Software Engineer im Amazon SageMaker JumpStart Team bei AWS, wo er sich auf die Bereitstellung und Optimierung von Open-Weight-KI-Modellen konzentriert. Er hat seinen Hochschulabschluss an der University of Massachusetts Amherst erworben, wo er zur Mensch-Roboter-Interaktion forschte, und verfolgt weiterhin Entwicklungen im Bereich Robotik und World Models. Neben der Arbeit kocht er gerne und geht klettern.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Muse Spark Open, Meta’s coding-optimized open-weight model, is now available in Amazon SageMaker JumpStart, the machine learning (ML) hub of Amazon SageMaker AI. The model was trained on real developer workflows, such as multi-file refactors and long debugging sessions, and it supports a context window of 1 million tokens. You can deploy it to a SageMaker AI endpoint in your own AWS account in a few steps, without managing the serving infrastructure yourself. SageMaker JumpStart offers two variants: BF16 ( Muse-Spark-Open-816B-A42B ) and NVFP4 quantized ( Muse-Spark-Open-816B-A42B-NVFP4 ).
In this post, we introduce Muse Spark Open and show you how to deploy the model with Amazon SageMaker Studio and the SageMaker Python SDK, send it a first inference request, and clean up.
Meta describes Muse Spark Open as a coding-optimized model trained for agentic coding workflows, with a focus on first-attempt accuracy, tool calling, and understanding of large codebases. It’s a reasoning model, and it accepts text, images, documents, audio, and audio-video as input and returns text.
Muse Spark Open uses a mixture-of-experts (MoE) architecture with 816 billion total parameters, of which 42 billion are active for each token. The model holds the capacity of a very large network, while the compute it spends on each token is closer to that of a much smaller dense model. Meta releases the weights under the Muse Model License, which includes the Muse Spark Usage Policy.
The following table summarizes the model.
Meta trained Muse Spark Open on the way developers work in real repositories: code generation, debugging, multi-file refactors, and tasks that run for a long time. With the 1 million-token context window, the model can take in a whole project, including its dependencies, legacy code, and thousands of files. You don’t need to split a task into smaller pieces to fit the context.
Meta also designed Muse Spark Open as an agentic model from the start. Meta says the model plans, acts, observes the result, and corrects itself over long horizons, rather than making single tool calls. As a reasoning model, it works through a task before it acts, and the SageMaker AI endpoint returns that reasoning alongside the answer, so you can follow what an agent is doing and why.
Meta trained the model to browse the web, coordinate subagents for work that can be split up, and operate computers across desktop, mobile, and browser environments. These are capabilities of the model. On SageMaker AI, your application or agent framework provides the tools, browser, and computer-use environment that the model calls.
Beyond code, Meta reports that Muse Spark Open reasons across images, documents, audio, and video.
Two properties of the model shape how you serve it. First, sparse activation keeps per-token compute low, but serving still requires enough GPU memory to hold all 816 billion parameters, so the instance choice comes down to memory capacity. Second, the NVFP4 variant stores weights in NVIDIA’s 4-bit floating point format, which needs roughly a quarter of the memory of the BF16 weights. On SageMaker AI, that difference decides the instance: the NVFP4 variant runs on ml.p5e.48xlarge, and the BF16 variant runs on ml.p6-b300.48xlarge. That makes NVFP4 the variant to try first when you size for cost. Evaluate it on your own workloads to confirm the quality fits your use case.
With open weights on SageMaker AI, you also control the deployment. The endpoint runs in your AWS account, so your source code and prompts are processed on infrastructure that you configure and control. You can attach the endpoint to your own Amazon Virtual Private Cloud (Amazon VPC), encrypt its storage volume with a key from AWS Key Management Service (AWS KMS), and turn on network isolation for the container. You also choose the instance type and scaling limits, and you pin the model version, so the model only changes when you redeploy.
You can use Muse Spark Open for a wide range of applications. Meta’s focus on coding and agentic workflows suits it to the following use cases:
You can deploy Muse Spark Open from SageMaker Studio or with the SageMaker Python SDK. Each path creates a real-time SageMaker AI endpoint in your account.
Before you start, make sure that you have the following:
The instances that host Muse Spark Open are multi-GPU instances, and you pay for an endpoint for as long as it runs, whether or not it serves requests. Delete the endpoint when you finish, as described in the clean-up section of this post. For rates, refer to Amazon SageMaker AI pricing.
The SageMaker Studio path suits a first evaluation: you find the model, review its license, and deploy it from one model detail card.
To find Muse Spark Open in SageMaker JumpStart
Figure 1 shows the model detail card, which lists the model description, license, and the Deploy option.
Figure 1: The Muse Spark Open model detail card in SageMaker JumpStart
Figure 2 shows the deployment settings for the NVFP4 variant.
Figure 2: Deployment settings for Muse Spark Open
Deployment typically takes 15–20 minutes while SageMaker AI provisions the instance and loads the weights. When the endpoint status changes to InService, the endpoint is ready for requests, as shown in Figure 3.
Figure 3: The Muse Spark Open endpoint in service
SageMaker JumpStart identifies each variant by a model ID:
The following code deploys the NVFP4 variant with SageMaker Python SDK v3. You can run it in a SageMaker Studio notebook, which uses your domain’s execution role. In any other Python environment with AWS credentials, pass your SageMaker AI execution role with the role_arn parameter. Muse Spark Open is a gated model, so you must set accept_eula=True to deploy it. To pin a specific model version, add model_version to JumpStartConfig.
from sagemaker.core.jumpstart.configs import JumpStartConfig from sagemaker.serve import ModelBuilder from sagemaker.train.configs import Compute # NVFP4 variant; for BF16, use "meta-vlm-muse-spark-open-816b-a42b" with ml.p6-b300.48xlarge model_id = "meta-vlm-muse-spark-open-816b-a42b-nvfp4" jumpstart_config = JumpStartConfig( model_id=model_id, accept_eula=True, # Confirms that you accept Meta's license terms ) model_builder = ModelBuilder.from_jumpstart_config( jumpstart_config=jumpstart_config, compute=Compute(instance_type="ml.p5e.48xlarge"), # role_arn="<your-sagemaker-execution-role-arn>", # Required outside SageMaker Studio ) model = model_builder.build(model_name="muse-spark-open-nvfp4") endpoint = model_builder.deploy(endpoint_name="muse-spark-open-nvfp4") Run inference When the endpoint is in service, send it a request with the invoke method. The endpoint accepts an OpenAI-compatible chat payload with a messages list and returns a chat completion. The final answer is in message.content, the model’s reasoning is in message.reasoning_content, and usage.reasoning_tokens reports how many tokens the reasoning used.
Because Muse Spark Open is a reasoning model, leave enough room in max_tokens for its reasoning and the final answer.
import json payload = { "messages": [ { "role": "user", "content": "Write a Python function that validates ISO 8601 dates, and add pytest unit tests for it.", } ], "max_tokens": 4096, } response = endpoint.invoke( body=json.dumps(payload), content_type="application/json", ) result = json.loads(response.body.read().decode("utf-8")) message = result["choices"]["message"] print("Reasoning:", message.get("reasoning_content")) print("Answer:", message["content"]) The endpoint also supports streaming. To receive tokens as they’re generated, add "stream": true to the request body and call endpoint.invoke_with_response_stream instead of invoke.
To stop incurring charges, delete the endpoint when you no longer need it. If you deployed with the SDK, delete the model, the endpoint, and the endpoint configuration:
from sagemaker.core.resources import EndpointConfig endpoint_config = EndpointConfig.get(endpoint_config_name=endpoint.endpoint_name) model.delete() endpoint.delete() endpoint_config.delete() If you deployed from SageMaker Studio, delete the endpoint in the SageMaker AI console: choose Inference, then Endpoints, select the endpoint, and choose Actions, Delete.
In this post, we showed how to deploy Muse Spark Open, Meta’s coding-optimized open-weight model, from SageMaker JumpStart to an endpoint in your own AWS account. You used SageMaker Studio or the SageMaker Python SDK and sent the model a first inference request. Benchmark both variants on your own repositories before you choose an instance for production.
To get started, search for Muse Spark Open in SageMaker JumpStart in SageMaker Studio. For more deployment options, such as inference components and optimized deployment configurations, refer to JumpStart foundation model usage in the Amazon SageMaker AI Developer Guide. Before you deploy, review the Muse Model License, which SageMaker JumpStart shows when you deploy the model. For help planning a production deployment, contact AWS.
Aris is a Senior Specialist Solutions Architect for Generative AI focusing on open-weight models on Amazon Bedrock and the broader generative AI open-source ecosystem. Alongside his professional role, he is pursuing a PhD in Machine Learning Engineering at the University of Regensburg, where his research focuses on applied natural language processing in scientific domains.
Liam is a Software Engineer on the Amazon SageMaker JumpStart team at AWS, where he focuses on deploying and optimizing open-weight AI models. He received his undergraduate degree from the University of Massachusetts Amherst, where he researched human-robot interaction, and he continues to follow developments in robotics and world models. Outside of work, he enjoys cooking and rock climbing.