Google veroeffentlicht ML Drift als Open-Source-GPU-Engine fuer On-Device-KI
ML Drift ist eine plattformuebergreifende Compute-Engine fuer KI-Inferenz auf Endgeraeten und steht unter der Apache-2.0-Lizenz. Sie kapselt die Unterschiede verschiedener GPU-Hardware und Low-Level-APIs ab und unterstuetzt OpenGL ES, OpenCL, Metal und WebGPU.
ML Drift ist die zentrale GPU-Beschleunigungs-Engine, die LiteRT antreibt. Durch die Open-Source-Veröffentlichung ermöglicht Google Entwicklern den Bau eigener Grafik- und Inferenz-Runtimes für Anwendungen, die von klassischer Computer Vision über Audio- und Tiefenverarbeitung bis hin zu generativer KI reichen.
Eines der Hauptziele von ML Drift besteht darin, den Zugriff auf die vielfältige GPU-Hardware zu vereinfachen, der Entwickler bei der Erstellung von Anwendungen für Edge-Geräte begegnen.
Entwickler sehen sich mit einer breiten Palette von GPU-Architekturen, Treiberversionen und Low-Level-APIs konfrontiert, ohne im Voraus zu wissen, auf welcher konkreten Hardware die Anwendung später laufen wird.
ML Drift soll laut Google eine neue Grundlage für Portabilität und Performance schaffen und dabei sowohl "Stabilität für traditionelles ML als auch Spitzenleistung für die fortschrittlichste generative KI" liefern.
Um dies zu erreichen, führt ML Drift mehrere technische Verbesserungen gegenüber dem bisherigen TFLite GPU Delegate ein, darunter vereinheitlichte Shader durch Tensor-Virtualisierung, erweiterbare benutzerdefinierte Operationen sowie Unterstützung für fünfdimensionale Tensoren. Zudem enthält es hardwarespezifische Optimierungen für GPUs von Arm, Intel und Qualcomm Technologies, um "die Hardware-Auslastung über moderne GPUs hinweg zu maximieren".
ML Drift erweitert die Desktop-Unterstützung für Inferenz auf Windows und Linux durch Dawn, die WebGPU-Implementierung von Chromium, während auf macOS die native Metal-Backend-Unterstützung erhalten bleibt. Dawn bietet ein einheitliches API-Modell, das auf der Hardware-Abstraktionsschicht von WebGPU aufbaut, sodass keine direkte Anbindung an plattformspezifische Grafik-APIs wie DirectX und Vulkan erforderlich ist.
Google hat ML Drift mit Gemma-Modellen auf Workstation-Hardware für Entwickler getestet und berichtet von einem 12 Prozent geringeren Speicheroverhead im Vergleich zu anderen Frameworks, darunter llama.cpp und MLX LM. Das Unternehmen betont außerdem, dass ML Drift bereits auf Millionen von Geräten über Apps wie Chrome, YouTube Shorts, Photos und Meet läuft.
In YouTube Shorts erreicht ML Drift für segmentierungsbasierte Effekte auf Android und iOS eine Reduzierung der durchschnittlichen Frame-Latenz um bis zu 40 Prozent. In Google Photos beschleunigt es Pipelines für Computational Photography und Segmentierung um bis zu zwei Sekunden. Adobe Lightroom und Photoshop profitieren von Leistungsverbesserungen von bis zu 30 Prozent bei ausgewählten KI-gestützten FotoBearbeitungsfunktionen wie Select Subject, Select Sky und Adaptive Portrait. Schließlich verzeichnet Snapchat auf Android eine 30-prozentige Verringerung der Modell-Latenz bei ML-gestützten Gesichts- und Stilgenerierungseffekten, was den Einsatz größerer Diffusionsmodelle ermöglicht.
Kommentierend die Ankündigung auf LinkedIn argumentierte AI/ML-Ingenieurin Pavithra Agraharam, dass
native 5D-Tensor-Unterstützung ohne Layout-Tricks ein großer Gewinn für den Betrieb von räumlichen und Transformer-Modellen auf Edge-GPUs sei. Die Entkopplung logischer Tensoren von physischen Speicherzuweisungen dürfte die Speicherfragmentierung während der Live-Inferenz deutlich reduzieren.
Matthew Charles Vladislav Busel, Gründer und alleiniger Entwickler von Tensorust, fragte, "wie es sich bei Latenz und Speicher im Vergleich zu Core ML auf aktuellen iPhones schlägt, da das heute das Maßstab ist, gegen das die meisten von uns ausliefern", wobei Google keine vergleichenden Zahlen bereitgestellt hat.
Mit der Veröffentlichung von ML Drift wird Google das bisherige TensorFlow Lite GPU Delegate nicht mehr aktualisieren. Für die Abwärtskompatibilität mit bestehenden Modellen empfiehlt das Unternehmen die Migration auf den LiteRT ML Drift GPU Accelerator. Anwendungsentwickler können den LiteRT ML Drift Accelerator nutzen, während GPU- und Systemingenieure auf seine Low-Level-C++-API zugreifen können, um eigene GpuModel-Compute-Graphen zu erstellen und eigene Shader zu schreiben.
Equal Experts hilft Organisationen, KI zu nutzen, Technologie zu modernisieren und bessere Software durch qualifiziertes Engineering, Zusammenarbeit und innovative Delivery-Praktiken zu entwickeln. Mehr erfahren.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
ML Drift is the core GPU acceleration engine that powers LiteRT. By open-sourcing it, Google is enabling developers to build custom graphics and inference runtimes for applications ranging from traditional computer vision, audio, and depth processing to generative AI.
One of ML Drift's main goal is simplifying access to the diverse GPU hardware that developers encounter when creating applications for edge devices.
Developers are faced with a wide range of GPU architectures, driver versions, and low-level APIs, not knowing a priori on which specific hardware the application will run on.
ML Drift aims to establish a new foundation for portability and performance, Google says, delivering "stability for traditional ML and peak performance for the most advanced generative AI".
To achieve this, ML Drift introduces several technical improvements over the legacy TFLite GPU delegate, including unified shaders through tensor virtualization, extensible custom operations, and five-dimensional tensor support. It also incorporates hardware-specific optimizations for GPUs from Arm, Intel, and Qualcomm Technologies to "maximize hardware utilization across modern GPUs".
ML Drift extends desktop support for inference on Windows and Linux through Dawn, Chromium's WebGPU implementation, while retaining native Metal backend support on macOS. Dawn provides a unified API model leveraging WebGPU's hardware abstraction layer, avoiding the need to interface directly with platform-specific graphics APIs such as DirectX and Vulkan.
Google benchmarked ML Drift using Gemma models on developer-grade workstation hardware, reporting a 12% lower memory overhead compared to other frameworks, including llama.cpp and MLX LM. The company also emphasized that ML Drift is already running on millions of devices through apps like Chrome, YouTube Shorts, Photos, and Meet.
In YouTube Shorts, ML Drift achieves up to a 40% reduction in average frame latency for segmentation-based effects on Android and iOS. In Google Photos, it speeds up computational photography and segmentation pipelines by up to two second. Adobe Lightroom and Photoshop benefit from performance improvements of up to 30% for selected AI-powered photo-editing features such as Select Subject, Select Sky, and Adaptive Portrait. Finally, Snapchat sees a 30% reduction in model latency for ML-powered face and style-generation effects on Android, enabling the use of larger diffusion models.
Commenting the announcement on LinkedIn, AI/ML engineer Pavithra Agraharam argued that
Native 5D tensor support without layout hacks is a massive win for running spatial and transformer models on edge GPUs. Decoupling logical tensors from physical memory allocations should significantly cut down on memory fragmentation during live inference.
Matthew Charles Vladislav Busel, founder and sole developer of Tensorust, questioned " how it compares with Core ML on recent iPhones for latency and memory, since that is what most of us ship against today", though Google has not provided any comparative figures.
With the release of ML Drift, Google will stop updating the legacy TensorFlow Lite GPU delegate. For backward compatibility with existing models, the company recommends migrating to the LiteRT ML Drift GPU accelerator. Application developers can use the LiteRT ML Drift accelerator, while GPU and system engineers can access its lower level C++ API to construct custom GpuModel compute graphs and write custom shaders.
Equal Experts helps organizations harness AI, modernize technology, and build better software through expert engineering, collaboration, and innovative delivery practices. Learn more.