Data Fabric auf AWS: Daten verbinden, Governance verbessern und KI beflügeln
Organisationen verteilen ihre Daten auf Datenbanken, Data Lakes und Streaming-Plattformen. Ein Data-Fabric-Ansatz auf AWS soll alle Quellen auffindbar, sicher und nutzbar machen, ohne für jedes Team eine eigene Integrationslösung zu bauen.
Moderne Organisationen speichern Daten in Datenbanken, Anwendungen, Data Lakes und Streaming-Plattformen. Die Herausforderung besteht darin, all diese Daten auffindbar, sicher und nutzbar zu machen, ohne für jedes Team eine vollständig eigenständige Integrationslösung zu entwickeln.
Data Fabric auf AWS bietet einen Architekturansatz, um Datenquellen zu verbinden, Metadaten zu verwalten, Governance durchzusetzen und Analysen sowie KI-Anwendungen zu ermöglichen.
In diesem Tutorial betrachten wir eine AWS-Data-Fabric-Architektur und erstellen ein kleines Kundenanalyse-Projekt mit Amazon S3, AWS Glue und Amazon Athena.
Eine Data Fabric ist eine Architektur, die Data Discovery, Integration, Metadatenverwaltung und Governance über verteilte Systeme hinweg verbindet.
Diese Dienste sind Bausteine. Eine Data Fabric ist eine Architektur, die man entwirft und konfiguriert, und kein einzelner AWS-Dienst, der automatisch alles miteinander verbindet.
Ohne einen koordinierten Ansatz können unterschiedliche Teams Datensätze duplizieren, Kennzahlen unterschiedlich definieren und Berechtigungen uneinheitlich verwalten.
Eine Data Fabric kann Teams helfen, das Auffinden von Daten zu verbessern, wiederholte Integrationsarbeit zu reduzieren und eine konsistentere Governance zu etablieren.
DATA SOURCES ┌────────┬─────────┬───────────┐ │ RDS │ S3 Files│ Event Data│ └────┬───┴────┬────┴─────┬─────┘ └────────┼──────────┘ ▼ DATA INGESTION AWS Glue / Streams │ ▼ AMAZON S3 Raw → Clean → Curated │ ┌───────┴────────┐ ▼ ▼ Glue Catalog Lake Formation │ │ └───────┬────────┘ ▼ QUERY LAYER Athena / Redshift │ ▼ Analytics / Reports / AI Enter fullscreen mode Exit fullscreen mode Dies ist ein konzeptioneller Entwurf. Jede Quelle benötigt einen geeigneten Ingestion-Prozess, und die Zugriffsrichtlinien müssen für die beteiligten Dienste konfiguriert werden.
Erstellen wir eine einfache Daten-Pipeline und fragen Kundenbestellungen mit SQL ab.
order_id,customer_id,region,amount,status 1001,C101,Asia,250,COMPLETED 1002,C102,Europe,180,COMPLETED 1003,C101,Asia,90,PENDING 1004,C103,North America,420,COMPLETED 1005,C104,Europe,120,CANCELLED 1006,C102,Europe,310,COMPLETED Enter fullscreen mode Exit fullscreen mode Laden Sie die Datei an einen S3-Speicherort wie diesen hoch:
s3://your-data-fabric-bucket/raw/orders/orders.csv Enter fullscreen mode Exit fullscreen mode Ersetzen Sie your-data-fabric-bucket durch Ihren eigenen Bucket-Namen. Halten Sie den öffentlichen Zugriff blockiert und konfigurieren Sie geeignete Verschlüsselung und Berechtigungen.
Der Crawler kann die CSV-Struktur erkennen und eine Tabelle im Glue Data Catalog registrieren. Prüfen Sie stets die abgeleiteten Datentypen, bevor Sie sich in einer Produktivumgebung auf sie verlassen.
Öffnen Sie Amazon Athena und konfigurieren Sie einen S3-Speicherort für die Abfrageergebnisse. Führen Sie dann Folgendes aus:
SELECT region, COUNT ( * ) AS completed_orders, SUM ( amount ) AS total_revenue, AVG ( amount ) AS average_order_value FROM customer_analytics. orders WHERE status = 'COMPLETED' GROUP BY region ORDER BY total_revenue DESC; Enter fullscreen mode Exit fullscreen mode Erwartete Ausgabe:
Die Abfrage filtert ausstehende und stornierte Bestellungen heraus und berechnet den Umsatz nach Region.
Hinweis: Ihre tatsächlichen Datenbank- und Tabellennamen hängen von Ihrer Glue-Konfiguration ab.
Eine nützliche Datenplattform muss nicht nur Discovery bieten, sondern auch den Zugriff kontrollieren.
Ein Katalogeintrag gewährt nicht automatisch die Berechtigung, die zugrunde liegenden Daten abzufragen. Konfigurieren Sie die erforderlichen Katalog-, Speicher-, Abfrage-, IAM- und Lake-Formation-Berechtigungen konsistent.
Sobald das Basisprojekt funktioniert, können Sie es durch folgende Ergänzungen verbessern:
Für KI-Anwendungen sollten Sie generierte Abfragen validieren und Berechtigungen in der Datenschicht durchsetzen. Geben Sie einem KI-Modell keinen uneingeschränkten Zugriff auf alle Datensätze.
Diese Ansätze können sich ergänzen. Amazon S3 kann das Speicherfundament bereitstellen, eine Data-Fabric-Architektur kann Datensätze verbinden und steuern, und ein Data-Mesh-Betriebsmodell kann die Domänenverantwortung definieren.
Data Fabric auf AWS bedeutet nicht, alle Ihre Daten in eine einzige Datenbank zu verschieben. Es geht darum, verteilte Daten leichter auffindbar, integrierbar, steuerbar und nutzbar zu machen.
Mit Amazon S3, AWS Glue, dem Glue Data Catalog, Lake Formation und Athena können Sie ein Fundament für zuverlässige Analysen und künftige KI-Anwendungen schaffen.
Beginnen Sie mit einem Datensatz, katalogisieren Sie ihn, sichern Sie ihn und demonstrieren Sie eine geschäftlich nützliche Abfrage. Erweitern Sie den Ansatz dann, wenn die Anforderungen Ihrer Organisation wachsen.
Das Ziel ist einfach: die richtigen Daten für die richtigen Personen und Anwendungen bereitzustellen, und zwar sicher.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Modern organizations store data across databases, applications, data lakes, and streaming platforms. The challenge is making all that data discoverable, secure, and useful without building a completely separate integration solution for every team.
Data Fabric on AWS offers an architectural approach to connecting data sources, managing metadata, enforcing governance, and enabling analytics and AI applications.
In this tutorial, we'll explore an AWS data fabric architecture and build a small customer analytics project using Amazon S3, AWS Glue, and Amazon Athena.
A data fabric is an architecture that connects data discovery, integration, metadata management, and governance across distributed systems.
These services are building blocks. A data fabric is an architecture you design and configure, not a single AWS service that automatically connects everything.
Without a coordinated approach, different teams may duplicate datasets, define metrics differently, and manage permissions inconsistently.
A data fabric can help teams improve data discovery, reduce repeated integration work, and establish more consistent governance.
DATA SOURCES ┌────────┬─────────┬───────────┐ │ RDS │ S3 Files│ Event Data│ └────┬───┴────┬────┴─────┬─────┘ └────────┼──────────┘ ▼ DATA INGESTION AWS Glue / Streams │ ▼ AMAZON S3 Raw → Clean → Curated │ ┌───────┴────────┐ ▼ ▼ Glue Catalog Lake Formation │ │ └───────┬────────┘ ▼ QUERY LAYER Athena / Redshift │ ▼ Analytics / Reports / AI Enter fullscreen mode Exit fullscreen mode This is a conceptual design. Each source needs an appropriate ingestion process, and access policies must be configured for the services involved.
Let's create a simple data pipeline and query customer orders using SQL.
order_id,customer_id,region,amount,status 1001,C101,Asia,250,COMPLETED 1002,C102,Europe,180,COMPLETED 1003,C101,Asia,90,PENDING 1004,C103,North America,420,COMPLETED 1005,C104,Europe,120,CANCELLED 1006,C102,Europe,310,COMPLETED Enter fullscreen mode Exit fullscreen mode Upload it to an S3 location such as:
s3://your-data-fabric-bucket/raw/orders/orders.csv Enter fullscreen mode Exit fullscreen mode Replace your-data-fabric-bucket with your own bucket name. Keep public access blocked and configure appropriate encryption and permissions.
The crawler can discover the CSV structure and register a table in the Glue Data Catalog. Always verify inferred types before relying on them in production.
Open Amazon Athena and configure an S3 query-results location. Then execute:
SELECT region, COUNT ( * ) AS completed_orders, SUM ( amount ) AS total_revenue, AVG ( amount ) AS average_order_value FROM customer_analytics. orders WHERE status = 'COMPLETED' GROUP BY region ORDER BY total_revenue DESC; Enter fullscreen mode Exit fullscreen mode Expected output:
The query filters out pending and cancelled orders and calculates revenue by region.
Note: Your actual database and table names depend on your Glue configuration.
A useful data platform must control access as well as provide discovery.
A catalog entry does not automatically grant permission to query the underlying data. Configure the required catalog, storage, query, IAM, and Lake Formation permissions consistently.
Once the basic project works, you can improve it by adding:
For AI applications, validate generated queries and enforce permissions in the data-access layer. Do not give an AI model unrestricted access to every dataset.
These approaches can complement each other. Amazon S3 can provide the storage foundation, a data fabric architecture can connect and govern datasets, and a data mesh operating model can define domain ownership.
Data Fabric on AWS is not about moving all your data into one database. It is about making distributed data easier to discover, integrate, govern, and use.
With Amazon S3, AWS Glue, the Glue Data Catalog, Lake Formation, and Athena, you can build a foundation for reliable analytics and future AI applications.
Start with one dataset, catalog it, secure it, and demonstrate a useful business query. Then expand as your organization's needs grow.
The goal is simple: make the right data available to the right people and applications, securely.