CSIRO fragt mit Serverless-Architektur auf AWS hundertmal mehr genomische Varianten ab
Die australische Forschungsorganisation CSIRO hat Serverless Beacon entwickelt, eine Architektur zur Abfrage genomischer Varianten ohne Kopieren von VCF-Dateien in eine zentrale Datenbank. Sie kombiniert Amazon S3, Lambda, Athena und DynamoDB und fragt komprimierte Genomregionen über Metadaten-Indizes und HTTP Byte Range Requests ab.
Die Architektur trennt die genomischen Daten von den Metadaten, die für die Suche benötigt werden. Variant Call Format (VCF) Dateien verbleiben in Amazon S3, während Metadaten wie Krankheitsstatus, Alter und Standort separat indiziert werden. Beim Onboarding erstellt sBeacon Indizes und Athena-Tabellen für die Metadaten, während Ontologie-Begriffe über CSIROs Ontoserver abgewickelt werden, um Abfragen zu unterstützen, die genomische und phänotypische Informationen kombinieren.
sBeacon Data-Onboarding-Architektur (Quelle: AWS Blog Post)
Bei Variantenabfragen leitet API Gateway die Anfragen an Lambda-Funktionen weiter, die relevante Datensätze und genomische Regionen identifizieren. Das Variant Querying Module nutzt bcftools und dessen htslib-Bibliothek, um bestimmte Bereiche von VCF-Dateien über HTTP Byte Range Requests abzurufen. Auf diese Weise kann das System die benötigte genomische Region lesen, ohne die komplette Datei zu übertragen. Die Ergebnisse werden aggregiert und über die Beacon API zurückgegeben.
Anuradha Wickramarachchi, Solutions Architect für Bioinformatik-Produkte bei CSIRO, hob die Datenkompression als wichtigen Aspekt des Designs hervor.
Ein Schlüsselaspekt, den wir sorgfältig berücksichtigt haben, besteht darin, die Daten in der stärksten komprimierten Form vorzuhalten. Und Abfragen in der komprimierten Form durchzuführen, ist äußerst vorteilhaft.
CSIRO bewertete die Architektur anhand von Chromosom 1 aus dem 1000 Genomes Project, das 2.504 Proben in einer 1,1 GB großen komprimierten VCF-Datei enthält. Der Datensatz wurde in 18 Sekunden onboardet. Eine Abfrage über 10.000 Basenpaare dauerte im Durchschnitt 1,52 Sekunden bei geschätzten Rechenkosten von 0,00013 USD. Die Latenz blieb weitgehend konsistent, während die Anzahl der passenden Varianten von vier auf 400 anstieg.
Lambda verteilt genomische Abfragen, während S3 nur die benötigten komprimierten Dateibereiche ausliefert (Quelle: AWS Blog Post)
Das Design baut auf früheren sBeacon-Forschungsarbeiten auf, die in Nature Biotechnology veröffentlicht wurden und Unterstützung für bis zu 40 Millionen Individuen und 3 Milliarden genomische Positionen berichteten. Die ursprüngliche Beacon-Arbeit beschrieb das föderierte Modell, während das GA4GH-Protokoll so konzipiert wurde, dass es über verteilte Datenquellen hinweg funktioniert, ohne eine zugrunde liegende Speichertechnologie vorzuschreiben. Die ursprüngliche Beacon-Arbeit beschrieb das föderierte Modell als Möglichkeit für Organisationen, die Kontrolle über ihre genomischen Daten zu behalten und gleichzeitig standardisierte Abfrageschnittstellen bereitzustellen.
Die Implementierung von 2026 erweitert dieses Modell um Cloud-Dienste, die eine elastische Abfrageausführung ermöglichen und die genomischen Dateien zugleich im Objektspeicher belassen.
Finden Sie die Fehler, die Ihre Tests verpassen. Antithesis nutzt deterministische Simulation, um tausende Fehlerszenarien zu durchleuchten und schwer reproduzierbare Fehler aufzudecken, bevor sie in die Produktion gelangen. Erfahren Sie, wie es funktioniert.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
The architecture separates genomic data from the metadata needed to search it. Variant Call Format (VCF) files remain in Amazon S3, while metadata such as disease status, age, and location is indexed separately. During onboarding, sBeacon creates indexes and Athena tables for the metadata, while ontology terms are handled through CSIRO's Ontoserver to support queries combining genomic and phenotypic information.
sBeacon data onboarding architecture (Source: AWS Blog Post )
For variant queries, API Gateway routes requests to Lambda functions that identify relevant datasets and genomic regions. The Variant Querying Module uses bcftools and its htslib library to retrieve specific portions of VCF files through HTTP byte range requests. This allows the system to read the required genomic region without transferring the complete file. Results are aggregated and returned through the Beacon API.
Anuradha Wickramarachchi, Solutions Architect for Bioinformatics Products at CSIRO, highlighted data compression as an important consideration in the design,
One key consideration we have exercised carefully is having the data in the most compressed form. And querying while they are in the compressed form is greatly beneficial.
CSIRO evaluated the architecture using chromosome 1 from the 1000 Genomes Project, containing 2,504 samples in a 1.1 GB compressed VCF file. The dataset was onboarded in 18 seconds. A query covering 10,000 base pairs averaged 1.52 seconds at an estimated compute cost of USD 0.00013. Latency remained broadly consistent as matching variants increased from four to 400.
Lambda distributes genomic queries while S3 serves only the required compressed file ranges (Source: AWS Blog Post )
The design builds on earlier sBeacon research published in Nature Biotechnology, which reported support for up to 40 million individuals and 3 billion genomic locations. The original Beacon work described the federated model, while the GA4GH protocol was designed to operate across distributed data sources without prescribing an underlying storage technology. The original Beacon work described the federated model as a way for organizations to retain control of their genomic data while exposing standardized query interfaces. The 2026 implementation extends that model with cloud services that provide elastic query execution while retaining genomic files in object storage.
Find the bugs your tests miss. Antithesis uses deterministic simulation to explore thousands of failure scenarios, uncovering hard-to-reproduce bugs before they reach production. See how it works.