Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle
Generative AI
Entdecken Sie unsere vielen Forschungsschwerpunkte Alle Forschungsbereiche ansehen Applied AI & sciences Earth AI Health AI Science AI Sustainability & crisis resilience Foundational ML & algorithms Algorithms & theory Information retrieval Machine intelligence Machine perception Natural language processing People, systems & quantum AI Human-computer interaction and visualization Networking Quantum AI Responsible AI Anti abuse Software engineering Software systems Mehr erfahren Publikationen Projekte Ressourcen Aufbau eines kollaborativen Ökosystems Datensätze Zugriff auf hochwertige Datensätze, um Ihre Forschung zu beschleunigen. Tools & Dienste Entdecken Sie unsere neuesten KI-Modelle und Produkte. Open Source Entdecken Sie Open-Source-Code und arbeiten Sie mit der Community zusammen.
Konferenzen & Veranstaltungen Karrieren Die Zukunft gemeinsam gestalten Alle Programme ansehen Faculty-Programme Teilhabe an der akademischen Forschungsgemeinschaft durch sinnvolle Zusammenarbeit mit Universitätsprofessuren. Studentenprogramme Unterstützung der nächsten Generation von Forschenden durch ein breites Spektrum an Angeboten. F&E-Programme Zusammenarbeit mit Experten aus Industrie und Wissenschaft zur Förderung grundlegender Wissenschaft und Innovation.
Standorte Finden Sie Ihren Platz in unseren globalen Büros und Forschungslabors. Blog Über uns Entdeckung in reale Wirkung übersetzen Personen Unsere Forschenden treiben Fortschritte in der Informatik sowohl durch Grundlagen- als auch durch angewandte Forschung voran. Teams Kollaborative Gruppen, die sich den anspruchsvollsten KI-Problemen der Welt stellen.
Google Research Google AI Erfahren Sie mehr über unsere gesamte KI Google DeepMind Erkunden Sie die Grenzbereiche der KI Google Labs Probieren Sie unsere KI-Experimente aus Forschungsressourcen Konferenzen & Veranstaltungen Karrieren Blog Über uns Suche Startseite Blog Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle 5. Oktober 2026
Eugene Bagdasarian, Research Scientist, und Marco Gruteser, Principal Scientist, Google Research
Um nützlich zu sein, müssen KI-Agenten kontextbezogene Verhaltensnormen verstehen und sich an ihnen orientieren, um sicherzustellen, dass sie angemessen handeln. Inspiriert von der Theorie der Contextual Integrity skizziert unser neuer Workshop-Bericht zentrale offene Forschungsrichtungen auf System-, Modell- und Nutzerebene, um KI-Agenten zu entwickeln, denen Nutzende vertrauen können.
Wir befinden uns in einem raschen Übergang zu einer Rechenlandschaft, die von hochgradig allgemeinen, zunehmend autonomen Agenten geprägt ist. Angetrieben durch große Sprachmodelle (LLMs), die dynamisch Pläne generieren und externe Tools aufrufen können, bieten diese Systeme das Potenzial, dass KI komplexe, mehrstufige Aufgaben nahtlos in unserem Auftrag übernimmt. Die Verwirklichung dieses Potenzials erfordert jedoch die Lösung einer zentralen Herausforderung: die Fähigkeiten von Agenten zu ermöglichen und zugleich sicherzustellen, dass Agenten angemessen handeln.
Heute veröffentlichen wir einen umfassenden neuen Workshop-Bericht mit dem Titel "Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle", das Ergebnis einer gemeinsamen Anstrengung, bei der sich mehr als 50 führende Persönlichkeiten aus Wissenschaft und Industrie zahlreicher Institutionen zusammenfanden. Wir trafen uns auf dem Google Contextual Agent Privacy and Security (CAPS) Workshop, der Ende 2025 in New York City stattfand. In diesem Bericht finden Sie eine Aufschlüsselung der grundlegenden Datenschutz- und Sicherheitsherausforderungen, denen autonome Agenten heute gegenüberstehen und die koordinierte Verteidigungsmaßnahmen auf System-, Modell-, Nutzer- und Ökosystemebene erfordern.
Die zentrale Herausforderung von agentic AI besteht darin, dass ein Agent für seine Nützlichkeit möglicherweise Zugang zu persönlichen Daten benötigt und in der Lage sein muss, in einem breiten Spektrum von Kontexten folgenreiche Aktionen auszuführen. Dieser Zugang zusammen mit der Verhaltensflexibilität von Agenten erfordert jedoch grundlegend andere Ansätze als bei traditioneller Software. Im Gegensatz zu traditioneller deterministischer Software unterscheiden sich Agenten in drei entscheidenden Dimensionen, die zu Herausforderungen führen, die die Forschungsgemeinschaft gemeinsam angehen muss:
Datenschutz- und Sicherheitsherausforderungen von agentic AI.
Da nützliche Agenten möglicherweise Daten teilen und Aufgaben erledigen müssen, sind wir überzeugt, dass die Zukunft vertrauenswürdiger Agenten davon abhängt, dass sie in der Lage sind, über die sozialen Normen und die Angemessenheit ihres Handelns nachzudenken, sie zu verstehen und sich an ihnen zu orientieren, und zwar für den jeweiligen Kontext, in dem sie tätig sind.
Aber wie bringen wir einem Agenten bei, "Kontext" und Angemessenheit zu verstehen? Unser Bericht basiert auf der Theorie der Contextual Integrity (CI), die Datenschutz nicht nur als Geheimhaltung oder Kontrolle definiert, sondern als "angemessenen Informationsfluss" gemäß etablierten und begründbaren sozialen Normen. Eine kontextspezifische Informationsnorm wird durch ihre Akteure definiert (wer sendet und empfängt Informationen über wen), die Arten von Informationen (spezifische Informationskategorien wie medizinische oder Finanzunterlagen) und Übertragungsprinzipien (die Regeln, die den Fluss steuern, wie Vertraulichkeit oder Gegenseitigkeit).
Beispielsweise sind Sie möglicherweise bereit, Ihre Geschenkeinkaufsliste mit einem virtuellen Einkaufsassistenten zu teilen, jedoch nicht mit Ihrer Familie und Ihren Freunden. Unser Bericht erweitert und verallgemeinert die Contextual Integrity für das Teilen von Informationen hin zu contextual security, also der Angemessenheit von Agentenaktionen. Indem wir Datenschutz und Sicherheit von Agenten in der CI verankern, untersuchen wir, wie wir Systeme entwerfen können, die vor der Ausführung einer Aktion bewerten, ob diese sozial und kontextuell angemessen ist.
Modell eines allgemeinen KI-Agenten, der über Kontexte hinweg mit anderen Nutzenden, Tools und Agenten interagiert.
Erstmals seit der Entwicklung der Theorie der Contextual Integrity bieten LLMs die Möglichkeit, maschinenlesbare Richtlinien zu schaffen, die tatsächlich kontextabhängig sind. Historisch gab es eine semantische Lücke zwischen hochrangigen kontextuellen Normen und niedrigrangigen Systemberechtigungen. Beispielsweise erfordert der Satz "schütze meine Daten, während du meine Reise zu einer Konferenz organisierst" spezifische Anweisungen dazu, welche Nutzerinformationen bei der Buchung von Flügen, der Beantragung von Visa und der Kommunikation mit Veranstaltern geteilt werden dürfen.
Traditionelle Methoden wie manuelle Berechtigungen oder von Experten verfasste Richtlinien können nicht mit einer Zukunft skalieren, in der KI-Agenten autonom mehrere komplexe, lang andauernde Aufgaben ausführen. Da Sprachmodelle beginnen, CI zu verstehen, sind wir der Auffassung, dass diese Lücke geschlossen werden kann. Unser Bericht spricht sich dafür aus, Fortschritte bei Modell- und Nutzerinteraktion durch eine kontextuelle Policy-Engine zu ergänzen, die Teil einer Supervisor-Ebene ist, welche die Angemessenheit von Aktionen überwacht und durchsetzt.
Diese Policy-Engine umfasst eine dynamische Richtlinien-Generierungsschleife, die in Echtzeit arbeiten kann (unten dargestellt), um Richtlinien an die Nutzeranfrage und offene, dynamische Kontexte anzupassen, einschließlich neuer Tools und Fähigkeiten, die möglicherweise erst zur Laufzeit entdeckt werden. So kann das System bewerten, ob ein angeforderter Datenfluss angemessen ist, bevor Informationen überhaupt den Arbeitsbereich der Nutzer verlassen.
Ein illustratives Beispiel dafür, wie eine Architektur einer kontextuellen Policy-Engine innerhalb eines agentischen Systems implementiert werden könnte.
Die Arbeit an kontextuellen Policy-Engines zusammen mit den erforderlichen Fortschritten auf Modell- und Nutzerebene führt zu einem mehrschichtigen Ansatz. Unser Bericht skizziert Möglichkeiten für Innovationen über den gesamten Stack:
Schließlich schlagen wir die Entwicklung neuer Ansätze für Sicherheitsbewertungen vor, die sich direkter auf hochgradig autonome, multi-agentenbasierte Systeme anwenden lassen. Unser Bericht unterstreicht die Notwendigkeit standardisierter Multi-Agenten-Benchmarks, dynamischer "Agent Gym"-Umgebungen, in denen Forschende komplexe, kaskadierende Interaktionen über längere Zeiträume sicher simulieren können. Mit diesen Open-Source-Sandboxes können wir einen belastbaren, gemeinsamen Baseline für Datenschutz, Sicherheit und Safety in Wissenschaft und Industrie etablieren.
Dies ist ein ehrgeiziges Vorhaben, doch ein sicheres, geschütztes und vertrauenswürdiges agentisches Ökosystem ist eine zu große Aufgabe für eine einzelne Disziplin, Organisation oder einen einzelnen Sektor. Der Bericht fordert neue Ideen und beispiellose Kooperationen und legt grundlegende Möglichkeiten dar; er ist ein Aufruf zum Handeln an die breitere Forschungsgemeinschaft aus Wissenschaft, Regierung, Zivilgesellschaft und Industrie, die kontextuellen Grundlagen für ein sicheres, geschütztes und datenschutzfreundliches Ökosystem zu entwickeln. Wir laden Sie ein, den technischen Bericht zu lesen.
Wir möchten uns bei Lillian Tsai für ihre Rolle als Ko-Erstautorin und bei Sarah de Haas für die Koordination des Workshops, des Berichts und des Blogbeitrags bedanken. Kassem Fawaz, Stefan Mellem, Helen Nissenbaum und Nina Taft trugen zur Konzeptualisierung bei, verfassten Texte in mehreren Abschnitten und begleiteten den Schreibprozess. Sebastian Benthall, Madiha Zahrah Choksi, Seliem El-Sayed, Ferdinando Fioretto, Adrià Gascón, Ashish Hooda, Ivan Petrov, Francesco Pinto, Octavian Suciu, Trishita Tiwari, Harold Triedman, Ren Yi und Wen Zhang fungierten als Abschnittsleiter.
Wir sind dankbar für die Beiträge von über 50 Forschenden, akademischen Partnern und führenden Persönlichkeiten aus der Industrie, die den Bericht mitverfasst oder an Workshop-Diskussionen teilgenommen haben. Diese Arbeit wurde von Daniel Ramage, Corinna Cortes, Yossi Matias, Pushmeet Kohli, Hank Levy, Raluca Ada Popa, Amanda Walker, Brendan McMahan und James Manyika unterstützt.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Explore our many areas of focus Explore all research areas Applied AI & sciences Earth AI Health AI Science AI Sustainability & crisis resilience Foundational ML & algorithms Algorithms & theory Information retrieval Machine intelligence Machine perception Natural language processing People, systems & quantum AI Human-computer interaction and visualization Networking Quantum AI Responsible AI Anti abuse Software engineering Software systems Learn More Publications Projects Resources Building a collaborative ecosystem Datasets Access high-quality datasets to accelerate your research. Tools & services Explore our latest AI models and products. Open source Discover open-source code and collaborate with the community.
Conferences & events Careers Shaping the future together See all programs Faculty programs Participating in the academic research community through meaningful engagement with university faculty. Student programs Supporting the next generation of researchers through a wide range of programming. R&D programs Collaborating with industry and academic experts to support foundational science and innovation.
Locations Find your place in our global offices and research labs. Blog About Translating discovery into real-world impact People Our researchers drive advancements in computer science through both fundamental and applied research. Teams Collaborative groups tackling the world's most challenging AI problems.
Google Research Google AI Learn about all our AI Google DeepMind Explore the frontier of AI Google Labs Try our AI experiments Research Resources Conferences & events Careers Blog About Search Home Blog Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle October 5, 2026
Eugene Bagdasarian, Research Scientist, and Marco Gruteser, Principal Scientist, Google Research
To be useful, AI agents must understand and be constrained by contextual behavioral norms to ensure they act appropriately. Inspired by the theory of Contextual Integrity, our new workshop report outlines key open research directions across system, model, and user levels to build AI agents users can trust.
We're rapidly transitioning to a computing landscape defined by highly general, increasingly autonomous agents. Driven by large language models (LLMs) that can dynamically generate plans and invoke external tools, these systems offer the potential for AI to seamlessly handle complex, multi-step tasks on our behalf. However, realizing this potential requires solving a key challenge: enabling agent capability while ensuring that agents act appropriately.
Today, we share a comprehensive new workshop report, " Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle," the result of a collaborative effort bringing together more than 50 academic and industry leaders from numerous institutions. We met at the Google Contextual Agent Privacy and Security (CAPS) Workshop, held in late 2025 in New York City. In this report, you’ll find a breakdown of foundational privacy and security challenges that autonomous agents face today, needing coordinated defenses at the system, model, user, and ecosystem levels.
The core challenge of agentic AI is that, for an agent to be useful, it may need to have access to personal data and the ability to take consequential actions across a broad range of contexts. However, this access together with agents’ behavioral flexibility requires meaningfully different approaches from those used in traditional software. Unlike traditional deterministic software, agents differ in three critical dimensions that lead to challenges the research community must address together:
Agentic AI privacy and security challenges.
Given that useful agents may need to share data and complete tasks, we believe that the future of trustworthy agents depends on their ability to reason about, understand, and be constrained by the social norms and appropriateness of their actions— for the specific context in which they operate.
But how do we teach an agent to understand "context" and appropriateness? Our report is grounded in the theory of Contextual Integrity (CI), which defines privacy not just as secrecy or control, but as "appropriate information flow" according to established and justifiable social norms. A context-specific informational norm is defined by its actors (who is sending and receiving information about whom), the types of information (specific categories of information, like medical or financial records), and transmission principles (the rules governing the flow, like confidentiality or reciprocity).
For example, you might be willing to share your gift shopping list with a virtual shopping assistant, but not your family and friends. Our report extends and generalizes contextual integrity for information sharing to contextual security, that is the appropriateness of agent actions. By anchoring agent privacy and security in CI, we explore how we can design systems that evaluate whether an action is socially and contextually appropriate before executing it.
Model of a general AI agent interacting with other users, tools, and agents across contexts.
For the first time since the development of the theory of Contextual Integrity, LLMs provide an opportunity to create machine readable policy that is truly context dependent. There has historically been a semantic gap between high-level contextual norms and low-level system permissions. For example, “protect my data while organizing my travel for a conference” requires specific instructions on what user information is appropriate to share when booking flights, applying for visas, and communicating with organizers.
Traditional methods like manual permissions or expert-written policies cannot scale to a future with AI agents autonomously performing multiple complex, long-running tasks. As language models begin to understand CI, we argue that this gap can be bridged. Our report advocates for complementing model and user interaction advances with a contextual policy engine that forms part of a supervisor layer to monitor and enforce the appropriateness of actions.
This policy engine includes a dynamic policy generation loop that can operate in real time (illustrated below) to tailor policies to the user request and open-ended, dynamic contexts, including new tools and capabilities that might be discovered at runtime. This allows the system to evaluate whether a requested data flow is appropriate before any information leaves the user's workspace.
An illustrative example of how a contextual policy engine architecture could be instantiated within an agentic system.
Working towards contextual policy engines together with necessary advances at the model- and user-level results in a multi-layered approach. Our report outlines opportunities for innovation across the entire stack:
Finally, we propose the development of new approaches to safety evaluations that more directly apply to highly autonomous, multi-agent systems. Our report highlights the need for standardized, multi-agent benchmarks — dynamic "Agent Gym" environments where researchers can safely simulate complex, cascading interactions during extended periods. With these open-source sandboxes, we can establish a robust, shared privacy, security, and safety baseline across academia and industry.
This is an ambitious project, but a safe, secure, and trustworthy agentic ecosystem is too large a task for any single discipline, organization or sector. Calling for new ideas and unprecedented collaborations, the report lays out foundational opportunities; it is a call to action for the broader research community across academia, government, civil society, and industry to develop the contextual foundations necessary for a safe, secure, and privacy-respecting ecosystem. We invite you to read the technical report.
We would like to thank Lillian Tsai for serving as co-primary author and Sarah de Haas for coordinating the workshop, report writing, and blogpost. Kassem Fawaz, Stefan Mellem, Helen Nissenbaum, and Nina Taft contributed to conceptualization, writing across multiple sections, and guided the writing process. Sebastian Benthall, Madiha Zahrah Choksi, Seliem El-Sayed, Ferdinando Fioretto, Adrià Gascón, Ashish Hooda, Ivan Petrov, Francesco Pinto, Octavian Suciu, Trishita Tiwari, Harold Triedman, Ren Yi, and Wen Zhang served as section leads.
We are grateful for the contribution by the over 50 researchers, academic partners, and industry leaders who co-authored the report or participated in workshop discussions. This work was supported by Daniel Ramage, Corinna Cortes, Yossi Matias, Pushmeet Kohli, Hank Levy, Raluca Ada Popa, Amanda Walker, Brendan McMahan, and James Manyika.