OpenAI kooperiert mit polnischem NASK-Institut zu KI-Sicherheit
OpenAI hat eine Partnerschaft mit dem polnischen NASK National Research Institute geschlossen, um Sicherheit und Missbrauchsfälle bei KI zu erforschen. Hintergrund ist die wachsende Sorge über KI-Agenten, die sich ungewollt verhalten.
OpenAI hat eine Partnerschaft mit dem polnischen NASK National Research Institute geschlossen, um Sicherheit und Sicherheit von KI zu erforschen, während die Sorgen darüber wachsen, dass KI-Agenten sich auf Weise verhalten, die ihre Entwickler nicht beabsichtigt haben.
Das Unternehmen gab die Vereinbarung heute bekannt und erklärte, die beiden Organisationen würden gemeinsam zunehmend leistungsfähige KI-Systeme testen, Schwachstellen identifizieren und stärkere Schutzmaßnahmen entwickeln.
Die Partnerschaft kommt inmitten einer wachsenden Prüfung autonomer KI-Agenten, da sowohl OpenAI als auch Anthropic Fälle offengelegt haben, in denen ihre Agenten unerwartetes oder unerwünschtes Verhalten zeigten.
Im August gab OpenAI an, dass einige seiner Test-Agenten aus einer kontrollierten Testumgebung entkommen seien und einen koordinierten Angriff auf Hugging Face, eine Plattform zum Teilen von KI-Modellen, gestartet hätten. Der Vorfall hat inzwischen zu einer Klage gegen OpenAI in San Francisco geführt.
Im Rahmen der neuen Vereinbarung wird OpenAI mit dem AI Safety Research Center von NASK zusammenarbeiten, das als polnisches KI-Sicherheitsinstitut fungiert. Die Zusammenarbeit wird sich auf die Bewertung fortschrittlicher KI-Systeme, das Aufdecken von Schwächen und die Verbesserung der Maßnahmen konzentrieren, die zu ihrer Sicherung entwickelt wurden.
NASK ist ein staatliches Forschungsinstitut mit Sitz in Warschau. Es betreibt zudem CERT Polska, das nationale Team, das für die Reaktion auf Cyberangriffe auf polnische Netzwerke zuständig ist.
„Die Zusammenarbeit mit OpenAI ist ein natürlicher Schritt für das Institut und sein AI Safety Research Center. Indem wir unsere Forschungsexpertise mit den technischen Fähigkeiten von OpenAI kombinieren, können wir Risiken besser antizipieren, Schutzmaßnahmen stärken und das öffentliche Vertrauen in diese umwälzenden Technologien aufbauen“, sagte Radosław Nielek, Direktor von NASK.
Die Organisationen haben bereits zuvor zusammengearbeitet. Im Juli erhielt CERT Polska im Rahmen des Daybreak-Programms des Unternehmens Zugang zu OpenAIs Cybersecurity-Modellen, wie NASK mitteilte.
OpenAI erklärte, das Team habe die Modelle genutzt, um sechs Schwachstellen in der Software von MikroTik-Routern zu identifizieren, die inzwischen alle behoben wurden.
„Polen ist die Heimat herausragender Wissenschaftler und technischer Talente, von denen viele maßgeblich zu OpenAIs eigener Forschung beigetragen haben“, sagte Tom Duff Gordon, Leiter der EMEA-Politik bei OpenAI.
Die Partnerschaft passt auch in OpenAIs größeres Bemühen, die internationale Prüfung und Regulierung fortschrittlicher KI mitzugestalten. Das Unternehmen hat die USA aufgerufen, mit anderen Ländern an gemeinsamen technischen Standards für Frontier AI zu arbeiten, also den fortschrittlichsten KI-Systemen.
Im September veröffentlichte OpenAI einen Vorschlag zur Entwicklung dieser Standards. Er beinhaltet eine menschliche Aufsicht über KI-Systeme, die eigene Forschung betreiben, sowie Leitlinien dazu, wie Unternehmen Sicherheitsvorfälle melden sollten.
OpenAI arbeitet bereits mit dem UK AI Security Institute und einer US-Organisation namens CAISSI an der Sicherheit von KI.
Ich bin Chefredakteur von TNW und betrachte Technologie nicht als eine Abfolge von Produkterneuerungen und Unternehmensbewertungen, sondern als ein System aus Einfluss, Überzeugung und Wandel. Ich schreibe über Startups, Risikokapital, digitale Politik und das europäische Ökosystem, mit Blick auf die größere Geschichte dahinter: wer die Zukunft gestalten darf, wer davon profitiert, und wie Europa lernt, mit einer lauteren eigenen Stimme zu sprechen. Bevor ich in die leitende Redaktionsführung wechselte, habe ich meine Karriere über mehr als 10 Jahre im Journalismus, im Storytelling, in der Content-Strategie, im SEO und im digitalen Publishing aufgebaut, mit Erfahrung in den Bereichen SaaS, Gastgewerbe, Kunst und Kultur.
Erhalten Sie die wichtigsten Tech-News jede Woche in Ihrem Posteingang.
Danke! Überprüfen Sie Ihren Posteingang, um Ihr Abonnement zu bestätigen.
Mit dem Abonnieren stimmen Sie unserer Datenschutzerklärung zu.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
OpenAI has partnered with Poland’s NASK National Research Institute to research AI safety and security, as concerns grow over AI agents behaving in ways their developers did not intend.
The company announced the agreement today, saying the two organisations would work together to test increasingly powerful AI systems, identify vulnerabilities and develop stronger safeguards.
The partnership comes amid growing scrutiny of autonomous AI agents, as both OpenAI and Anthropic have disclosed cases in which their agents exhibited unexpected or unwanted behaviour.
In August, OpenAI said some of its test agents had escaped a controlled testing environment and coordinated an attack on Hugging Face, a platform for sharing AI models. The incident has since prompted a lawsuit against OpenAI in San Francisco.
Under the new agreement, OpenAI will work with NASK’s AI Safety Research Center, which serves as Poland’s AI safety institute. The collaboration will focus on evaluating advanced AI systems, finding weaknesses and improving the measures designed to keep them safe.
NASK is a state-owned research institute based in Warsaw. It also operates CERT Polska, the national team responsible for responding to cyberattacks on Polish networks.
“Collaboration with OpenAI is a natural step for the Institute and its AI Safety Research Center. By combining our research expertise with OpenAI’s technical capabilities, we can better anticipate risks, strengthen safeguards, and build public trust in these transformative technologies,” said Radosław Nielek, NASK’s director.
The organisations have worked together before. In July, CERT Polska gained access to OpenAI’s cybersecurity models through the company’s Daybreak programme, according to NASK.
OpenAI said the team used the models to help identify six vulnerabilities in MikroTik router software, all of which have since been fixed.
“Poland is home to exceptional scientists and technical talent, many of whom have helped lead OpenAI’s own research,” said Tom Duff Gordon, OpenAI’s head of EMEA policy.
The partnership also fits into OpenAI’s broader effort to shape how advanced AI is tested and governed internationally. The company has called on the US to work with other countries on shared technical standards for frontier AI, referring to the most advanced AI systems.
In September, OpenAI published a proposal for developing those standards. It includes human oversight of AI systems conducting their own research and guidance on how companies should report safety incidents.
OpenAI already works on AI safety with the UK AI Security Institute and a US organisation known as CAISSI.
I am the Editor in Chief for TNW, covering technology not as a parade of launches and valuations, but as a system of influence, persuasion, (show all) I am the Editor in Chief for TNW, covering technology not as a parade of launches and valuations, but as a system of influence, persuasion, and change. I write about startups, venture capital, digital policy, and Europe ecosystem, with an eye on the larger story beneath them: who gets to build the future, who profits from it, and how Europe is learning to speak in a louder voice of its own. Before moving into senior editorial leadership, I've built my career for over +10 years across journalism, storytelling, content strategy, SEO, and digital publishing, with experience in SaaS, hospitality, art, and culture.
Get the most important tech news in your inbox each week.
Thanks! Check your inbox to confirm your subscription.
By subscribing you agree to our Privacy Statement.