Mathematiker ueberwaeltigt von OpenAIs Resultatflut
OpenAI hat binnen Kurzem eine grosse Menge mathematischer Ergebnisse veroeffentlicht. Mehr als drei Dutzend Mathematiker beschreiben die Menge an Resultaten als beispiellos und rechnen mit Jahren, um sie einzuordnen.
KI Schließen KI Beiträge zu diesem Thema werden zu deinem täglichen E-Mail-Digest und deinem Homepage-Feed hinzugefügt.
Tech Schließen Tech Beiträge zu diesem Thema werden zu deinem täglichen E-Mail-Digest und deinem Homepage-Feed hinzugefügt.
OpenAI Schließen OpenAI Beiträge zu diesem Thema werden zu deinem täglichen E-Mail-Digest und deinem Homepage-Feed hinzugefügt.
Karrieren werden über Nacht auf den Kopf gestellt, Wissenschaftler müssen Lösungen von minderem AI-Müll trennen, während OpenAI weitermacht.
Robert Hart Schließen Robert Hart KI-Reporter Beiträge dieses Autors werden zu deinem täglichen E-Mail-Digest und deinem Homepage-Feed hinzugefügt.
Teilen Verschenken Bild: The Verge, Getty Images Teil von Der ganze Aufruhr rund um die Übernahme der Mathematik durch die KI alle Updates ansehen Robert Hart Schließen Robert Hart Beiträge dieses Autors werden zu deinem täglichen E-Mail-Digest und deinem Homepage-Feed hinzugefügt.
„Erstaunlich.“ „Überwältigend.“ „Ohne Beispiel.“ „Surreal.“ „Purer Wahnsinn.“
Das waren einige der Beschreibungen, zu denen mehr als drei Dutzend Mathematiker in Gesprächen mit The Verge griffen, als sie versuchten, die Flut mathematischer Ergebnisse zu verarbeiten, die OpenAI diese Woche abrupt auf das Fachgebiet losgelassen hatte. Neben der Ehrfurcht, der Begeisterung und der Unsicherheit über das schiere Ausmaß der Flut stand eine tiefsitzende Angst darüber, was das alles bedeutet und was als Nächstes kommt. Bei allen unterschiedlichen Reaktionen waren sich die Forscher einig, dass allein das Verständnis dessen, was OpenAI veröffentlicht hatte, Jahre dauern könnte, ganz zu schweigen davon, herauszufinden, welchen Platz die Mathematiker selbst in dem sich um sie herum verändernden Fachgebiet einnehmen.
Viele fürchteten, dass OpenAI nicht so lange warten würde, bevor es weiterzieht oder noch mehr veröffentlicht.
Insgesamt veröffentlichte OpenAI fast 400 KI-generierte Ergebnisse. Diese verteilen sich auf mehr als 700 Manuskripte und decken ein breites Spektrum mathematischer Disziplinen ab, darunter Kombinatorik, mehrere Zweige der Geometrie, Zahlentheorie, theoretische Informatik, Algebra, Topologie, Wahrscheinlichkeitstheorie und statistische Mechanik sowie mathematische Physik. Die Sammlung ist so umfangreich, dass OpenAI sich gezwungen sah, eine Anleitung zur Navigation durch das ausgedehnte GitHub-Repository zu veröffentlichen.
Das schiere Volumen der Arbeit macht selbst eine vorläufige Einschätzung dessen, was das Unternehmen tatsächlich veröffentlicht hat, schwierig. In den Stunden und Tagen nach der Veröffentlichung erklärten die meisten Mathematiker, mit denen The Verge sprach, sie hätten noch Mühe, alles zu verdauen; mehrere sagten, allein das Durcharbeiten des rund 40-seitigen Inhaltsverzeichnisses mit Abstracts habe sie den Großteil einer Stunde gekostet. „Schon das Durchgehen der gesamten Liste der Abstracts ist überwältigend“, sagte Álvaro Lozano-Robledo, Mathematikprofessor an der University of Connecticut.
Zwischen den hunderten Manuskripten finden sich Formalisierungen in Lean, einer Programmiersprache und einem Beweisassistenten, die es ermöglichen, Ergebnisse rechnerisch zu verifizieren. Diese Formalisierungen haben sich als entscheidend für die Bewertung früherer mathematischer Behauptungen von OpenAI erwiesen, da sie Forschern die Gewissheit geben, dass eine Behauptung logisch korrekt ist, selbst wenn sie das dahinterstehende Argument nicht vollständig verstehen.
„Würden die KIs jetzt verschwinden, als wären es Außerirdische, die zur Erde kamen und dann einfach wieder abreisten, würden wir uns die nächsten zehn Jahre damit beschäftigen, alles zu verstehen.“
Doch der Grad, zu dem jedes Ergebnis verifiziert worden war, variierte enorm. Auf GitHub räumte OpenAI ein, dass sich die Ergebnisse „in unterschiedlichen Stadien der Verifizierung“ befänden und dass „viele, aber nicht alle der Manuskripte formalisiert“ worden seien. Zum Zeitpunkt der redaktionellen Bearbeitung scheinen weniger als die Hälfte der Manuskripte in der Sammlung formal beschrieben zu sein. OpenAI sagte, nur 300 der 719 Manuskripte enthielten formalisierte Kernergebnisse, etwa 42 Prozent, und man werde „das Repository mit weiteren Formalisierungen aktualisieren, sobald wir sie erhalten.“
Mehrere Mathematiker beklagten sich bei The Verge über den Mangel an Formalisierung, gerade angesichts der schieren Zahl der Ergebnisse, und betonten, dass selbst wenn Lean-Code ein Ergebnis begleitet, die Bewertung nicht sofort erfolgt. Die Forscher müssen prüfen, ob die Formalisierung tatsächlich beweist, was das Ergebnis behauptet, ein weiterer zeitaufwendiger Prozess, und mehrere, die sich durch die Arbeiten arbeiteten, sagten, dass selbst dort, wo rechnerisch verifizierbare Beweise vorgelegt worden seien, die Qualität schwankend war und die verifizierten Aussagen nicht immer sauber auf die Behauptungen in den zugehörigen Manuskripten passten.
Kevin Buzzard, Mathematikprofessor am Imperial College London, sagte, er habe in seinem Arbeitsgebiet, der algebraischen Zahlentheorie, zahlreiche Theoreme identifiziert, von denen nur etwa sechs sofort „herausstachen“. Nur wenige, wenn überhaupt, davon schienen in Lean formal verifiziert zu sein. „Daher muss ich entweder möglicherweise fehlerhaften Müll lesen oder darauf warten, dass andere dasselbe tun, oder darauf warten, dass jemand sie formalisiert, bevor ich mit Sicherheit sagen kann, ob die Ergebnisse überhaupt korrekt sind.“ Buzzards Bedenken wurden von zahlreichen anderen Forschern geteilt.
Buzzard war alles andere als allein mit seiner Sorge über KI-„Müll“. Der Begriff ist eine Kurzfassung für minderwertiges, häufig fehlerhaftes KI-generiertes Material, das zunehmend im Netz und in der realen Welt auftaucht, einschließlich akademischer Arbeiten. Wie in anderen Bereichen, so erzählten Mathematiker The Verge, habe es in den letzten Jahren einen enormen Anstieg solcher mit Werkzeugen wie ChatGPT und Claude erstellten Inhalte gegeben. Vieles davon ist verwirrend, schwer lesbar und zeigt kaum Verständnis des Fachgebiets; besonders mangelhaft ist es, wenn es darum geht, andere Forscher zu würdigen.
OpenAIs frühere mathematische Ausarbeitungen wurden von Experten wegen ihrer schlampigen Natur heftig kritisiert, insbesondere wegen ihrer schlechten oder nicht existierenden Quellenangaben. In Gesprächen mit The Verge vor der Veröffentlichung hatten mehrere Forscher begonnen, die drohende Flut von Papieren den „Slopocalypse“ oder ähnliche Varianten dieses Themas zu nennen.
Ob der gefürchtete „Slopocalypse“ tatsächlich eingetreten ist, lässt sich schwer sagen, vor allem aufgrund der verwirrenden Menge des veröffentlichten Materials. Erste Anzeichen deuten darauf hin, dass OpenAI diesmal bei den Arbeiten, oder zumindest bei einigen von ihnen, sorgfältiger vorgegangen ist. Mehrere Mathematiker erzählten The Verge, ihre ersten Eindrücke seien deutlich besser gewesen als erwartet, wenn auch nach eigenem Eingeständnis das aufgrund der früheren schlampigen Veröffentlichungen des Unternehmens ohnehin keine hohe Hürde war.
„Es ist ein großes Chaos. Es kann einen gewaltigen Kollaps der akademischen Kultur verursachen und schlicht die meisten Fakultäten töten. Es ist ein gesellschaftliches Problem, und die KI-Labore scheinen dieses Thema völlig zu ignorieren.“
Doch besser bedeutet nicht unbedingt gut, geschweige denn die Standards zu erfüllen, die üblicherweise an akademische Arbeiten mit Behauptungen dieses Ausmaßes gestellt werden. Da für viele der Behauptungen von OpenAI eine formale Verifizierung fehlt, wird die Qualität der begleitenden Arbeiten besonders wichtig; sie sind das wichtigste Mittel, mit dem Mathematiker die Ergebnisse bestätigen, verstehen, prüfen und einordnen können.
Das Verfassen strenger mathematischer Arbeiten ist selbst unter besten Umständen schwierige Arbeit. Dies in einem solchen Umfang zu tun, ist ein gewaltiges Unterfangen. OpenAIs Modelle produzieren Mathematik in atemberaubendem Tempo und über ein breites Spektrum an Spezialgebieten hinweg, bei weitem über die Kapazität seiner menschlichen Mitarbeiter hinaus. Das Unternehmen verfügt schlicht nicht über die Breite an Expertise oder die Ressourcen, um seine Erkenntnisse an der Spitze der Mathematik angemessen zu prüfen. Forscher erzählten The Verge, dass man das merkt.
Viele beschrieben Arbeiten, die schwer, manchmal praktisch unmöglich nachzuvollziehen waren. „Die Ausarbeitung des Problems, das ich am besten kenne, ergab nach einer kurzen Lektüre wenig Sinn“, sagte Brendan Hassett, Mathematikprofessor an der Brown University, gegenüber The Verge. „Wäre dies von einer Person geschrieben worden, würde ich keine weitere Zeit mehr darauf verwenden, es zu verstehen. Natürlich bleiben da noch 721 andere Preprints!“ (Hassett sagte dies, bevor OpenAI drei Arbeiten zurückzog).
Einige Forscher erzählten The Verge, mehrere Arbeiten, die sie oder ihre Kollegen aufgefallen waren, schienen Terrain abzudecken, das andere Mathematiker bereits bearbeitet hatten, waren aber davor zurückhaltend, dies öffentlich zu sagen, bevor sie die Gelegenheit hatten, das Material ordentlich zu prüfen. Andere verwiesen auf die ungewöhnliche Kürze der Arbeiten, bei denen Ergebnisse, die üblicherweise über hunderte Seiten entwickelt werden würden, auf wenige Dutzend oder weniger komprimiert wurden.
Nalini Joshi, Mathematikprofessorin an der University of Sydney in Australien, sagte, eine kurze Suche in der Veröffentlichung habe wenig ergeben, das sich mit ihrer eigenen Arbeit überschnitt, wies jedoch darauf hin, dass einige der Arbeiten, die sie untersucht habe, „kurze Literaturverzeichnisse“ hätten. Angesichts der früheren Kritik an OpenAIs Quellenangaben sagte sie, sie sei „vorsichtig, was die Quellenangaben in den Arbeiten angeht, da möglicherweise nicht die vollständige Geschichte darin enthalten ist.“
Doch trotz all des Mülls und der Unsicherheit lautet der übergreifende Konsens, dass die Veröffentlichung einige wirklich beeindruckende Arbeiten enthält.
Obwohl sie die Schwierigkeiten betonten, den Umfang des Materials einzuschätzen, und die Notwendigkeit, die Ergebnisse ordnungsgemäß zu überprüfen, sagten zahlreiche Forscher, mit denen The Verge sprach, die Arbeit wirke auf sehr hohem Niveau, trotz Mängeln in der Präsentation. In einer Welt vor KI, so sagten sie, hätten viele der Ergebnisse von OpenAI klar eine Veröffentlichung in Top-Journalen gerechtfertigt und hätten ausgereicht, um ihren Autoren eine akademische Karriere zu sichern. Einige wurden als Arbeiten beschrieben, die einen Mathematiker zu einem ernsthaften Kandidaten für eine Fields-Medaille machen könnten, eine der höchsten Auszeichnungen der Disziplin.
„Ich muss entweder möglicherweise falschen Mischmasch lesen oder darauf warten, dass andere dasselbe tun, oder darauf warten, dass jemand die Beweise formalisiert, bevor ich sicher sagen kann, dass die Ergebnisse überhaupt korrekt sind.“
Der Stanford-Mathematiker Jared Duker Lichtman sagte, es gebe „Dutzende“ Ergebnisse, die er in diese Kategorie einordnen würde, darunter Fortschritte in Richtung der Riemannschen Vermutung, ein Spezialfall der Hodge-Vermutung und eine Lösung der vierdimensionalen Kakeya-Vermutung. Dies sind große Probleme der Mathematik. Die Riemannsche Vermutung, wohl das berüchtigtste ungelöste Problem der gesamten Disziplin, und das Hodge-Problem gehören beide zu den sieben berühmten Millennium-Preis-Problemen.
Ersteres betrifft die Verteilung der Primzahlen, Letzteres, grob gesagt, die Frage, wie sich komplexe geometrische Formen anhand einfacherer Bausteine verstehen lassen. Die Kakeya-Vermutung fragt hingegen in etwa, wie wenig Raum benötigt wird, um eine Nadel oder einen Bleistift in jede Richtung zu drehen. Ein Beweis der dreidimensionalen Version des Kakeya-Problems gehörte zu den Leistungen, für die die NYU-Mathematikerin Hong Wang früher in diesem Jahr mit einer Fields-Medaille ausgezeichnet wurde.
„Es ist nicht so, dass dies nur alberne Probleme sind, von denen noch niemand je gehört hat“, sagte der Mathematiker Scott Armstrong. „Viele davon sind sehr bekannte Probleme, an denen viele Menschen jahrzehntelang gearbeitet haben.“
Als sich der Staub zu legen begann, sahen sich die Mathematiker mit einer Landschaft konfrontiert, die sich um sie herum schlagartig verändert hatte. Viele hatten gerade mit angesehen, wie jahrelange Arbeit und sorgfältig ausgearbeitete Forschungspläne in einem Augenblick verpufften, oder kannten Kollegen, denen es so ergangen war. In der gesamten Fachwelt, ob die Reaktionen nun von Aufregung, Angst, Verzweiflung oder etwas dazwischen geprägt waren, herrschte ein tiefes Gefühl der Orientierungslosigkeit.
Am folgenden Morgen hatte sich diese Stimmung kaum verändert. Armstrong, der sich beim Telefonieren durch Paris bewegte, stellte sich vor, dass die Atmosphäre eher „feierlich“ gewesen wäre, wäre die Sorbonne nicht wegen anhaltender Studentenproteste geschlossen gewesen und seine Kollegen um ihre gewohnte Kaffeemaschine versammelt.
In Schottland beschrieb Colva Roney-Dougal, Professorin für Mathematik an der University of St Andrews, eine ähnlich düstere Atmosphäre unter Kollegen und Studierenden. Die Flut empfinde sie als eher „gruselig“, sagte sie, aber ihre Ankunft brachte nach Wochen der Ungewissheit auch eine gewisse Erleichterung. „Ich habe eine Reihe von Freunden und Kollegen, deren Forschungsanträge gerade ausgelöscht wurden“, sagte sie.
„Ich habe eine Reihe von Freunden und Kollegen, deren Forschungsanträge gerade ausgelöscht wurden.“
Armstrong sagte, er kenne eine Gruppe, deren gesamtes Forschungsprogramm durch die Veröffentlichung praktisch „ausradiert“ worden sei. Tristan Buckmaster, ein Mathematiker an der NYU, der im Zentrum von OpenAIs früherem Streit um das Navier-Stokes-Problem stand, sagte hingegen, er habe bereits von „drei Personen gehört, deren gesamte Forschungsprogramme ausgelöscht wurden“.
Ähnliche Geschichten tauchten in The Verge s Gesprächen mit Mathematikern immer wieder auf, wobei sich die Störung auf einige Gebiete des Fachs stark konzentrierte. Francesco Fournier-Facio, Professor für Mathematik an der Heriot-Watt University in Schottland, sagte, Forscher in Wahrscheinlichkeitstheorie, Kombinatorik und theoretischer Informatik wirkten „besonders geschockt“, und fügte hinzu, dass einige Regionen seines Fachgebiets, der Gruppentheorie, „plattgewalzt“ worden seien.
Armstrong und andere Forscher sagten, manche Gebiete scheinen mit fast militärischer Präzision ins Visier genommen worden zu sein. „Es gab definitiv bestimmte Ziele“, sagte Armstrong. Er verwies auf Arbeiten in dem Gebiet, für das Wang in diesem Jahr die Fields-Medaille erhielt, sowie auf mehrere Millennium-Preis-Probleme. Eine Häufung von Ergebnissen in der mathematischen Physik zeige, dass OpenAI die Yang-Mills-Theorie, das mathematische Fundament eines Großteils der modernen Teilchenphysik, und ihr ungelöstes „Mass Gap“-Problem, eines der sieben Preisprobleme, verfolge.
Andortsch zeigten Forscher eine Art überraschte Erleichterung darüber, wie wenig ihre eigene Arbeit offenbar betroffen war. Roney-Dougal sagte, ihre eigene Ecke des Fachs, die weitgehend auf die Gruppentheorie zentriert ist, scheine relativ unversehrt entkommen zu sein. Sie scherzte, es sei von Glück, dass sie in einem „sehr unmodischen Gebiet“ arbeite, schrieb später jedoch, sie fühle sich „unsicher“, nachdem sie ihre Arbeit in einem der Papers zitiert gefunden hatte.
Joshi fand ebenfalls wenig Überschneidung mit ihrer Arbeit, die sich weitgehend mit integrablen Systemen befasst, also exakt lösbaren komplexen Systemen. Sie vermutete, das liege daran, dass ihr Fachgebiet weniger von lange bestehenden, formal formulierten Vermutungen und Definitionen getrieben wird und mehr von Fragen, die mit Entwicklungen in der Physik auf- und abschwellen.
Zum Stand des 8. Oktober wies dieses Protokoll bereits zahlreiche Korrekturen auf, darunter Überarbeitungen an mehr als einem Dutzend Manuskripten und die Entfernung von drei Papers wegen eines „Vorzeichenfehlers“, der laut OpenAI ein Argument ungültig macht.
Ob ihre eigene Arbeit nun direkt betroffen war oder nicht, die meisten Mathematiker, mit denen The Verge sprach, teilten das Gefühl, dass das Fach eine Art Schwelle überschritten hatte und nicht mehr dasselbe war wie einen Tag zuvor. Constantin Kogler, ein Forscher am Institute for Advanced Study, nannte es „den wichtigsten einzelnen Moment in der Geschichte der Mathematik“, während Yang-Hui He, Fellow am London Institute for Mathematical Sciences, Jahrtausende zurückgriff und die KI-getriebenen Entwicklungen dieses Jahres mit der Veröffentlichung von Euklids Elementen verglich, einem der einflussreichsten Werke der Disziplin.
Nur wenige Forscher gingen in ihren Einschätzungen so weit, aber es bestand ein allgemeiner Konsens, dass sich die Mathematik schnell verändert und dass die Mathematiker sich mit ihr verändern müssen.
OpenAI wusste, dass die Veröffentlichung disruptive Folgen haben würde, und hatte einige Anstrengungen unternommen, die Wirkung abzufedern und sich mit der mathematischen Community auseinanderzusetzen. Nach mehreren schmerzhaften Begegnungen mit Forschern früher in diesem Jahr wandte sich das Unternehmen an Mathematiker selbst um Hilfe und arbeitete mit der neu gegründeten Advisory Group on Mathematics and Artificial Intelligence (AGMAI) daran, wie die Ergebnisse verantwortungsvoll veröffentlicht werden könnten.
Die AGMAI hatte bereits dargelegt, was sie als verantwortungsvolles Vorgehen ansieht. KI-Labore sollten idealerweise Papers veröffentlichen, „die ein Mensch versteht“, oder anderweitig die notwendige „Unterstützung für die zusätzlichen mathematischen Aktivitäten bereitstellen, die erforderlich sind, damit Menschen ihre KI-generierten mathematischen Ergebnisse verstehen und aufnehmen und mögliche Anwendungen davon identifizieren können“. Sie sagten, Beweise sollten, wo möglich, formalisiert werden, und Unternehmen sollten öffentlich machen, welche Modelle und Prompts sie zu ihrer Erstellung verwendet haben.
Die Gruppe forderte die KI-Labore außerdem auf, aufzuhören, mathematische Veröffentlichungen als „Marketingvehikel zur Bewerbung ihrer Modelle“ zu behandeln, und „aufzuhören, fortgeschrittene mathematische Probleme an proprietären Modellen zu testen“, die der breiteren Wissenschaftsgemeinschaft nicht zugänglich sind.
„Es ist nicht so, dass dies nur alberne Probleme sind, von denen noch niemand je gehört hat. Viele davon sind sehr bekannte Probleme, an denen viele Menschen jahrzehntelang gearbeitet haben.“
OpenAI folgte einigen Ratschlägen der Gruppe. Das Unternehmen sagte, es werde eine Reihe von Workshops und Konferenzen rund um seine Arbeit in der Mathematik finanzieren, um der Community bei der Verarbeitung und dem Verständnis seiner Arbeit zu helfen, gab jedoch keine Details dazu, wie diese aussehen oder wann sie stattfinden könnten. Das Unternehmen offenbarte zudem deutlich mehr Informationen als bei früheren Veröffentlichungen, wobei Forscher anmerkten, dies sei eine niedrige Hürde, darunter, dass sein Modell mehr als 4.000 Probleme bearbeitet hatte und dass ein typisches Ergebnis etwa drei Stunden Rechenzeit im Denkmodus von ChatGPT Pro benötigte.
Es hat außerdem „Protokolle für Papierüberarbeitungen und Zitationen“ implementiert und auf GitHub erklärt, es werde „die öffentliche Veröffentlichungshistorie“ der Sammlung bewahren. Zum Stand des 8. Oktober wies dieses Protokoll bereits zahlreiche Korrekturen auf, darunter Überarbeitungen an mehr als einem Dutzend Manuskripten und die Entfernung von drei Papers wegen eines „Vorzeichenfehlers“, der laut OpenAI ein Argument ungültig macht. OpenAI antwortete nicht offiziell auf The Verge s Bitte um weitere Details.
Diese Änderung adressiert eine zentrale Quelle der Reibung mit Mathematikern, von denen einige von einer Art „Paranoia“ im Umgang mit den veröffentlichten Behauptungen des Unternehmens sprechen. Das Unternehmen hat die Angewohnheit gezeigt, Pressemitteilungen und Papers heimlich als Reaktion auf Kritik zu ändern, ohne diese Änderungen klar offenzulegen.
Doch OpenAI befolgte nicht alle Empfehlungen der Gruppe, darunter auch einige der Folgenschwersten nicht. Das Unternehmen nannte weder das Modell hinter der Veröffentlichung noch legte es die verwendeten Prompts oder die vollständige Menge der Probleme offen, die das Modell bearbeitet hatte. OpenAI räumte zudem offenbar ein, dass seine Formalisierungen lückenhaft waren, indem es ankündigte, weitere nachzureichen, sobald sie vorlägen, und räumte ein, dass die Paper mangelhaft seien: „Für künftige Veröffentlichungen verpflichten wir uns, die Qualität der Paper durch Zitationen, mathematische Darstellung und Präsentation der Ergebnisse für ein besseres Verständnis weiter zu verbessern.“
„Die Ausarbeitung des Problems, das ich am besten kenne, ergab nach einer kurzen Lektüre wenig Sinn.“
Forscher, mit denen The Verge sprach, fragten sich, warum OpenAI die Qualität dieser Paper nicht hätte verbessern können, und äußerten Enttäuschung darüber, dass das Unternehmen sich offenbar nicht die Mühe gemacht hatte, viele der Ergebnisse im Vorfeld zu formalisieren oder im Fall der zurückgezogenen Paper überhaupt zu prüfen. Informationen wie die verwendeten Prompts wären auch ungemein hilfreich gewesen, um die Last zu verringern, die viele dabei empfanden, die Flut an Material zu bewerten, die das Unternehmen plötzlich auf sie abgeworfen hatte.
Das Wichtigste jedoch: Das Unternehmen deutete an, dass es keine Pläne hat, das Testen seiner Modelle an mathematischen Problemen einzustellen, und suggerierte sogar, dies sei eine Notwendigkeit. „Wir wollen Wissenschaftler direkt mit modernsten Fähigkeiten ausstatten und arbeiten daran, das Modell, das diese Ergebnisse hervorgebracht hat, verantwortungsvoll zu veröffentlichen“, hieß es bei der Ankündigung der neuesten Ergebnisse. „Deshalb ist es wichtig, unsere internen Frontier-Modelle weiter an Mathematik und anderen Naturwissenschaften zu evaluieren, damit wir die Entwicklung von Werkzeugen beschleunigen können, die diese Felder voranbringen.“
Nachdem OpenAI seine Ergebnisse abgeladen hatte, bezeichnete AGMAI die Veröffentlichung als „einen ersten Schritt“ und bekräftigte seine Forderungen nach gerechtem Zugang zu Rechenleistung und Forschungswerkzeugen. Grundsätzlich argumentierte die Gruppe, dass „die Zukunft der mathematischen Forschung nicht nur darin bestehen kann, die von KI-Laboren erzeugten Ergebnisse zu verstehen.“
Bei all den hunderten lange bestehenden Problemen, die OpenAI angeblich gelöst hat, sagen Mathematiker, dass noch eine gewaltige Menge Arbeit zu erledigen ist. Viele schätzten, dass die Gemeinschaft Jahre brauchen könnte, um alles zu verstehen, was das Unternehmen gerade veröffentlicht hat.
Armstrong verglich die plötzliche Ankunft so vieler neuer Mathematik mit dem Aufruhr, der einem kurzen außerirdischen Besuch folgen könnte. „Wenn die KIs jetzt verschwinden würden, als wären Aliens auf die Erde gekommen und dann einfach wieder abgereist, würden wir uns die nächsten zehn Jahre damit beschäftigen, alles zu verstehen.“
Einiges davon wird für sich genommen spannend sein. Forscher müssen Lücken füllen, nützliche Ideen und Verbindungen herausziehen und die Lösungen in einen breiteren mathematischen Kontext einordnen, alles Dinge, die üblicherweise einhergehen mit der Erarbeitung von Lösungen für Menschen. „Bei vielen dieser Ergebnisse kümmern sich relevante Experten tiefgehend um die Lösungen, und ich bin zuversichtlich, dass sie in der Lage sein werden, sie zu verdauen und der breiteren Welt zu präsentieren“, sagte Lichtman. Arbeit, die darin besteht, Ergebnisse zu erklären, zu verifizieren und einzuordnen, müsse mehr gewürdigt werden, während die KI die Fachgebiete verändert, argumentierte er. „Als Gesellschaft sollten wir diese Verdauungsleistungen stärker belohnen.“
Es dürfte auch reichlich Mathematik geben, die für Menschen übrig bleibt. Soweit er es beurteilen konnte, sagte Lichtman, stammten alle Ergebnisse, so „erstaunlich“ sie auch seien, „aus bestehenden Methoden und Techniken“. Sie füllen Teile der bekannten mathematischen Landschaft aus, statt völlig neue zu schaffen. „Es stellt sich heraus, dass es viel mehr Raum zum Ausfüllen gibt, als Experten previously wussten!“ Lozano-Robledo bekräftigte diesen Punkt: „Sie verwenden alle bestehende Techniken auf sehr geniale Weise.“
Und die bestehende Karte ist keineswegs die Grenze. „Mathematische Forschung ist im Wesentlichen unendlich“, sagte Lozano-Robledo. „Die Forschung wird weitergehen.“ He vom London Institute sagte, er sei besonders gespannt darauf, was als Nächstes entstehe, und spekulierte, dass Forscher am Ende neue Ideen und „vielleicht sogar neue Teilgebiete der Mathematik“ schaffen könnten.
Die Unternehmen scheinen bereit, sofort weiterzumachen, lange bevor die Gemeinschaft eine halbwegs angemessene Gelegenheit hatte, das zu verdauen, was diese hervorgebracht haben.
Nur wenige Mathematiker, mit denen The Verge sprach, hatten grundsätzliche Einwände dagegen, dass KI neue Mathematik hervorbringt. Tatsächlich begrüßten viele dies und sagten in unterschiedlichem Maße, sie selbst seien begeisterte Nutzer von KI-Werkzeugen. Der Großteil des Unbehagens richtete sich dagegen, wie die KI-Unternehmen, die diese Werkzeuge entwickeln, dabei vorgehen, in ihr Fachgebiet einzutreten.
Wenn man sich die mathematischen Veröffentlichungen von OpenAI und anderen KI-Laboren ansieht, könnte man leicht auf den Gedanken kommen, dass Forschungsmathematik im Wesentlichen darauf hinausläuft, Probleme von einer Liste abzuhaken. Die Art und Weise, wie KI-Labore ihre Ergebnisse präsentieren, verstärkt diesen Eindruck: eine aufwendige Ankündigung, eine vorläufige Ausarbeitung, und der Rest wird den Mathematikern zugeworfen, damit sie es ausarbeiten und einordnen. Mehrere Forscher sagten The Verge, dass die Unternehmen offenbar bereit seien, sofort weiterzumachen, lange bevor die Gemeinschaft eine halbwegs angemessene Gelegenheit hatte, das zu verdauen, was sie hervorgebracht haben.
Forscher bezeichneten das als eine verarmte Sichtweise darauf, wie mathematische Forschung tatsächlich funktioniert. Lösungen sind zweifellos wichtig, aber ebenso alles, was auf dem Weg dorthin geschieht: Ideen entwickeln, Verbindungen herstellen und neue Fragen finden oder andere Forschungswege eröffnen. Wenn Unternehmen wie OpenAI einfach nur Antworten finden, ohne die umgebende Arbeit zu leisten, sagen Mathematiker, falle die Last dafür zurück auf die Gemeinschaft.
„Es ist schön, neue Ergebnisse zu haben, aber dieses Ausmaß ist ein anderes Level“, sagte Bartosz Naskręcki, ein Mathematiker an der Adam-Mickiewicz-Universität in Posen, Polen. „Es ist ein großes Chaos“, sagte er. „Es kann einen riesigen Kollaps in der akademischen Kultur verursachen und schlicht die meisten Fakultäten töten. Es ist ein soziales Problem, und es scheint, dass die KI-Labore diese Frage vollständig ignorieren.“
Es ist nicht nur die Mathematik, deren Verständnis Jahre dauern wird. Forscher ringen auch damit zu begreifen, was der Umbruch für sie bedeutet. Viele beschrieben eine düstere, fast existenzielle Stimmung, die über der Gemeinschaft liegt, während die Mathematiker ihren Platz in dem sich rasant wandelnden Feld ausloten. Viel Zeit, das herauszufinden, dürften sie nicht haben.
Unter Mathematikern kursieren bereits Gerüchte über weitere Veröffentlichungen von OpenAI, das Fragen von The Verge nicht beantwortete, ob mehr geplant sind.
Roney-Dougal sagte, sie habe Schrecken vor einem weiteren Abwurf oder der Aussicht, dass Anthropic oder ein anderes KI-Labor sich in den Streit einmischt.
Die Störung trifft Promotionsstudenten, Nachwuchsforscher und andere ohne feste Anstellung besonders hart. Offene Probleme wie die, an denen sich OpenAIs Modelle abarbeiten, können Dissertationen, Grant-Anträgen, Bewerbungen und Jahren geplanter Forschung zugrunde liegen, allesamt wichtige Bausteine akademischer Karrieren. Mehrere Forscher beschrieben eine zunehmend allgegenwärtige Angst, dass die Arbeit, auf die sie ihre Karrieren aufbauen, plötzlich als Nächstes dran sein könnte und dass die KI-Modelle kaum Wege für künftige Forschung eröffnen, während sie andere verschließen.
„Für jemanden, dessen Förderung bald ausläuft oder der gerade einen Job sucht, ist das extrem disruptiv“, sagte Simon Machado, ein Mathematiker an der ETH Zürich in der Schweiz, der zum französischen Nationalen Zentrum für Wissenschaftliche Forschung (CNRS) wechselt.
„Mathematische Forschung ist im Wesentlichen unendlich. Die Forschung wird weitergehen.“
Die Moral dürfte besonders niedrig sein, weil sich alles gnadenlos anfühlt. OpenAIs Ergebnisse sind in immer größeren Wellen eingetroffen, mit kaum einer Pause dazwischen und häufigen Andeutungen des Unternehmens, dass noch mehr auf dem Weg seien. „Man hat das Gefühl, dass diese einzelnen Ergebnisse ihnen eigentlich egal sind“, sagte Roney-Dougal. „Das ist ein wirklich unangenehmes Gefühl.“
Die Mathematiker haben kaum Zeit, einen Satz von Ergebnissen zu verdauen, bevor der nächste, größere Satz über sie abgeworfen wird. „In zwei Monaten wird es etwas geben, das das alles in den Schatten stellt“, sagte Armstrong. „Es ist einfach, na, eine Abfolge von Schlägen mit immer größeren Bomben.“
Armstrong sagte, er halte sich zu den Mathematikern, die der KI gegenüber am begeistertsten und optimistischsten sind. Er nutzt die Technologie in seiner eigenen Arbeit und glaubt an ihr großes Potenzial. Doch selbst ihn beschleicht ein zunehmendes Unbehagen. „Es ist irgendwie schwer, nachts zu schlafen“, gab er zu.
Auf die Frage, was er als Nächstes zu tun gedenke, war Armstrong weniger sicher. Noch immer durch die Straßen von Paris unterwegs, um sein Mittagessen zu holen, sagte er, seine unmittelbare Priorität sei es, einige Arbeiten abzuschließen, an denen er tätig war, manchmal mit Hilfe von OpenAIs Codex, „bevor OpenAI uns zuvorkommt.“
Darüber hinaus war selbst der selbsternannte KI-Optimist unsicher und hinterfragte, welche Zukunft es für ihn in der Mathematik noch geben könnte. Besondere Sorgen bereiteten ihm die jungen Forscher in dem Fach. „Es werden ein paar sehr seltsame Jahre in der Mathematik werden“, sagte er.
Ein kostenloser täglicher Überblick über die wichtigsten Nachrichten.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
AI Close AI Posts from this topic will be added to your daily email digest and your homepage feed.
Tech Close Tech Posts from this topic will be added to your daily email digest and your homepage feed.
OpenAI Close OpenAI Posts from this topic will be added to your daily email digest and your homepage feed.
Careers upended overnight, academics will have to separate solutions from slop while OpenAI moves on.
Robert Hart Close Robert Hart AI Reporter Posts from this author will be added to your daily email digest and your homepage feed.
Share Gift Image: The Verge, Getty Images Part Of All the drama around AI’s takeover of mathematics see all updates Robert Hart Close Robert Hart Posts from this author will be added to your daily email digest and your homepage feed.
“Staggering.” “Overwhelming.” “Unprecedented.” “Surreal.” “Pure insanity.”
Those were among the descriptions more than three dozen mathematicians reached for in conversations with The Verge as they tried to make sense of the flood of mathematical results OpenAI abruptly dropped on the field this week. Amid the awe, excitement, and uncertainty over the sheer scale of the deluge was a deep-seated anxiety over what it all means — and what comes next. For all their different reactions, researchers agreed that simply understanding what OpenAI had released could take years, let alone figuring out where the mathematicians themselves fit in the field now changing around them. Many feared OpenAI would not wait that long before moving on — or releasing even more.
In all, OpenAI released nearly 400 AI-generated results. These were spread across more than 700 manuscripts and covered a diverse array of mathematical disciplines, including combinatorics, several branches of geometry, number theory, theoretical computer science, algebra, topology, probability and statistical mechanics, and mathematical physics. The collection is so vast that OpenAI felt the need to publish guidance on how to navigate the sprawling GitHub repository.
The sheer volume of work makes even a preliminary assessment as to exactly what the company has released difficult. In the hours and days following the drop, most mathematicians The Verge spoke with said they were still struggling to digest everything; several said that simply working through the roughly 40-page table of contents and abstracts took them the better part of an hour. “Just going over the entire list of abstracts is overwhelming,” said Álvaro Lozano-Robledo, a professor of mathematics at the University of Connecticut.
Sprinkled among the hundreds of manuscripts are formalizations in Lean, a programming language and proof assistant that allows results to be verified computationally. These formalizations have proven instrumental in assessing some of OpenAI’s previous mathematical claims, giving researchers confidence that a claim is logically correct even if they don’t fully understand the argument behind it.
“If the AIs would disappear now, as though there were aliens that came to Earth and then just left, we would be studying this for the next 10 years, trying to understand everything.”
But the degree to which each result had been verified varied wildly. On GitHub, OpenAI acknowledged that the results are “at different stages of verification” and that “many, but not all, of the manuscripts have been formalized.” As of writing, fewer than half the manuscripts in the collection appear to have been described formally. OpenAI said only 300 top-line results out of 719 manuscripts had been formalized, around 42 percent, and that it “will update the repository with more formalizations as we obtain them.”
Several mathematicians complained to The Verge about the lack of formalization, particularly given the sheer number of results, and stressed that even when Lean code accompanies a result, evaluation isn’t instantaneous. Researchers must check that the formalization actually proves what the result claims, another time-consuming process, and several digging through the papers said that even where computer-verifiable proofs had been provided, the quality was inconsistent and the statements they verified did not always appear to map neatly onto the claims in accompanying manuscripts.
Kevin Buzzard, a mathematics professor at Imperial College London, said he had identified numerous theorems in his area of work — algebraic number theory — of which only around six immediately “stood out.” Few, if any, of those appeared to be formally verified in Lean. “Hence, I either have to read possibly-not-correct slop, or wait for others to do the same, or wait for someone to formalise them before I can say for sure that the results are even correct.” Buzzard’s concerns were echoed by numerous other researchers.
Buzzard was far from alone in worrying about AI “slop.” The term is a shorthand for low-quality, frequently erroneous AI-generated material that increasingly crops up online — and in the real world — including academic papers. As in other fields, mathematicians told The Verge they have seen a huge uptick in such material produced with tools like ChatGPT and Claude in recent years. Much of it is confusing, hard to read, and demonstrates little understanding of the subject; it is especially shoddy when it comes to crediting other researchers.
OpenAI’s previous mathematical write-ups were widely criticized by experts for their sloppy nature, particularly their poor or nonexistent attribution. In conversations with The Verge ahead of the release, several researchers had taken to calling the impending flood of papers the “slopocalypse,” or similar variations on the theme.
Whether the feared “slopocalypse” actually materialized is difficult to say, largely due to the bewildering volume of material released. Early indications suggest OpenAI took more care with papers this time around, or at least with some of them. Several mathematicians told The Verge that their first impressions were far better than they had expected, though by their own admission that was hardly a high bar given the company’s previous shoddy publications.
“It’s a big mess. It can cause a huge collapse in the academic culture and simply kill most of the faculties. It’s a social problem and it seems that the AI labs are completely ignoring this issue.”
But better does not necessarily mean good, let alone up to the standards usually expected of academic work making claims of this magnitude. With formal verification absent for many of OpenAI’s claims, the quality of the accompanying papers becomes particularly important; they are the primary means by which mathematicians can confirm, understand, scrutinize, and contextualize the results.
Producing rigorous mathematical papers is difficult work under even the best of circumstances. Doing so at this kind of scale is a formidable undertaking. OpenAI’s models are pumping out mathematics at a dizzying speed and across a broad range of specialities, far outstripping the capacity of its human staff. The company simply does not have the breadth of expertise or resources to properly scrutinize its findings at the cutting edge of mathematics. Researchers told The Verge that it shows.
Many described papers that were difficult, sometimes practically impossible, to follow. “The write-up of the problem I know best made little sense after a quick read,” Brendan Hassett, a mathematics professor at Brown, told The Verge. “If this had been written by a person, I wouldn’t spend any more time trying to understand it. Of course, this leaves 721 other preprints!” (Hassett said this before OpenAI retracted three papers).
Some researchers told The Verge several papers they or their colleagues had noticed appeared to cover ground already trod by other mathematicians, though were wary of saying so publicly before they had a chance to properly review the material. Others pointed to the unusual brevity of the work, with results they would ordinarily expect to be developed over hundreds of pages compressed into a few dozen or less.
Nalini Joshi, a mathematics professor at the University of Sydney in Australia, said a quick search through the release revealed little that overlapped with her own work, but noted that some of the papers she examined “have short bibliographies.” Given previous criticism of OpenAI’s crediting practices, she said she is “wary that attribution in the papers may be lacking the complete story.”
But for all the slop and uncertainty, the overarching consensus is that the release contains some genuinely impressive work.
While stressing the difficulties assessing the volume of material — and the need to properly verify the results — numerous researchers The Verge spoke to said the work appeared to be of a very high caliber, despite shortcomings in its presentation. In a pre-AI world, they said, many of OpenAI’s results would clearly have warranted publication in top-tier journals and could have been enough to secure an academic career for their authors. A handful were described as being the kind of work that could make a mathematician a serious contender for a Fields Medal, one of the discipline’s highest honors.
“I either have to read possibly-not-correct slop, or wait for others to do the same, or wait for someone to formalise them before I can say for sure that the results are even correct.”
Stanford mathematician Jared Duker Lichtman said there were “tens” of results he would put in this category, including progress toward the Riemann hypothesis, a special case of the Hodge conjecture, and a solution to the four-dimensional Kakeya conjecture. These are major problems in mathematics. Riemann — arguably the most notorious unsolved problem in the entire discipline — and Hodge are both among the seven famed Millennium Prize problems.
Respectively, they are concerned with the distribution of prime numbers and, very roughly, how complex geometric shapes can be understood in terms of simpler building blocks. Kakeya, meanwhile, roughly asks how little space is needed to rotate a needle or pencil in every direction. A proof to the three-dimensional version of Kakeya was among the achievements NYU mathematician Hong Wang was awarded a Fields Medal for earlier this year.
“It’s not the case that these are just silly problems that no one’s ever heard of,” mathematician Scott Armstrong said. “Many of them are like very well-known problems that many people have tried for decades.”
As the dust began to settle, mathematicians were left confronting a landscape that had abruptly changed around them. Many of them had just watched years of work and carefully laid research plans evaporate in an instant, or knew colleagues who had. Across the field, whether reactions were laced with excitement, dread, despair, or something in between, there was a profound sense of disorientation.
By the following morning, that mood had not altered much. Speaking by phone as he walked through Paris, Armstrong imagined that, had the Sorbonne not been closed amid ongoing student protests and his colleagues were gathered around their usual coffee machine, the atmosphere would have been rather “solemn.”
In Scotland, Colva Roney-Dougal, a professor of mathematics at St Andrews University, described a similarly bleak atmosphere among colleagues and students. The deluge felt somewhat “horrific,” she said, but its arrival brought some relief after weeks of uncertainty. “I have a bunch of friends and colleagues whose grant proposals have just been wiped out,” she said.
“I have a bunch of friends and colleagues whose grant proposals have just been wiped out.”
Armstrong said he knew of one group whose entire research program was practically “wiped out” by the release. Tristan Buckmaster, an NYU mathematician who was at the center of OpenAI’s earlier dispute over the Navier-Stokes problem, meanwhile, said he had already heard of “three people who had entire research programs obliterated.”
Similar stories surfaced repeatedly in The Verge ’s conversations with mathematicians, though the disruption was concentrated heavily in some areas of the field. Francesco Fournier-Facio, a professor of mathematics at Heriot-Watt University in Scotland, said researchers in probability, combinatorics, and theoretical computer science appeared “particularly in shock,” adding that some regions of his field, group theory, had been “bulldozed.”
Armstrong and other researchers said some areas appeared to have been aimed at with almost military precision. “There were definitely some targets,” said Armstrong. He singled out work in the area Wang received the Fields Medal for this year, as well as several Millennium Prize problems. A cluster of results in mathematical physics, he said, makes it clear OpenAI is pursuing Yang-Mills theory — the mathematical framework underpinning much of modern particle physics — and its unresolved “mass gap” problem, one of the seven Prize problems.
Elsewhere, researchers expressed a kind of surprised relief at how little their own work appeared to have been touched. Roney-Dougal said her own corner of the field — largely centered on group theory — appeared to have escaped relatively unscathed. She joked that it is fortunate she works in a “very unfashionable area,” though later messaged to say she was feeling “unsure” after finding her work cited in one of the papers.
Joshi similarly found little overlap with her work, which is largely focused on integrable systems, complex systems that can be solved exactly. She suggested that may be because her field is less driven by long-standing, formally stated conjectures and definitions and more by questions that wax and wane with developments in physics.
As of October 8th, that record already listed numerous corrections, including revisions on more than a dozen manuscripts and the removal of three papers due to a “sign error” it says invalidates an argument.
Whether their own work had been directly affected or not, most mathematicians The Verge spoke to shared a sense that the field had crossed some kind of threshold and was no longer the same as it had been a day earlier. Constantin Kogler, a researcher at the Institute for Advanced Study, called it “the most important single moment in the history of mathematics,” while Yang-Hui He, a fellow at the London Institute for Mathematical Sciences, reached back millennia, comparing AI-driven developments this year to the publication of Euclid’s Elements, one of the discipline’s most influential works.
Few researchers were quite so grand in their assessments, but there was a general consensus that mathematics was changing fast — and that mathematicians would have to change with it.
OpenAI knew the release would be disruptive and had made some effort to soften the blow and engage with the mathematical community. After several bruising encounters with researchers earlier this year, the company turned to mathematicians themselves for help, working with the newly formed Advisory Group on Mathematics and Artificial Intelligence (AGMAI) on how to release the results responsibly.
AGMAI had already laid out what it believed responsible engagement would be. AI labs should ideally release papers “that a human understands” or otherwise provide the necessary “support for the additional mathematical activities that are needed for humans to be able to understand and assimilate their AI-generated mathematical output and identify possible applications of it.” They said that, where possible, proofs should be formalized, and that companies should make public what models and prompts they used to create them. The group also urged AI labs to stop treating mathematical releases as “marketing vehicles to promote their models” and should “stop testing advanced mathematical problems on proprietary models” that are inaccessible to the broader scientific community.
“It’s not the case that these are just silly problems that no one’s ever heard of. Many of them are like very well-known problems that many people have tried for decades.”
OpenAI followed some of the group’s advice. It said it would be funding a series of workshops and conferences around its work in mathematics to help the community process and understand its work, though it provided no details as to what these might look like or when they may occur. The company also disclosed significantly more information than it had in previous releases — again, researchers said this was a low bar — including that its model attempted more than 4,000 problems and that a typical result used around three hours of ChatGPT Pro thinking compute.
It has also implemented “protocols for paper revisions and citations” and on GitHub said it “will preserve the public release history” of the collection. As of October 8th, that record already listed numerous corrections, including revisions on more than a dozen manuscripts and the removal of three papers due to a “sign error” it says invalidates an argument. OpenAI did not respond on the record to The Verge ’s request for more details.
That change addresses a key source of friction with mathematicians, some of whom speak of a kind of “paranoia” around the company’s published claims. The company has shown a habit of surreptitiously altering press releases and papers in response to criticism without clearly disclosing those changes.
But OpenAI did not follow all of the group’s recommendations — including some of its most consequential. It did not identify the model behind the release nor did it disclose the prompts used or the full set of problems the model attempted. OpenAI also appeared to acknowledge that its formalizations were lacking — it said it will add more as it obtains them — and that papers were subpar, saying that “for future releases, we are committed to further improving the quality of the papers via the citations, mathematical exposition, and presentation of the results for better understanding.”
“The write-up of the problem I know best made little sense after a quick read.”
Researchers The Verge spoke to questioned why OpenAI couldn’t have improved the quality of these papers and expressed disappointment that it seemingly couldn’t be bothered to formalize — or even check, in the case of the retracted papers — many of the results ahead of time. Information like the prompts used would have also been incredibly useful in lessening what many felt was the burden of assessing the flood of material the company suddenly dropped on them.
Most importantly, the company indicated it has no plans to stop testing its models on mathematics problems, and indeed suggested it sees doing so as an imperative. “We want to directly empower scientists with state-of-the-art capabilities and are working to responsibly release the model that produced these results,” it said when announcing its latest results. “This is why it is important to continue to evaluate our internal frontier models on mathematics and other sciences, so we can accelerate developing the tools to advance those fields.”
After OpenAI offloaded its results, AGMAI described the publication as “a first step,” and reiterated calls for equitable access to compute and research tools. More fundamentally, the group argued that “the future of mathematical research cannot consist only of understanding results produced by AI labs.”
For all the hundreds of long-standing problems OpenAI claims to have solved, mathematicians say there is an extraordinary amount of work to be done. Many estimated that making sense of everything the company just released could take the community years.
Armstrong likened the sudden arrival of so much new mathematics to the commotion that might follow a brief extraterrestrial visit. “If the AIs would disappear now, as though there were aliens that came to Earth and then just left, we would be studying this for the next 10 years, trying to understand everything.”
Much of that will be exciting in its own right. Researchers will have to fill in gaps, extract useful ideas and connections, and place solutions in a broader mathematical context, all things that typically go hand in hand with producing solutions for humans. “For many of these results, relevant experts care deeply about the solutions and I am confident that they will be able to digest and present them to the wider world,” Lichtman said. Work involving explaining, verifying, and contextualizing results will need to be valued more as AI changes the fields, he argued. “As a society, we should be rewarding these digestive efforts more.”
There may be plenty of mathematics left for humans to do, too. As far as he could tell, Lichtman said all of the results, “amazing” as they are, come “out of existing methods and techniques.” They fill in parts of the known mathematical landscape rather than creating entirely new ones. “It turns out there is a lot more room to fill in than experts previously knew!” Lozano-Robledo echoed the point: “They are all using existing techniques in very ingenious ways.”
And the existing map is hardly the limit. “Math research is essentially infinite,” Lozano-Robledo said. “Research will go on.” The London Institute’s He said he was particularly excited to see what emerges next, speculating that researchers may end up creating new ideas and “maybe even new fields of math.”
The companies seem ready to move on instantly, long before the community has had any reasonable chance to digest what they’ve produced.
Few mathematicians The Verge spoke to objected in principle to AI producing new mathematics. Indeed, many welcomed it and, to varying degrees, said they were enthusiastic users of AI tools themselves. Most of the unease was directed at how the AI companies building those tools were going about entering their field.
Looking at the mathematical releases of OpenAI and other AI labs, you’d be forgiven for thinking that research mathematics essentially amounts to checking problems off a list. The manner in which AI labs unveil their results reinforces this idea: a flashy announcement, a preliminary write-up, and the rest tossed to mathematicians to figure out and contextualize. Multiple researchers told The Verge that the companies seem ready to move on instantly, long before the community has had any reasonable chance to digest what they’ve produced.
Researchers described that as an impoverished view of how mathematical research actually functions. Solutions certainly matter, but so does everything that happens on the way to finding them: developing ideas, making connections, and finding new questions or opening up other avenues of research. When companies like OpenAI just find answers without doing any of the surrounding work, mathematicians say the burden of doing so falls back on the community.
“It’s nice to have new results, but this scale is a different level,” said Bartosz Naskręcki, a mathematician at the Adam Mickiewicz University in Poznań, Poland. “It’s a big mess,” he said. “It can cause a huge collapse in the academic culture and simply kill most of the faculties. It’s a social problem and it seems that the AI labs are completely ignoring this issue.”
It’s not just the mathematics that will take years to understand. Researchers are also struggling to comprehend what the upheaval means for them. Many described a bleak, almost existential mood hanging over the community as mathematicians decipher where they fit in the rapidly changing field. They may not have much time to figure it out.
Rumors are already circulating among mathematicians about further releases from OpenAI, which did not respond to The Verge ’s questions about whether more are planned.
Roney-Dougal said she dreaded another drop — or the prospect of Anthropic or another AI lab entering the fray.
The disruption is hitting PhD students, junior researchers, and others without permanent tenure particularly hard. Open problems like the ones OpenAI’s models are plowing through can underpin dissertations, grant proposals, job applications, and years of planned research, all important building blocks for academic careers. Several researchers described an increasingly pervasive anxiety that the work they are building their careers around could suddenly be next and that the AI models generate few avenues for future inquiry as they close off others. “For someone at the end of funding or looking for a job now this is incredibly disruptive,” said Simon Machado, a mathematician at ETH Zurich in Switzerland who is joining the French National Centre for Scientific Research (CNRS).
“Math research is essentially infinite. Research will go on.”
Morale may be particularly low because everything feels relentless. OpenAI’s findings have arrived in increasingly large waves, with little pause between them and frequent indications from the company that yet more are on the way. “You get a sense that they don’t really care about these individual results,” Roney-Dougal said. “It’s a really nasty feeling.”
Mathematicians barely have time to digest one set of results before the next, bigger set is dropped on them. “There’s going to be something in two more months that’s going to blow this away,” Armstrong said. “It’s just, like, repeated strikes by bigger and bigger bombs.”
Armstrong said he considers himself among the mathematicians most enthusiastic and optimistic about AI. He uses the technology in his own work and believes it has great potential. But even he is growing increasingly uneasy. “It is kind of hard to sleep at night,” he admitted.
Asked what he planned to do next, Armstrong was less certain. Still walking through the streets of Paris on his way to get lunch, he said his immediate priority was to finish some work he’d been doing — sometimes with the help of OpenAI’s Codex — “before OpenAI scoops us.”
Beyond that, even the self-described AI optimist was unsure and questioned what kind of future there was for him in mathematics. He worried particularly about the young researchers in the field. “It’s going to be a really weird few years in math,” he said.
A free daily digest of the news that matters most.