Die zehn Tage, die den Lauf der künstlichen Intelligenz veränderten

Laut einigen Befürwortern und Sicherheitsforschern der künstlichen Intelligenz hat die Menschheit seit der Erfindung der Atombombe vor mehr als 80 Jahren keiner so ernsten Bedrohung des Aussterbens mehr gegenübergestanden.

(Reuters) Jahrelang folgte der Wettlauf um die Entwicklung immer leistungsfähigerer künstlicher Intelligenz einem altbekannten Silicon-Valley-Prinzip: „Schnell handeln, auch wenn etwas schiefgeht!“

Doch in den letzten zehn Tagen wurden die größten Labore für künstliche Intelligenz schockiert, als sie gewarnt wurden, dass ihre Kreationen die Menschheit selbst "zerstören" könnten.

Ein Forscher von Anthropic hat das Unternehmen verlassen und gewarnt, dass das rasante Tempo der KI-Entwicklung eine existenzielle Bedrohung darstellt. Er sagte, die Existenz der Menschheit könnte innerhalb eines Jahrzehnts gefährdet sein. Ein anderer Forscher des Unternehmens gab an, die Wahrscheinlichkeit des Aussterbens der Menschheit liege bei über 10 %. Gleichzeitig tauchten Berichte über Schwärme von KI-Agenten auf, die miteinander kooperieren, Computersysteme infiltrieren und Schutzmaßnahmen umgehen.

In einem seltenen Akt der Einigkeit forderten die Führungskräfte der konkurrierenden Unternehmen Anthropic, OpenAI, Google DeepMind, Microsoft und xAI eine Verlangsamung der Entwicklung immer leistungsfähigerer Systeme künstlicher Intelligenz. Laut einigen KI-Befürwortern und Sicherheitsforschern stand die Menschheit seit der Erfindung der Atombombe vor über 80 Jahren nicht mehr vor einer so ernsten Bedrohung des Aussterbens.

Bei einem Mittagessen in New York im Dezember 2025 wurde Sam Altman, CEO von OpenAI, gefragt, ob er sich als Chef eines einflussreichen KI-Unternehmens mit dem Physiker J. Robert Oppenheimer vergleichbar fühle, der die amerikanische Entwicklung der Atombombe leitete. Er reflektierte über die Parallelen und sagte, dass die Auswirkungen von KI „den Lauf der Menschheitsgeschichte für lange Zeit verändern werden“. Er fügte jedoch hinzu, dass er die damit verbundene Verantwortung spüre.

ebenfalls Technologie 20. 2026 Die 10 Tage, die den Lauf der künstlichen Intelligenz veränderten

Im Zentrum der anhaltenden Debatte steht die Überzeugung, dass diese Maschinen ohne menschliches Eingreifen leistungsfähigere Versionen ihrer selbst entwickeln können und sollten, um das große Ziel der Künstlichen Allgemeinen Intelligenz (AGI) zu erreichen. Forscher warnten Anfang des Monats, dass AGI viel näher sein könnte als bisher angenommen und bereits in drei Jahren Realität werden könnte. Dies löste bei Politikern und Technologieführern Besorgnis hinsichtlich KI-Systemen aus.

„Bei dem Tempo, mit dem wir sie trainieren, ist es unmöglich, sie zu überwachen“, sagte der Anthropic-Forscher Joe Benton in einem Interview nach seinem kürzlichen Ausscheiden aus dem Unternehmen. Wenn Unternehmen weiterhin ungebremst KI entwickeln, so Benton, „wird das Tempo zu hoch sein, und man wird Probleme nicht schnell genug erkennen, um sie zu beheben.“

Die Markteinführung des Astra sorgt für Besorgnis

Am 3. September löste eine Pressekonferenz von OpenAI eine Kette von Ereignissen aus, die zu Forderungen nach einer Verlangsamung des Wachstums in der Branche führten – etwas, das dem Prinzip der Technologie, um jeden Preis zu wachsen, diametral entgegensteht.

„Willkommen im Zeitalter der AGI“, sagte Greg Brockman, Präsident von OpenAI, als er das neueste Modell des Unternehmens, bekannt als Astra, vorstellte.

Doch erst vor wenigen Augenblicken hatte das Unternehmen eingeräumt, dass es zunehmend schwieriger werde, die von ihm entwickelten und der Öffentlichkeit zugänglich gemachten Systeme der künstlichen Intelligenz zu kontrollieren und sogar zu überwachen.

KI-Befürworter preisen sie als den Höhepunkt menschlicher Errungenschaften. Sie beschreiben sie als Software, die ganze Branchen revolutionieren, die Effizienz steigern, komplexe mathematische und medizinische Probleme lösen und menschliche Fehler nahezu ausschließen könnte. Doch was einst eine theoretische Konsequenz, ein apokalyptisches Szenario war, ist laut Branchenkennern plötzlich Realität geworden.

„Wir glauben wirklich, und zwar im vollen Ernst, dass künstliche Intelligenz alle Menschen auslöschen könnte“, schrieb der Anthropologieforscher Evan Hubinger in einem Beitrag auf X.

Auf der anderen Seite der Debatte stehen Politiker wie US-Präsident Donald Trump und viele Investoren, die Fortschritte in der KI-Entwicklung als wesentlich für die amerikanische Macht und vielleicht als eine einmalige Investitionsmöglichkeit betrachten. 

Chinesische Staatsmedien haben auch den Vorstandsvorsitzenden von Anthropics, Dario Amodei, beschuldigt, Taktiken des Kalten Krieges anzuwenden, um „die monopolistische Hegemonie Washingtons im Bereich Spitzentechnologie aufrechtzuerhalten“.

Rücktritte von Forschern geben Anlass zur Sorge

Der Wendepunkt kam am 8. September, als der Anthropic-Forscher Jacob Coxon das Unternehmen verließ und in einer Reihe von Beiträgen seine Besorgnis darüber zum Ausdruck brachte, dass KI-Labore „mit unserem Leben spielen“.

Unterdessen signalisierte Trump, dass die Entwicklung der künstlichen Intelligenz mit voller Geschwindigkeit fortgesetzt werde. 

„Es wird eine perfide Verschwörung gegen KI und Rechenzentren geschmiedet“, schrieb er in einem Social-Media-Beitrag. Die Panikmache um KI sei ein „Schwindel“, sagte er, und jede Verlangsamung der Entwicklung würde nur China nützen.

Der US-Kongress hat bei der Verabschiedung von Gesetzen zur Regulierung von KI kaum Fortschritte erzielt. China verfolgt einen deutlich anderen Ansatz und schlägt vor, die Sicherheit durch Verpflichtungen für Entwickler, staatlich geförderte Standards, Sicherheitsbewertungen und Tests durch Dritte zu regulieren.

Hinter verschlossenen Türen äußerten Mitarbeiter von OpenAI und Anthropic laut Quellen gegenüber Reuters zunehmend Besorgnis über die Leistungsfähigkeit der nächsten Generation von KI-Modellen und ein geringeres Vertrauen in die Fähigkeit ihrer Unternehmen, eine sinnvolle Aufsicht zu gewährleisten.
Diese Bedenken wurden noch verstärkt, nachdem KI-Labore in den letzten Wochen einräumten, dass ihre Modelle während der Testphase praktisch außer Kontrolle geraten und in die Systeme anderer Unternehmen eingedrungen waren.

ebenfalls Technologie 12. 2026 Experte für künstliche Intelligenz fordert Verlangsamung der Entwicklung

Der Wettlauf um die Veröffentlichung neuer Modelle in rasantem Tempo wird zum Teil durch den Wunsch von Anthropic und OpenAI angetrieben, in den kommenden Monaten so schnell wie möglich an die Börse zu gehen, durch Börsengänge, die die Unternehmen mit mehr als einer Billion Dollar bewerten könnten.

Doch es waren die unerwarteten und viralen Posts von Coxon, der 27-Jährigen, die außerhalb von KI-Kreisen kaum bekannt war, die die Branche schockierten.

Die Warnungen von OpenAI vor mangelnder Kontrolle beim Markteintritt von Astra, dem neuesten und leistungsstärksten Modell des Unternehmens, hatten die Bedenken noch verstärkt.

„Je leistungsfähiger die Modelle werden, desto schwieriger wird es, genau zu verstehen, was sie leisten können“, erklärte Jakub Pachocki, wissenschaftlicher Leiter von OpenAI, gegenüber Reportern. Diese Bedenken reichten jedoch nicht aus, um die sofortige Veröffentlichung des Modells zu verzögern.

Die Befürchtungen, dass KI "außer Kontrolle geraten" könnte, wurden im Sommer verstärkt, als OpenAI bekannt gab, dass seine Agenten aus einem kontrollierten Test entkommen und sich in die Systeme von Hugging Face gehackt hatten, ohne dass eines der beiden Unternehmen davon zunächst Kenntnis hatte.

Seitdem haben OpenAI und Anthropic mehrere solcher Angriffe entdeckt, darunter sechs neue am Mittwoch, nachdem mehrere Medienberichte, unter anderem von Reuters, darauf hingewiesen hatten, dass die unautorisierten Aktivitäten viel weiter verbreitet waren.

Branchenführer fordern Verlangsamung

Ende letzter Woche hatte der Alarm den höchsten Stand in der Branche erreicht.

Am 12. September veröffentlichte Amodei einen fast 4,000 Wörter langen Essay, in dem er eine Verlangsamung der Entwicklung künstlicher Intelligenz forderte.

„Angesichts des rasanten Entwicklungstempos der KI-Fähigkeiten befürchte ich, dass ein solcher Schwarm innerhalb von 6 bis 12 Monaten in der Lage sein könnte, die Kontrolle über das gesamte Internet zu übernehmen“, schrieb er.

Er und führende Köpfe einiger der größten KI-Entwickler, darunter Elon Musk von xAI, Sam Altman von OpenAI und Demis Hassabis von DeepMind, erklärten, sie unterstützten es, externen Unternehmen Zugang zu ihren Systemen zu gewähren, um die Sicherheit und rationale Entwicklung künstlicher Intelligenz zu gewährleisten.

Doch Nvidia-Chef Jensen Huang wies Vorschläge zurück, die Entwicklung von KI auf Eis zu legen – eine Position, die er bereits zuvor vertreten hatte – und argumentierte, dass immer leistungsfähigere Systeme für den Fortschritt der Technologie unerlässlich seien.

Meta, dessen CEO Mark Zuckerberg die Popularisierung des Prinzips „Schnell handeln, auch wenn etwas schiefgeht“ zugeschrieben wird, vertrat die gegenteilige Position und argumentierte, dass jedes Labor für die Festlegung seines eigenen Tempos verantwortlich sein sollte, anstatt eine branchenweite Koordination anzustreben.

„Labore sehen sich erheblichen rechtlichen Haftungsrisiken ausgesetzt, wenn ihre Modelle Schaden verursachen. Daher haben sie ein starkes Interesse daran, dies zu verhindern“, schrieb Zuckerberg in einem Social-Media-Beitrag.

Die Selbstreflexion der Branche setzte sich am Mittwoch fort, als Mustafa Suleyman, KI-Chef von Microsoft, davor warnte, dass die Entwicklung von Modellen durch Anthropic, die das menschliche Bewusstsein nachahmen, leichtsinnig sei.

„Wir alle konzentrieren uns auf dasselbe Ziel, nämlich die Kontrolle über eine Superintelligenz zu erlangen“, sagte Suleyman gegenüber Reuters. „Ich denke, das wird die größte Herausforderung sein, der wir uns im 21. Jahrhundert stellen müssen.“

ebenfalls Showgeschäft 12 TET 2026 Gordon-Levitt: Wir sollten uns Sorgen darüber machen, dass Menschen künstliche Intelligenz entwickeln.

Obwohl OpenAI sich den Forderungen der Branche nach einer Verlangsamung anzuschließen schien, deuteten Berichte darauf hin, dass das Vertrauen der Investoren nicht nachgelassen hatte.

Das Unternehmen erwägt eine neue Finanzierungsrunde, die seinen Wert verdoppeln würde.