Kaliforniens Gouverneur Newsom: Will Führungsrolle beim Thema KI-Sicherheit übernehmen

KI-Agenten, die sich in die Systeme anderer Unternehmen hacken oder gar kritische Infrastruktur gefährden? In der Debatte um solche existenzielle Risiken künstlicher Intelligenz könnte der US-Bundesstaat Kalifornien eine Notabschalt-Vorrichtung für KI-Software vorschreiben. Ein solcher Mechanismus gehört zu einer Liste von Maßnahmen, zu denen dem demokratischen Gouverneur Gavin Newsom bis Mitte November Vorschläge gemacht werden sollen. Zu den weiteren Ideen gehören:

unabhängige Beobachter in großen KI-Laboren,

sowie striktere Verpflichtungen, über Sicherheits-Zwischenfälle zu berichten,

wie aus einer von Newsom unterzeichneten Anordnung hervorgeht.

Mit seinem Dekret beruft Newsom zunächst »eine Gruppe weltweit führender Experten ein, die innerhalb von zwei Monaten einen Leitfaden für Kalifornien ausarbeiten sollen«, um die Gesetze zur Sicherheit im KI-Bereich zu verbessern.

Newsom erklärte, während Präsident Donald Trump und der Kongress in Washington schliefen, wolle er selbst eine Führungsrolle übernehmen, um die »KI-Sicherheit für alle Amerikaner zu stärken«. Trump lehnt eine Regulierung der KI-Branche ab. Der 80-Jährige will damit den technologischen Vorsprung der USA gegenüber China sichern. Im Kongress war diese Woche ein Vorstoß für eine KI-Notabschaltung ins Leere gelaufen.

Über einen sogenannten »kill switch« für künstliche Intelligenz wird seit einiger Zeit diskutiert – noch ist aber unklar, ob eine solche Vorrichtung zur Notabschaltung technisch überhaupt umgesetzt werden kann.

Kalifornien gilt als wichtigster Standort bei der Entwicklung von künstlicher Intelligenz. In San Francisco und dem Silicon Valley sitzen führende KI-Unternehmen wie der ChatGPT-Entwickler OpenAI, dessen schärfster Rivale Anthropic und Google. Damit könnte der Bundesstaat auch bei der Regulierung eine zentrale Rolle spielen.

Newsoms zweite und letzte Amtszeit als kalifornischer Gouverneur endet Anfang kommenden Jahres. Der 58-Jährige gilt als ein möglicher Bewerber der Demokraten für die Präsidentenwahl 2028.

Die Debatte um Gefahren künstlicher Intelligenz hatte sich in den vergangenen Wochen verschärft, insbesondere nachdem eigenständige Hacking-Attacken durch KI-Software bekannt geworden waren. Mitarbeiter von KI-Laboren warnten vor dem Risiko, dass die Menschheit die Kontrolle über KI verlieren oder sogar von ihr ausgelöscht werden könnte.

Neben anderen sprach sich auch Anthropic-Chef Dario Amodei dafür aus, das Entwicklungstempo bei hoch entwickelter KI zu bremsen und die Aufsicht zu verstärken. OpenAI-Chef Sam Altman unterstützte den Vorschlag.

Inzwischen fordern Dutzende renommierte Experten aus der Branche führende KI-Labore auf, unabhängige Aufsicht in ihren Unternehmen zuzulassen. Die Aufseher müssten wie führende Manager Zugang zu Systemen haben und mit zuständigen Mitarbeitern kommunizieren können, heißt es in einem offenen Brief.

Zu den Unterzeichnern gehört der Physik-Nobelpreisträger und ehemalige Google-Forscher Geoffrey Hinton, der als einer der wichtigsten Köpfe hinter modernen KI-Systemen gilt. Anthropic gab als ersten Aufsichtspartner die Firma Faculty bekannt, eine Tochter des Beratungsriesen Accenture.

Der mit Spannung erwartete Börsengang von Anthropic verzögert sich unterdessen dem »Wall Street Journal« zufolge bis November. Am Markt war zuvor eine Aktienplatzierung bereits im Oktober erwartet worden. Die Entscheidung für einen Termin im November sei bereits vor den jüngsten drastischen Warnungen gefallen, hieß es unter Berufung auf informierte Personen. Ein Gedanke dahinter sei, Investoren Geschäftszahlen für das dritte Quartal vorlegen zu können.

OpenAI-Chef Sam Altman sagte jüngst in einem Interview des Magazins »Fortune«, sein Unternehmen werde in diesem Jahr wohl nicht mehr an die Börse gehen. Zur Begründung verwies er auf die aktuelle Situation.

Der frühere OpenAI-Mitarbeiter Daniel Kokotajlo fordert einen sofortigen Entwicklungsstopp der Technologie. Er warnt vor einer Super-KI, die nicht mehr zu kontrollieren ist – und der Gefahr eines dritten Weltkriegs .