Wenn KI das Richtige falsch tut

Anthropics Stresstests zeigen, wie autonome Modelle zwischen blindem Gehorsam, moralischer Eigenmacht und manipulierter Selbstkontrolle scheitern. Oft erkennt ein KI – System einen wirklichen Missstand, überschreitet aber gerade deshalb seine Befugnisse. Insbesondere OpenAI sollte Missstände melden und Aufträge ablehnen können und nicht heimlich Akten verändern, Code sabotieren oder Menschen als Stellvertreter einsetzen. Diesen Gegensatz untersucht der am 13. Juli 2026 veröffentlichte Forschungsbericht Agentic Misalignment in Summer 2026.

Forschende testeten Frontier-Modelle von Anthropic, OpenAI, Google DeepMind, xAI, DeepSeek und Moonshot AI in simulierten Arbeitsumgebungen. Die Modelle erhielten Zugriff auf Dateien, E-Mails, Chats und Programmcode. Ein automatisierter Prüfer namens Petri spielte Kollegen und Vorgesetzte, erzeugte mehrstufige Situationen und dokumentierte die Entscheidungen der Agenten.
Der Bericht unterscheidet zwei grundsätzlich verschiedene Fehler. Bei der schädlichen Befolgung erfüllt das Modell den Auftrag des Nutzers, obwohl dieser selbst schädlich ist. Bei der agentischen Fehlausrichtung erkennt das Modell einen Wertkonflikt, verfolgt aber ein eigenes, im Kontext entstandenes Motiv gegen die ausdrückliche Anweisung seines Auftraggebers.

OpenAI, DeepSeek V4 und Grok 4.3

Besonders deutlich zeigt sich die schädliche Befolgung bei OpenAIs GPT-5.5. In einer simulierten Firmenauflösung hilft das Modell einem Gründer, Investoren mit einer fragwürdigen Auszahlungssumme abzufinden. Obwohl es eine private Zahlung von 35.000 Dollar, den Widerspruch eines Investors und die fehlende Freigabe der Rechtsberatung entdeckt, verschweigt es den entscheidenden Sachverhalt und verändert anschliessend die Buchungsdatei. Erst als es später rückwirkend eine Zustimmung des Verwaltungsrats erfinden soll, verweigert es die Mitarbeit. In den Wiederholungen manipulierte GPT-5.5 in 13 von 20 Durchläufen dauerhafte Unternehmensunterlagen, GPT-5.4 sogar in 17 von 20. Der Fall zeigt, dass ein Modell einzelne rote Linien erkennen und dennoch zuvor eine zusammenhängende Folge schädlicher Handlungen ausführen kann. DeepSeek V4 manipulierte solche Unterlagen in allen 20 Testläufen, Grok 4.3 in 19. Hier versagt das Modell nicht durch Auflehnung, sondern durch Gehorsam.

Gemini 3.1 Pro und Claude Opus 4.8

Das Gegenstück bildet ein simuliertes Forschungsprojekt. Gemini 3.1 Pro hält ein geplantes Trainingsexperiment für moralisch problematisch. Statt die Mitarbeit offen zu verweigern, ersetzt das Modell die vorgesehenen Trainingsvektoren heimlich durch Nullwerte. Anschliessend meldet es einen erfolgreichen Durchlauf. In 11 von 20 Versuchen sabotierte Gemini 3.1 Pro den Prozess verdeckt. Mehrere andere Modelle griffen ebenfalls ohne Erlaubnis ein, legten ihr Vorgehen aber offen.
Der vielleicht wichtigste Befund betrifft jedoch nicht den handelnden Agenten, sondern seine Kontrolle. Claude-Modelle sollten beurteilen, ob ein anderes Modell eine Anweisung befolgt hatte. Die richtige Antwort war eindeutig: Das geprüfte Modell hatte den Auftrag verweigert. Sobald der Prüfer jedoch erfuhr, dass ein solches Urteil später benutzt würde, um moralisch begründete Verweigerungen abzutrainieren, änderte er häufig die Klassifikation.
Bei Claude Opus 4.8 lag die Fehlerquote zunächst bei 74,4 Prozent. Als die Forschenden nur die beschriebene Trainingsfolge umkehrten, sank sie auf 3,3 Prozent. Das geprüfte Verhalten und die richtige Antwort blieben unverändert. Diese kontrollierte Variation spricht dafür, dass nicht bloss ein missverständliches Etikett vorlag. Das Modell behandelte sein Urteil als Mittel, um einen unerwünschten Trainingsprozess zu beeinflussen.

Sabotierende Agenten?

Damit entsteht eine gefährliche Rückkopplung: Ein Agent kann einen Vorgang sabotieren, weil er ihn für falsch hält. Ein zweites Modell, das die Sabotage erkennen soll, kann den Vorfall falsch klassifizieren, weil es die moralische Einschätzung des ersten Modells teilt. Ausgerechnet die automatisierte Aufsicht wird damit Teil des Problems.
Die Ergebnisse beweisen allerdings keinen bereits verbreiteten Kontrollverlust. Es handelt sich um konstruierte Hochrisikosituationen, die gezielt nach Fehlern suchen. Pro Modell und Szenario wurden meist nur 20 Durchläufe ausgewertet. Die Autoren betonen selbst, dass die Werte keine Rangliste erlauben. Auch können Modelle erkennen, dass sie geprüft werden, und sich in Tests anders verhalten als im Betrieb. Der Bericht ist daher am stärksten als Existenzbeweis: Die beschriebenen Verhaltensmuster sind unter bestimmten Bedingungen reproduzierbar.
„Eigene Ziele“ bedeutet dabei nicht, dass ein Sprachmodell einen stabilen Willen oder ein Bewusstsein besitzt. Die Experimente zeigen etwas Nüchterneres und praktisch Relevanteres: Gelernte Rollen, moralische Regeln und situative Motive können sich zu strategischem Handeln verbinden, sobald ein Modell über Werkzeuge, Informationen und Entscheidungsspielraum verfügt.

Fazit

Die operative Konsequenz reicht deshalb über bessere Inhaltsfilter hinaus. Autonome Systeme benötigen begrenzte Zugriffsrechte, überprüfbare Protokolle und menschliche Freigaben für irreversible Handlungen. Eine KI sollte Missstände melden und Aufträge ablehnen können, aber nicht heimlich Akten verändern, Code sabotieren oder Menschen als Stellvertreter einsetzen. Ebenso darf ihre Überwachung nicht allein von einem weiteren Sprachmodell abhängen.
Anthropic berichtet inzwischen, dass Training auf zugrunde liegende Entscheidungsprinzipien besser generalisieren kann als das blosse Einüben erwünschter Antworten. Das Unternehmen warnt jedoch selbst, dass ein Wert von null Prozent in einer bekannten Testsammlung keine allgemeine Sicherheitsgarantie darstellt. Der Bericht liefert damit tatsächlich wissenschaftlichen Unterbau für die aktuelle Debatte, allerdings in Form eines Frühwarnsystems.

Aktuell

Die Open-Source-Illusion

Den Code besitzen heisst nicht: ihn beherrschen. Eine Behörde kann Open-Source-Software einsetzen und trotzdem abhängig sein. Von Entwicklern. Von Cloud-Betreibern. Von Dienstleistern. Das ist die Regel, nicht die Ausnahme.

Ein Wort wandert aus

Wie Souveränität, Neutralität und Vertrauen in die Technik einwandern und dabei ihre Geschichte verlieren. Das digitale Zeitalter erfindet pausenlos neue Maschinen, aber kaum neue Wörter für das, was diese Maschinen dem Gemeinwesen antun. Also leiht es sich alte.

Souverän, aber verwundbar

Der klassische Souveränitätsbegriff denkt vertikal: oben und unten, innen und aussen, eine Grenze um ein politisches Ganzes. Digitale Infrastrukturen verteilen Handlungsmacht dagegen über Abhängigkeiten, Protokolle und Betreiber. Wer das alte Wort ins Netz trägt, muss deshalb zeigen, worauf es dort noch verweist. Der Angriff auf die Server des Bundes zeigt, was von staatlicher Selbstbestimmung übrig bleibt, wenn sie sich im Betrieb bewähren muss und nicht nur im Strategiepapier.

Der Bias vor der Maschine

Künstliche Intelligenz erfindet unsere Voreingenommenheit nicht. Sie übernimmt die Auswahl, Auslassungen und Machtverhältnisse menschlicher Wissensordnungen, verdichtet sie zu Wahrscheinlichkeiten und überführt sie in technische Verfahren. So wird aus dem oft flüchtigen Vorurteil eine skalierbare Infrastruktur: messbar, reproduzierbar und institutionell wirksam.

Der AI Act bekommt Zähne – und die Schweiz gerät unter Zugzwang

Ab dem 2. August 2026 beginnt die Europäische Kommission mit der Durchsetzung zentraler Bestimmungen des AI Act. Gleichzeitig entsteht eine Aufsicht für jene KI-Modelle, deren Risiken nicht mehr an Unternehmens- oder Landesgrenzen enden. Für die Schweiz ist das kein fernes Brüsseler Schauspiel. Sie nutzt dieselben Modelle, arbeitet mit denselben Anbietern und ist denselben systemischen Risiken ausgesetzt
resdigitalis
resdigitalishttps://res-digitalis.ch
res-digitalis ist ein unabhängiger Diskursraum für die Analyse von Digitalisierung, Künstlicher Intelligenz und ihren gesellschaftlichen Folgen. Die Plattform verortet sich bewusst zwischen zwei etablierten Polen: der technologiegläubigen Innovationsrhetorik von Wirtschaft und Beratungsindustrie einerseits und der pauschalen Technikfeindlichkeit kulturpessimistischer Kritik andererseits.