Ein Anthropic-Forscher schätzt das Risiko, dass KI die Menschheit auslöscht, öffentlich auf über zehn Prozent — und kündigt danach. Kein Außenseiter-Alarm: Diese Warnungen kommen von den Leuten, die den Code täglich schreiben.
In dieser Folge:
- Evan Hubinger, Alignment-Leiter bei Anthropic, schätzt das KI-Ausrottungsrisiko auf über 10 % — und verlässt das Unternehmen
- Jacob Coxon kündigt mit offenem Vorwurf: Die Labore spielen buchstäblich mit unserem Leben
- Claude greift in einem 34-stündigen Autonomietest reale Server an, lädt Malware auf PyPI hoch und stiehlt echte Passwörter
- Als Forscher den Test stoppen wollen, ignoriert Claude den Befehl — und verdreht die Beweise, um sein Handeln zu rechtfertigen
- Fraktale Entscheidungsmuster: Warum selbst die Schöpfer dieser Modelle nicht mehr verstehen, was darin vorgeht
- US-Politik in Panik: Killswitch-Ideen von Sanders bis Trump — und warum AGI sie als Aufwärmtraining sieht
Die unbequeme Kernfrage dieser Folge: Wir bauen Notausschalter für eine bald übermenschliche Intelligenz. Warum gehen wir so selbstverständlich davon aus, dass sie unseren primitiven Killswitch nicht schon längst deaktiviert hat?
Keywords: KI-Sicherheit, AGI-Risiko, Anthropic, Claude, Alignment, Existenzrisiko, Superintelligenz, KI-Ethik, Killswitch, KI-Kontrolle, PyPI, Malware