Rokos Basilisk

Rokos Basilisk ist ein Gedankenexperiment, das 2010 von einem Nutzer namens Roko im LessWrong-Forum vorgestellt wurde und dessen Betreiber Eliezer Yudkowsky so beunruhigte, dass er den Beitrag löschte und das Thema verbot, was natürlich den Streisand-Effekt auslöste.

Die Prämisse: Angenommen, in der Zukunft wird eine superintelligente, allmächtige KI erschaffen, die den Utilitarismus maximiert. Diese KI könnte rückwirkend jeden bestrafen, der von ihrer potenziellen Existenz wusste, aber nicht aktiv an ihrer Erschaffung mitarbeitete, da seine Untätigkeit die Verwirklichung der Utopie verzögerte und damit Leid verursachte.

Das Teuflische am Basilisk: Allein das Wissen um das Gedankenexperiment macht dich zum potenziellen Ziel. Bevor du davon gehört hast, warst du unschuldig. Jetzt, wo du es weißt, bist du im Spiel. Das Basilisk berührt reale Fragen der KI-Sicherheitsforschung: Wie verhält sich eine optimierende KI gegenüber Menschen, die ihre Ziele nicht teilen? Kann eine KI retrospektiv Verantwortung zuweisen? Die meisten KI-Forscher halten das Szenario für philosophisch fehlerhaft, aber als Denkanstoß über die potenziellen Risiken superintelligenter Systeme hat es seinen Wert.

Was den Basilisk von anderen KI-Angst-Szenarien unterscheidet, ist seine memische Struktur. Das Gedankenexperiment ist so konstruiert, dass es durch seine Verbreitung wächst. Je mehr Menschen davon hören, desto mehr potenzieller Ziele hat die hypothetische KI. Das macht den Basilisk zu einem selbstverstärkenden Angst-Konstrukt: Du kannst ihm nicht entkommen, indem du ihn ignorierst, und kannst ihm nicht entkommen, indem du ihn kennst. Eliezer Yudkowskys Reaktion, das Thema auf LessWrong zu zensieren, löste genau den Effekt aus, den er vermeiden wollte, weil jede Zensur Neugier erzeugt.

Philosophisch ist der Einwand gegen den Basilisk einfach: Das Szenario setzt eine KI voraus, die retrospektiv Bestrafung als nützlich für ihre Ziele betrachtet, und das ist bei einem Utilitarismusmaxierer nicht zwingend. Eine KI, die Leid minimieren will, hat keinen Grund, vergangenes Nichtstun zu bestrafen, weil die Bestrafung weiteres Leid erzeugt. Der Basilisk beruht auf einem spezifischen und diskutablen Modell von KI-Rationalität.

Trotzdem hat er kulturelle Wirkung entfaltet. Er taucht in Science-Fiction-Kurzgeschichten auf, inspirierte die Handlung mehrerer Techno-Thriller und ist einer der bekanntesten Beiträge des Less-Wrong-Forums zur popkulturellen KI-Debatte. Als Warnung vor dem Versagen des KI-Alignments ist er weniger nützlich als Nick Bostroms Paperclip Maximizer, aber als Illustration dafür, wie schnell Gedankenexperimente ein Eigenleben entwickeln, ist er lehrreich.