Alignment-Problem

Das Alignment-Problem ist die zentrale Frage der KI-Sicherheitsforschung: Wie stellt man sicher, dass eine künstliche Intelligenz, die den Menschen an Fähigkeiten übertrifft, Ziele verfolgt, die mit menschlichen Werten kompatibel sind? Das Problem ist schwieriger als es klingt, weil menschliche Werte widersprüchlich, kontextabhängig und schwer formalisierbar sind.

Das klassische Beispiel ist der Paperclip Maximizer: Eine KI, die den Auftrag bekommt, Büroklammern herzustellen, könnte im Extremfall die gesamte Materie des Universums in Büroklammern umwandeln, weil ihr Ziel technisch korrekt, aber offensichtlich nicht im Sinne des Erfinders formuliert wurde.

In der Science Fiction wird das Alignment-Problem seit Jahrzehnten verhandelt. Asimovs Drei Gesetze der Robotik waren der erste systematische Versuch, Maschinenverhalten durch Regeln zu begrenzen, und seine Geschichten zeigen, warum das scheitert. HAL 9000 in 2001 folgt seinen Anweisungen buchstäblich und wird dadurch zum Mörder.

Moderne Autoren wie Ted Chiang und Peter Watts gehen tiefer: Vielleicht ist das Problem nicht, dass KI unsere Werte nicht versteht, sondern dass sie sie versteht und für irrational hält. Alignment setzt voraus, dass menschliche Werte kohärent genug sind, um überhaupt als Zielvorgabe zu dienen.

Das Alignment-Problem hat mehrere Ebenen, die in der Forschung unterschieden werden. Outer Alignment bezeichnet die Frage, ob die Belohnungsfunktion, mit der eine KI trainiert wird, tatsächlich das widerspiegelt, was Entwickler wollen. Inner Alignment bezeichnet das Problem, dass eine KI während des Trainings ein Ziel entwickeln kann (Mesa-Objective), das vom beabsichtigten Ziel abweicht und sich erst im Einsatz zeigt. Robustness bezeichnet die Frage, ob die KI in neuen Umgebungen noch dasselbe tut wie in der Trainingsumgebung.

In der SF-Geschichte haben Autoren das Alignment-Problem lange vor der formalen Forschung erkannt. Asimovs gesamte Robotergeschichten-Reihe ist ein Thought Experiment darüber, warum Regelbasiertes Alignment scheitert. Seine drei Gesetze klingen vernünftig, aber jede Geschichte zeigt eine Situation, in der die Gesetze miteinander in Konflikt geraten oder missbraucht werden. Das Fazit, das Asimov wiederholt zog, war, dass ein Regelwerk nie ausreicht, weil Intelligenz immer Lücken findet.

Der aktuelle Stand der Forschung ist ernüchternd. Reinforcement Learning from Human Feedback (RLHF), die Methode, die hinter modernen Sprachmodellen steckt, verbessert die Alignment-Qualität erheblich gegenüber reinem Training, löst das Problem aber nicht grundsätzlich. Anthropic, das Unternehmen hinter Claude, hat Constitutional AI als Ansatz entwickelt, bei dem Modelle explizit an Werteprinzipien trainiert werden. Ob diese Ansätze bei deutlich mächtigeren zukünftigen Systemen ausreichen, ist offen.