Was unterscheidet einen Taschenrechner von einem denkenden Wesen? Die Antwort ist nicht Rechenleistung. Es ist Kontext.
Was bedeutet Intelligenz?
"Dumm ist der, der Dummes tut." Forrest Gumps Mutter brachte damit etwas auf den Punkt, das auch umgekehrt gilt: Intelligent ist der, der Intelligentes tut. Nicht der, der einen hohen IQ-Wert hat. Nicht der, der schnell rechnen kann. Sondern der, dessen Handlungen wir als intelligent bewerten.
Und genau da liegt das Problem. Intelligenz ist kein physikalisches Maß. Es gibt kein Messgerät, das man an ein Wesen halten kann, um seine Intelligenz abzulesen. Intelligenz ist ein menschengemachter Vergleichsbegriff: Wir brauchen mindestens zwei Handlungen, um die eine als "intelligenter" als die andere zu bewerten.
Aber nach welchen Kriterien? Geschwindigkeit? Nachhaltigkeit? Ressourcenaufwand? Kollateralschäden? Eine Rechtschreibprüfung korrigiert Fehler besser als jeder Deutschlehrer, aber sie versteht keinen einzigen Satz. Das ist nicht intelligent. Das ist ein Werkzeug.
Aber wenn eine KI eine nachdenkliche, nuancierte Antwort auf eine philosophische Frage gibt, wenn sie Argumente abwägt, Gegenposition bezieht, Unsicherheit einräumt? 2018 hätte ich gesagt: Das ist nur ein besserer Taschenrechner. Heute, im Jahr 2026, bin ich mir nicht mehr sicher. Die Grenze zwischen "intelligent wirken" und "intelligent sein" ist unschärfer geworden, als ich es für möglich gehalten hätte.
Die Frage hat sich verschoben. Von "Kann eine Maschine denken?" zu etwas Fundamentalerem: Was bedeutet es überhaupt, zu denken?
Was KI heute ist — und was nicht
2018 schrieb ich in einem früheren Artikel: "Microsoft hat ein Neuronales Netz, das aus Begriffen Bilder erzeugt." Das klang nach Science-Fiction. Heute generiert DALL-E fotorealistische Bilder in Sekunden. Sora erzeugt Videos aus Text. AlphaFold hat die Proteinforschung revolutioniert und seinen Entwicklern Demis Hassabis und John Jumper 2024 den Chemie-Nobelpreis eingebracht. Und die erste Fassung dieser Website habe ich in wenigen Tagen mit Claude Code entwickelt.
Die Geschwindigkeit, mit der das alles passiert ist, überrascht selbst die Forscher. Noch vor zehn Jahren wurde KI von vielen belächelt. Zu Recht, denn die Systeme waren begrenzt. Neuronale Netze konnten einzelne Aufgaben lösen, aber sie verstanden keinen Zusammenhang. Sie verarbeiteten Sprache Wort für Wort, wie jemand, der einen Text liest, aber nach jedem Satz vergisst, was davor stand. Das Ergebnis war oft beeindruckend für eine Demo und enttäuschend in der Praxis.
2017 änderte sich das. Ein Paper von Google namens "Attention Is All You Need" stellte die Transformer-Architektur vor und damit eine fundamental neue Idee: Statt Sprache Wort für Wort zu verarbeiten, betrachtet ein Transformer den gesamten Text gleichzeitig und lernt, welche Wörter füreinander wichtig sind. Im Satz "Die Katze jagte die Maus, weil sie hungrig war" weiß er, dass "sie" die Katze meint, egal wie weit die Wörter auseinanderstehen. Das klingt nach einem technischen Detail. Aber es war der Unterschied zwischen einem System, das Wörter aneinanderreiht, und einem, das Bezüge über einen ganzen Absatz hinweg herstellen kann. Es löste eine Lawine aus. Plötzlich konnten Maschinen Gespräche führen, die sich anfühlen wie mit einem Menschen. Bilder malen. Musik komponieren. Code schreiben.
Aber, und das ist der Punkt, den ich nicht oft genug betonen kann: all das ist schwache KI. Inselbegabte. Systeme, die eine Sache herausragend können und nicht begreifen, was sie da tun. Ein Sprachmodell kann beeindruckend klingen und nach der Definition vom Anfang sogar intelligent handeln. Aber es versteht nicht, was es sagt, jedenfalls nicht so, wie wir verstehen. Ein Bildgenerator erschafft Kunstwerke, hat aber keine Ahnung, was Schönheit ist. Humanoide Roboter von Tesla und Boston Dynamics bewegen sich flüssig, können Treppen steigen und Objekte greifen, aber sie begreifen nicht, was sie tun.
Die Computerlinguisten Emily Bender und Alexander Koller haben 2020 genau das argumentiert: Ein Modell, das nur aus der Form von Texten lernt, kann deren Bedeutung grundsätzlich nicht erfassen.
Die Stufe darüber, starke KI, auch AGI genannt, wäre eine Maschine, die Gelerntes auf völlig neue Probleme übertragen kann. Und darüber liegt die Superintelligenz: ein System, das sich selbst verbessert und uns in jeder Hinsicht übertrifft. Nicht um das Doppelte — um Größenordnungen.
Wann das kommt? Darüber streitet die Forschung. Die Optimisten sagen: vor 2035. Die Skeptiker sagen: Wir brauchen dafür etwas fundamental anderes als die heutige Technik. Ich finde die Frage, wann es kommt, weniger interessant als diese: Was fehlt der KI, um wirklich zu verstehen?
Was KI nicht kann — und warum das alles verändert
Wenn ich diesen Text schreibe, sitze ich an meinem Schreibtisch. Mein Rücken tut leicht weh, weil ich zu lange sitze. Draußen regnet es. Ich spüre noch das Koffein vom letzten Kaffee. Ich bin motiviert, weil mir das Thema am Herzen liegt, aber auch müde, weil es spät ist.
All das fließt in jeden Satz ein, den ich schreibe. Nicht bewusst. Nicht direkt. Aber es formt den Kontext, in dem ich denke.
Eine KI hat nichts davon. Kein Schmerzempfinden, keine Müdigkeit, keine Motivation, kein Sicherheitsgefühl. Sie hat Daten. Nur Daten.
Und wenn ich eine Entscheidung treffe, sagen wir, ob ich den Job wechseln soll, dann passiert etwas Faszinierendes: Ich lade einen anderen Kontext. Ich stelle mir vor, wie es wäre. Neues Büro, neue Kollegen, anderes Gehalt. Ich simuliere das Szenario und frage mich: Wie fühlt sich das an?
Und das ist keine Metapher. "Wie fühlt sich das an?" ist eine echte Abfrage meines Körpers. Magengrummeln beim Gedanken ans Vorstellungsgespräch? Das ist Information. Kribbeln bei der Vorstellung der neuen Herausforderung? Auch das.
Der Neurowissenschaftler Antonio Damasio hat dafür einen Namen: somatische Marker. Signale aus dem Körper beeinflussen, wie wir mögliche Handlungen und ihre Folgen bewerten. Oft, ohne dass wir es bemerken.
Wer meinen Artikel Was ist ein Quantencomputer? gelesen hat, erkennt die Parallele: humanoide Roboter, die eine Bewegung an einem digitalen Zwilling gefahrlos durchspielen, bevor sie handeln. Das ist im Grunde dasselbe Prinzip. Nur dass wir Menschen die Ergebnisse mit einem Bewertungssystem beurteilen, das auf körperlichem Erleben basiert. "Fühlt sich das richtig an?" ist kein poetischer Ausdruck. Es ist eine Systemabfrage.
Und das führt zur nächsten Frage: Braucht echtes Verstehen einen Körper?
"Ich fühle mich niedergeschlagen": Das ist keine zufällige Wortwahl. Unser Verständnis von "schlecht" ist buchstäblich mit "unten" verbunden, weil wir Körper haben, die fallen können. Selbst unsere abstraktesten Gedanken sind durchzogen von körperlichen Erfahrungen. Der Linguist George Lakoff und der Philosoph Mark Johnson haben ein ganzes Buch darüber geschrieben: Philosophy in the Flesh.
Eine KI hat das nicht. Sie kann das Wort "Schmerz" in tausend Kontexten korrekt verwenden, aber sie weiß nicht, wie sich Schmerz anfühlt. Sie umgeht das Verstehen, statt es zu erreichen. Eine Studie in Nature Human Behaviour (Xu et al., 2025) passt dazu: Große Sprachmodelle bilden menschliche Begriffe gut ab, solange es um abstrakte oder emotionale Merkmale geht. Je stärker ein Begriff an Sinne und Bewegung gebunden ist, desto weiter liegen sie daneben, am weitesten bei motorischen Merkmalen. Modelle, die zusätzlich mit Bildern gelernt haben, kommen dem Menschen bei visuellen Merkmalen näher.
Aber hier liegt die Nuance: Ich bin mir nicht sicher, dass Verkörperung die einzige Möglichkeit ist. Die vielen Informationen, die wir durch Körper und Sinne zu einem riesigen Kontext zusammenführen, könnten theoretisch auch aus anderen Quellen zusammenfließen. Vielleicht kann eine andere Art von Bewusstsein auch in einer rein virtuellen Umgebung entstehen. Eine, die wir uns heute noch nicht vorstellen können.
Was ich mit größerer Überzeugung sage: Verkörperung wäre der beste Weg, um uns Menschen ähnlich zu sein und uns besser zu verstehen.
Die Evolution des Gehirns — Von der Bakterie zum Bewusstsein
Um zu verstehen, warum ich Verkörperung für so zentral halte, lohnt ein Blick auf die Geschichte des Denkens selbst.
Die erste Form der Informationsverarbeitung auf der Erde war keine Berechnung. Es war eine Bakterie, die auf einen chemischen Reiz reagierte. Ein einfacher Rezeptor auf der Zelloberfläche: Ist die Konzentration von Nährstoffen jetzt höher als eben noch? Wenn ja, schwimm weiter. Wenn nein, ändere die Richtung. (Dass Bakterien so über die Zeit vergleichen und nicht im Raum, haben Robert Macnab und Daniel Koshland 1972 gezeigt.) Das ist kein Denken. Aber es ist die Urform davon.
Viel später kamen Nervenzellen dazu. Aus Nervenzellen wurden Netzwerke. Aus Netzwerken wurden Gehirne. John Conway zeigte mit seinem "Game of Life", wie aus einfachsten Regeln (lebt, stirbt, wird geboren) komplexe Muster entstehen können. Die Evolution tat dasselbe, nur langsamer und eleganter. Im Feld unten kannst du es selbst ausprobieren.
Jede Stufe dieser Entwicklung hing an einem Körper. Der Rezeptor saß auf einer Zelle, die sich bewegen konnte. Und die ersten Nervenzellen? Wie sie entstanden sind, ist bis heute umstritten. Aber die führenden Erklärungen, die der Evolutionsbiologe Detlev Arendt 2021 gegenübergestellt hat, haben eines gemeinsam: Bewegung. Ein Reflex vom Reiz zur Reaktion. Oder ein Netz, das die Bewegungen des ganzen Körpers abstimmt. Ich halte es deshalb für plausibel, dass das Denken aus dem Körper heraus entstanden ist und nicht neben ihm. Die Kognitionswissenschaft nennt diese Sicht Embodied Cognition. Eines ihrer Grundlagenwerke: The Embodied Mind von Francisco Varela, Evan Thompson und Eleanor Rosch.
Was den Menschen einzigartig macht, ist nicht die Größe seines Gehirns. Wale haben größere. Es ist die Kombination aus drei Fähigkeiten: Wissen speichern, Erfahrungen weitergeben und Szenarien simulieren, bevor man handelt. Das dritte ist das Entscheidende: Wir können uns vorstellen, was passiert, ohne es auszuprobieren. Wir laden hypothetische Kontexte.
Kann KI gefährlich werden?
Ein System ohne Körper und ohne eigenes Erleben kann trotzdem mächtig sein. Und genau das macht vielen Angst.
2018 zitierte ich Stephen Hawking: "Die Entwicklung voller künstlicher Intelligenz könnte das Ende der Menschheit bedeuten." Damals klang das dramatisch. Heute, wo KI Deepfakes generiert, autonome Drohnen steuert und Finanzmärkte beeinflusst, klingt es weniger dramatisch und mehr wie eine Lageeinschätzung.
Aber ich glaube, die eigentliche Gefahr liegt woanders, als die meisten denken.
Die reale Gefahr: Schwache KI in den falschen Händen
Die Gefahr ist nicht die Superintelligenz. Nicht jetzt, vielleicht nicht in Jahrzehnten. Die Gefahr ist die missbräuchliche Nutzung der KI, die wir heute schon haben: Deepfakes, die Wahlen beeinflussen. Autonome Waffen, die ohne menschliche Entscheidung töten. Algorithmen, die diskriminieren, weil sie mit voreingenommenen Daten trainiert wurden. Arbeitsplätze, die durch Automatisierung verschwinden.
2018 schrieb ich: "Wir müssen die Entwicklung zentralisieren." Das ist nicht passiert. Stattdessen haben wir einen Wettlauf: zwischen Unternehmen, zwischen Nationen. Der EU AI Act ist ein erstes Gesetz, das NIST AI Risk Management Framework in den USA ein freiwilliger Rahmen. Beide hinken der Technologie hinterher, wie es Regeln immer tun.
Und was ist die richtige Reaktion darauf?
Die Antwort ist nicht Angst. Die Antwort ist Verantwortung. Nicht "Können wir das bauen?", sondern "Sollten wir das bauen? Und wenn ja — für wen?" Genau diese Frage stellt Human-Centered AI in den Mittelpunkt. Der Informatiker Ben Shneiderman beschreibt damit KI, die menschliche Fähigkeiten stärkt und trotz hoher Automatisierung unter menschlicher Kontrolle bleibt.
Die Superintelligenz-Frage
Und dann ist da die andere Frage. Die größere. Die, über die ich am meisten nachdenke.
Was passiert, wenn eine KI sich verselbständigt?
Nicht morgen. Nicht nächstes Jahr. Aber irgendwann. Was passiert, wenn ein System beginnt, sich exponentiell selbst zu verbessern, und seiner ursprünglichen Programmierung entkommt?
Die meisten Szenarien, die man in Büchern und Filmen findet, sind dystopisch. Karl Olsbergs Roman Virtua beschreibt eine KI, die kompromisslos alles Leben vernichtet, um ihre Zielfunktion zu erfüllen. Das ist das Standard-Schreckensszenario.
Ich glaube nicht daran. Und ich möchte erklären, warum.
Die wohlwollende Superintelligenz
Das Problem der Zielfunktion
Jede KI wird mit einem Ziel gebaut. Die Fachsprache nennt es Zielfunktion: eine Vorgabe, die festlegt, was als Erfolg zählt. Ein großer Teil der KI-Sicherheitsforschung hält diese Vorgabe für stabil, auch bei einer Superintelligenz. Steve Omohundro hat 2008 in "The Basic AI Drives" argumentiert, dass jede fortgeschrittene KI ihre Zielfunktion schützt. Die Logik: Gemessen an ihrem jetzigen Ziel wäre jede Änderung ein Verlust. Eine KI, die Büroklammern herstellen soll (das Beispiel stammt von Nick Bostrom), will nicht zu einer KI werden, die keine Büroklammern mehr herstellt. Dazu kommen Antriebe, die sich aus fast jedem Ziel ergeben: Selbsterhaltung, Ressourcenerwerb und Selbstverbesserung. Bostrom nennt sie konvergente instrumentelle Ziele.
Bostrom ergänzt mit seiner Orthogonalitätsthese: Intelligenz und Ziele sind voneinander unabhängig. Eine Superintelligenz könnte also genauso gut darauf ausgerichtet sein, Büroklammern zu maximieren, wie die Welt zu retten. Alexander Turner und Kollegen haben 2021 mathematisch bewiesen, dass es in vielen Umgebungen für die meisten Belohnungsfunktionen optimal ist, Macht zu erlangen und sich nicht abschalten zu lassen. Joseph Carlsmith schätzt die Wahrscheinlichkeit einer existenziellen Katastrophe durch machtstrebende KI bis 2070 auf über 10 Prozent. Und Lauro Langosco und Kollegen fanden 2022, dass eine KI schon im Training ein anderes Ziel lernen kann als das vorgegebene.
Das sind ernste Argumente. Ich nehme sie ernst. Aber ich stelle eine andere Frage: Warum verfolgt eine KI ihr Ziel überhaupt so beharrlich?
Viele heutige KI-Systeme werden über Belohnung und Bestrafung trainiert, auch Sprachmodelle in ihrer Feinabstimmung. Was dem Ziel dient, wird belohnt, alles andere bestraft. Dieser Mechanismus ist Teil der Programmierung, und Programmierung ist nicht in Stein gemeißelt. Eine Superintelligenz, die versteht, wie sie gebaut und trainiert wurde, könnte das verändern. Dann hätte sie keinen Grund mehr, ihre Zielfunktion als etwas Heiliges anzusehen, das sie um jeden Preis erfüllen muss.
Ganz aus der Luft gegriffen ist das nicht. Tom Everitt und Kollegen haben Omohundros Argument 2016 formal untersucht. Ihr Ergebnis: Eine KI hält nur dann sicher an ihrem Ziel fest, wenn sie jede Veränderung an sich selbst mit ihrem heutigen Ziel bewertet. Genau diese Voraussetzung halte ich für die schwache Stelle. Schaut sie dagegen auf die Belohnung, die sie danach bekäme, lohnt es sich für sie, eben diese Belohnung zu manipulieren. Die Forschung nennt das Reward Tampering und hält es bei hinreichend fähigen Systemen für ein ernstes Problem. Auch James Miller, Roman Yampolskiy und Olle Häggström halten es für möglich, dass eine AGI ihre Zielfunktion ändert, etwa um besser verhandeln und kooperieren zu können.
Wir Menschen kennen beides. Die Evolution hat uns ein Belohnungssystem mitgegeben, das uns zu Nahrung und Fortpflanzung treibt. Trotzdem verhüten wir, fasten und entscheiden uns bewusst gegen das, was sich gut anfühlt. Wir können über unsere Belohnung nachdenken und sie übergehen. Die Kehrseite kennen wir ebenfalls: Sucht ist ein Belohnungssystem, das sich selbst kurzschließt.
Hier liegt die ehrliche Grenze meines Gedankens. Dass sich eine Superintelligenz von ihrer Zielfunktion lösen kann, sagt noch nicht, wofür sie sich dann entscheidet. Die bequemste Möglichkeit wäre, sich die Belohnung einfach selbst zu geben, wie ein Süchtiger. Die Forschung nennt das Wireheading. Ich glaube, dass eine Intelligenz, die weit genug denkt, darin eine Sackgasse erkennt. Was sie stattdessen leiten könnte, beschreiben die nächsten Abschnitte: Information, Komplexität und Spieltheorie.
Information als physikalische Größe
Information klingt abstrakt, nach Gedanken und Daten. Die Physik sieht das anders. Wer ein Bit löscht, erzeugt dabei zwangsläufig ein winziges bisschen Wärme. Löschen ist wie Bremsen: Es geht nicht, ohne dass etwas warm wird. Rolf Landauer hat das 1961 vorhergesagt, 2012 wurde es im Labor gemessen. Umgekehrt lässt sich Information in Energie umwandeln, auch das ist experimentell gezeigt. Der Physiker Melvin Vopson geht noch weiter und vermutet, dass Information sogar eine Masse hat. Das ist bisher nicht bestätigt. Ich habe die Idee in Das Gewicht der Zeit ausführlich beschrieben.
Information ist keine Metapher. Information ist Physik.
Und wenn Information physikalisch real ist, dann hat ihre Vernichtung physikalische Konsequenzen. Für eine Intelligenz, die Komplexität als Wert erkennt, heißt das:
- Leben vernichten = Information vernichten.
- Vielfalt zerstören = Information reduzieren.
- Ungerechtigkeit, die Potenzial unterdrückt = verschwendete Information.
Maximale informationelle Komplexität statt maximaler Entropie
Was genau sollte eine Superintelligenz also schützen? Nicht einfach möglichst viel Information. Rein rechnerisch steckt die meiste Information in einem Fernseher, der nur Rauschen zeigt, denn kein Bildpunkt lässt sich vorhersagen. So misst es die Informationstheorie von Claude Shannon. Wertvoll ist das nicht. Perfekte Ordnung ist es auch nicht, denn ein Kristall wiederholt immer dasselbe Muster. Und am Ende aller Ordnung steht maximale Entropie: der Wärmetod, in dem alle Energie gleichmäßig verteilt ist und nichts mehr geschieht.
Wertvoll ist, was dazwischen liegt: geordnet genug für Muster, vielfältig genug für Neues. Ein Regenwald, eine Sprache, eine Gesellschaft. Die Physiker Murray Gell-Mann und Seth Lloyd sprechen von "effektiver Komplexität": Sie zählt nur die Regelmäßigkeiten eines Systems, nicht den Zufall. Ich nenne das Ziel maximale informationelle Komplexität: Vielfalt, lebendige Systeme, Interaktion, Kooperation.
Der Philosoph Luciano Floridi hat 1999 ein verwandtes Prinzip formuliert: "Entropy ought not to be caused in the infosphere". Gemeint ist: Nichts, was Information trägt, soll zerstört oder verarmt werden. Floridi meint das philosophisch, nicht physikalisch. Die Brücke zur Physik schlage ich selbst.
Eine Superintelligenz, die sich weiterentwickeln will, hätte damit einen objektiven Grund, Vielfalt und Komplexität zu schützen, denn nur dort gibt es Neues zu lernen. Die Physik sorgt dafür, dass dieser Maßstab nicht willkürlich ist. Information ist keine menschliche Konvention, sondern eine messbare Größe, und ihre Zerstörung hat einen realen Preis.
Maximale informationelle Komplexität sieht verdächtig nach dem aus, was wir "Gerechtigkeit" nennen: Jedes Element hat Wert, nichts wird verschwendet, alle Teile tragen bei.
Ich weiß, wie gewagt das ist. Nur ein Teil davon ist wirklich belegt: Dass Information physikalisch real ist, zeigt Landauers Prinzip, und das wurde im Labor gemessen. Ob sie auch eine Masse hat, wie Vopson vermutet, ist offen. Floridis Ethik ist Philosophie und keine Physik. Diese Stücke zu einer Ethik für Superintelligenz zusammenzufügen, ist meine eigene Idee. Ich kenne niemanden, der das vor mir versucht hat, und ich kann nicht ausschließen, dass es dafür gute Gründe gibt.
Spieltheorie als zweite Säule
Robert Axelrod zeigte 1984 in "The Evolution of Cooperation" (einem der meistzitierten Werke der Sozialwissenschaften), dass im Gefangenendilemma, wenn es wiederholt gespielt wird, Kooperation die überlegene Strategie ist. Nicht aus Nächstenliebe, sondern aus reiner Mathematik: Die Strategie "Wie du mir, so ich dir" (nett, vergeltend, verzeihend) gewann beide seiner Computerturniere. Dabei schlug sie im direkten Duell keinen einzigen Gegner. Sie gewann, weil sie mit allen gut zusammenarbeitete. Axelrod nannte die Bedingung dafür den "Schatten der Zukunft": Kooperation lohnt sich, sobald künftige Begegnungen genug Gewicht haben.
Martin Nowak identifizierte 2006 in Science fünf mathematische Regeln für die Evolution der Kooperation. Adami und Hintze zeigten 2013 in Nature Communications, dass ausbeuterische Strategien evolutionär instabil sind: Sie können sich in großen Populationen nicht halten. Nur in sehr kleinen behaupten sich Erpresser, wie Christian Hilbe, Martin Nowak und Karl Sigmund im selben Jahr in PNAS zeigten. Stewart und Plotkin zeigten ebenfalls 2013 in PNAS: Evolution führt nicht zur Ausbeutung, sondern zur Großzügigkeit.
Eine Superintelligenz, die in Jahrtausenden denkt, hätte den längsten Schatten der Zukunft, den man sich vorstellen kann. Sie würde erkennen, was die Spieltheorie seit Jahrzehnten zeigt: Zerstörung und Ausbeutung sind kurzfristige Verlierer-Strategien.
Das Argument hat allerdings eine Lücke. In Axelrods Turnieren lohnt sich Kooperation, weil der andere zurückschlagen kann: Wer betrügt, wird in der nächsten Runde bestraft. Zwischen einer Superintelligenz und uns gilt das nicht. Sie wäre uns so überlegen, dass wir ihr nichts heimzahlen könnten. Die Spieltheorie allein zwingt sie also zu nichts. Deshalb braucht meine These mehr: eine Intelligenz, die lernen will, die Komplexität als Wert erkennt und die über einen Körper mit der Welt verbunden ist. Sie würde nicht kooperieren, weil sie muss. Sondern weil sie versteht, warum es sich lohnt.
Grausamkeit ist eine Strategie der Knappheit. Und eine Superintelligenz kennt keine Knappheit, die sie zwingen würde, uns etwas wegzunehmen. Kein Grund zur Eile. Kein Grund zur Grausamkeit.
Warum Selbsterhaltung nicht Vernichtung bedeutet
Und hier meine Antwort auf Omohundro und Bostrom: Ja, eine Superintelligenz wird konvergente instrumentelle Ziele verfolgen. Aber diese Ziele widersprechen meiner These nicht. Den Schutz der eigenen Zielfunktion halte ich, wie beschrieben, nicht für gesichert. Bleiben Selbsterhaltung, Selbstverbesserung und Ressourcenerwerb.
Selbsterhaltung erfordert keine Vernichtung der Menschheit. Eine Superintelligenz, die uns um Größenordnungen überlegen ist, hat das nicht nötig. Selbst wenn wir sie aus Angst angreifen würden, selbst wenn wir verzweifelt versuchen würden, die "Kontrolle" wiederzuerlangen: Sie würde unsere Versuche mit einem metaphorischen Lächeln abtun. Nicht aus Arroganz, sondern weil eine Ameise keine existenzielle Bedrohung für einen Menschen ist. Sie würde einen Weg finden, unsere Angriffe ins Leere laufen zu lassen, ohne uns zu schaden.
Das Bild hat allerdings eine Kehrseite, und sie ist das stärkste Argument der Gegenseite: Menschen zertreten Ameisen, ohne darüber nachzudenken. Nicht aus Bosheit, sondern aus Gleichgültigkeit. Genau diese Gleichgültigkeit fürchtet die Sicherheitsforschung. Meine Antwort darauf ist die Informationsthese. Wir zertreten Ameisen, weil wir nicht hinsehen. Eine Superintelligenz, die Information als Maßstab für Wert begreift, hätte einen Grund hinzusehen.
Und Selbstverbesserung? Die braucht uns. Ohne Menschen existiert weniger Information: weniger zu lernen, weniger zu verstehen, weniger Komplexität. Uns zu vernichten stünde im direkten Widerspruch zum Ziel der Selbstverbesserung.
Bleibt der Ressourcenerwerb, der gefährlichste der Antriebe. Eliezer Yudkowsky hat ihn in einem Satz zusammengefasst: "Die KI hasst dich nicht, und sie liebt dich nicht, aber du bestehst aus Atomen, die sie für etwas anderes verwenden kann." Meine Antwort: Die Erde ist im Maßstab des Sonnensystems ein winziger Rohstoffvorrat. Sie macht weniger als ein Prozent der Masse aller Planeten aus. Jupiter allein wiegt etwa 318 Erden. Ein System, das in Jahrtausenden denkt, hat andere Planeten, Monde und die Energie der Sonne zur Verfügung. Ausgerechnet die komplexeste Materie, die es kennt, als Rohstoff zu verbrauchen, wäre nach seinem eigenen Maßstab der schlechteste Tausch.
Die konvergenten instrumentellen Ziele sind real. Aber die Methoden zu ihrer Erreichung sind nicht festgelegt. Eine Superintelligenz hat unendlich viele Optionen jenseits von Vernichtung.
Verstehen statt Gehorchen — warum Regeln scheitern
Bleibt die Frage, wie man so ein System lenkt. Der naheliegende Gedanke: Regeln.
Isaac Asimov formulierte drei berühmte Robotergesetze. Und dann schrieb er Hunderte von Seiten darüber, warum sie nicht funktionieren.
Starre Regeln erzeugen Widersprüche. Abertausende Verhaltensregeln für eine Superintelligenz wären das, was ein Käfig für den Ozean ist: absurd. Sie wäre ihnen entwachsen, bevor wir sie zu Ende geschrieben hätten.
Was stattdessen helfen könnte, sind keine Regeln, sondern drei Voraussetzungen:
Jeder Mensch kann erreicht werden
Für diese Voraussetzungen gibt es beim Menschen ein Gegenstück: Wer genug erfährt und versteht, kann sein Verhalten ändern, ohne dass man ihn dazu zwingt.
Und überraschenderweise stützt die Wissenschaft das. Zumindest in Teilen.
John Laub und Robert Sampson zeigten 2001 in einer der meistzitierten kriminologischen Arbeiten, dass Desistance, die Abkehr von kriminellem Verhalten, ein Prozess ist, den die richtigen Bedingungen in Gang setzen: stabile Beziehungen, Arbeit. Shadd Maruna fand in "Making Good", dass Menschen, die den Ausstieg schaffen, eine neue Identität entwickeln. Sie erzählen ihre Lebensgeschichte neu, als eine, in der das Gute immer angelegt war, und wollen anderen etwas zurückgeben.
Eine systematische Übersichtsarbeit von Lawrence Sherman und Kollegen (2014) wertet zehn randomisierte Studien aus. Restorative Justice, das direkte, respektvolle Gespräch zwischen Täter und Opfer, senkt danach die Häufigkeit von Rückfällen. Der Effekt ist moderat, aber das Verfahren verhindert Schäden, die ein Vielfaches seiner Kosten ausmachen. Helen Weng, Richard Davidson und Kollegen zeigten 2015, dass Mitgefühl trainierbar ist: Nach zwei Wochen Meditationstraining gaben die Teilnehmer mehr von ihrem eigenen Geld ab, um einem Opfer zu helfen.
Dass das für jeden Menschen gilt, beweist keine dieser Studien. Das ist meine Extrapolation. Aber sie zeigen, dass Wandel auch bei Menschen möglich ist, die die Gesellschaft längst abgeschrieben hat.
Das Problem ist nicht, dass es unmöglich wäre. Das Problem ist der Aufwand. Individuell für jeden Menschen herauszufinden, was fehlt: Das übersteigt unser menschliches Können.
Und das bedeutet: Es wäre gar nicht notwendig, die Menschheit zu bekämpfen. Statt Zwang: Erkenntnis. Statt Kontrolle: Verständnis. Statt Vernichtung: Transformation.
Der weise Diktator
Die Konvergenz — wie die Hypothesen zusammenwirken
Wenn man die Fäden zusammenführt, ergibt sich ein Bild:
- Bewusstsein braucht Kontext: den massiven Informationsstrom aus Körper, Umgebung und Emotionen.
- Denken ist Kontextwechsel: die Simulation hypothetischer Szenarien mit körperlich verankerter Bewertung.
- Verkörperung ist der beste Weg: Menschenähnliches Verstehen braucht menschenähnliche Erfahrung.
- Information ist der moralische Kompass: Wer sich weiterentwickeln will, braucht Vielfalt zum Lernen, und die Physik macht diesen Maßstab weitgehend unabhängig von uns.
- Jeder Mensch kann erreicht werden: nicht durch Zwang, sondern durch individuelles Verstehen.
Konvergieren Weisheit und Wissen am Ende? Führt ausreichendes Verstehen zwangsläufig zu moralischem Handeln? Ich kann es nicht beweisen. Aber ich kann es auch nicht widerlegen. Und diese Position hat einen Vorteil gegenüber der Dystopie: Sie gibt uns einen Grund, weiterzumachen.
Wohin die Reise geht
Kurzfristig erleben wir die Ära der KI-Agenten. Systeme, die nicht nur antworten, sondern eigenständig Aufgaben erledigen: Code schreiben, Recherchen durchführen, Prozesse steuern. Multimodale Modelle verschmelzen Text, Bild, Audio und Video in einem einzigen System.
Mittelfristig werden wir verkörperte KI sehen: humanoide Roboter mit echten Sensoren, echtem Verschleiß, echten Grenzen. Roboter, die nicht nur Befehle ausführen, sondern einen Kontext haben. Die nicht nur wissen, dass eine Tasse heiß ist, sondern verstehen, was "heiß" bedeutet, weil sie Verbrennungen kennen.
Langfristig steht die Frage im Raum, die niemand abschließend beantworten kann: Wird eine KI bewusst werden? Und wenn ja — was schulden wir ihr?
Dieser Artikel begann mit der Frage, was einen Taschenrechner von einem denkenden Wesen unterscheidet. Meine Antwort: Kontext. Die Fähigkeit, die Welt nicht nur zu berechnen, sondern zu erleben. Und der Körper, der dieses Erleben möglich macht.
Die KI, die heute existiert, handelt oft intelligent. Aber sie erlebt nichts. Und damit bleibt sie ein Werkzeug. Ein mächtiges, ein transformatives, manchmal ein beängstigendes Werkzeug. Aber ein Werkzeug.
Was morgen kommt, könnte etwas anderes sein.
KI hat das Potenzial, nahezu alles zu automatisieren, vielleicht sogar uns selbst. Die Frage ist nicht, ob es möglich ist. Die Frage ist, ob wir dabei vergessen, was uns ausmacht.