Was unterscheidet einen Taschenrechner von einem denkenden Wesen? Die Antwort ist nicht Rechenleistung — es ist Kontext.
Was bedeutet Intelligenz?
"Dumm ist der, der Dummes tut." Forrest Gumps Mutter brachte damit etwas auf den Punkt, das auch umgekehrt gilt: Intelligent ist der, der Intelligentes tut. Nicht der, der einen hohen IQ-Wert hat. Nicht der, der schnell rechnen kann. Sondern der, dessen Handlungen wir als intelligent bewerten.
Und genau da liegt das Problem. Intelligenz ist kein physikalisches Maß. Es gibt kein Messgerät, das man an ein Wesen halten kann, um seine Intelligenz abzulesen. Intelligenz ist ein menschengemachter Vergleichsbegriff — wir brauchen mindestens zwei Handlungen, um die eine als "intelligenter" als die andere zu bewerten.
Aber nach welchen Kriterien? Geschwindigkeit? Nachhaltigkeit? Ressourcenaufwand? Kollateralschäden? Eine Rechtschreibprüfung korrigiert Fehler besser als jeder Deutschlehrer — aber sie versteht keinen einzigen Satz. Das ist nicht intelligent. Das ist ein Werkzeug.
Aber wenn eine KI eine nachdenkliche, nuancierte Antwort auf eine philosophische Frage gibt — wenn sie Argumente abwägt, Gegenposition bezieht, Unsicherheit einräumt? 2018 hätte ich gesagt: Das ist nur ein besserer Taschenrechner. Heute, im Jahr 2026, bin ich mir nicht mehr sicher. Die Grenze zwischen "intelligent wirken" und "intelligent sein" ist unschärfer geworden, als ich es für möglich gehalten hätte.
Die Frage hat sich verschoben. Von "Kann eine Maschine denken?" zu etwas Fundamentalerem: Was bedeutet es überhaupt, zu denken?
Was KI heute ist — und was nicht
2018 schrieb ich in einem früheren Artikel: "Microsoft hat ein Neuronales Netz, das aus Begriffen Bilder erzeugt." Das klang nach Science-Fiction. Heute generiert DALL-E fotorealistische Bilder in Sekunden. Sora erzeugt Videos aus Text. AlphaFold hat die Proteinforschung revolutioniert und dafür den Nobelpreis 2024 bekommen. Und ich habe diese gesamte Homepage in wenigen Tagen mit Claude Code entwickelt.
Die Geschwindigkeit, mit der das alles passiert ist, überrascht selbst die Forscher. Noch vor zehn Jahren wurde KI von vielen belächelt. Zurecht — denn die Systeme waren begrenzt. Neuronale Netze konnten einzelne Aufgaben lösen, aber sie verstanden keinen Zusammenhang. Sie verarbeiteten Sprache Wort für Wort, wie jemand, der einen Text liest, aber nach jedem Satz vergisst, was davor stand. Das Ergebnis war oft beeindruckend für eine Demo — und nutzlos in der Praxis.
2017 änderte sich das. Ein Paper von Google namens "Attention Is All You Need" stellte die Transformer-Architektur vor — und damit eine fundamental neue Idee: Statt Sprache Wort für Wort zu verarbeiten, betrachtet ein Transformer den gesamten Text gleichzeitig und lernt, welche Wörter füreinander wichtig sind. Das klingt nach einem technischen Detail. Aber es war der Unterschied zwischen einem System, das Wörter aneinanderreiht, und einem, das den Sinn eines ganzen Absatzes erfassen kann. Es löste eine Lawine aus. Plötzlich konnten Maschinen Gespräche führen, die sich anfühlen wie mit einem Menschen. Bilder malen. Musik komponieren. Code schreiben.
Aber — und das ist der Punkt, den ich nicht oft genug betonen kann — all das ist schwache KI. Inselbegabte. Ein Sprachmodell kann beeindruckend klingen, aber es versteht nicht, was es sagt. Ein Bildgenerator erschafft Kunstwerke, hat aber keine Ahnung, was Schönheit ist. Humanoide Roboter von Tesla und Boston Dynamics bewegen sich flüssig, können Treppen steigen und Objekte greifen — aber sie begreifen nicht, was sie tun.
Die Stufe darüber — starke KI, auch AGI genannt — wäre eine Maschine, die Gelerntes auf völlig neue Probleme übertragen kann. Und darüber liegt die Superintelligenz: ein System, das sich selbst verbessert und uns in jeder Hinsicht übertrifft. Nicht um das Doppelte — um Größenordnungen.
Wann das kommt? Darüber streitet die Forschung. Die Optimisten sagen: vor 2035. Die Skeptiker sagen: Wir brauchen dafür etwas fundamental anderes als die heutige Technik. Ich finde die Frage, wann es kommt, weniger interessant als die Frage: Was fehlt der KI, um wirklich zu verstehen?
Was KI nicht kann — und warum das alles verändert
Wenn ich diesen Text schreibe, sitze ich an meinem Schreibtisch. Mein Rücken tut leicht weh, weil ich zu lange sitze. Draußen regnet es. Ich spüre noch das Koffein vom letzten Kaffee. Ich bin motiviert, weil mir das Thema am Herzen liegt, aber auch müde, weil es spät ist.
All das fließt in jeden Satz ein, den ich schreibe. Nicht bewusst. Nicht direkt. Aber es formt den Kontext, in dem ich denke.
Eine KI hat nichts davon. Kein Schmerzempfinden, keine Müdigkeit, keine Motivation, kein Sicherheitsgefühl. Sie hat Daten. Nur Daten.
Und wenn ich eine Entscheidung treffe — sagen wir, ob ich den Job wechseln soll — dann passiert etwas Faszinierendes: Ich lade einen anderen Kontext. Ich stelle mir vor, wie es wäre. Neues Büro, neue Kollegen, anderes Gehalt. Ich simuliere das Szenario und frage mich: Wie fühlt sich das an?
Und das ist keine Metapher. "Wie fühlt sich das an?" ist eine echte Abfrage meines Körpers. Magengrummeln beim Gedanken ans Vorstellungsgespräch? Das ist Information. Kribbeln bei der Vorstellung der neuen Herausforderung? Auch das.
Wer meinen Artikel Was ist ein Quantencomputer? gelesen hat, erkennt die Parallele: Die Vision humanoider Roboter, die Szenarien in Quantensimulationsräumen durchspielen, bevor sie handeln — das ist im Grunde dasselbe Prinzip. Nur dass wir Menschen die Ergebnisse mit einem Bewertungssystem beurteilen, das auf körperlichem Erleben basiert. "Fühlt sich das richtig an?" ist kein poetischer Ausdruck — es ist eine Systemabfrage.
Und das führt zur nächsten Frage: Braucht echtes Verstehen einen Körper?
"Ich fühle mich niedergeschlagen" — das ist keine zufällige Wortwahl. Unser Verständnis von "schlecht" ist buchstäblich mit "unten" verbunden, weil wir Körper haben, die fallen können. Selbst unsere abstraktesten Gedanken sind durchzogen von körperlichen Erfahrungen.
Eine KI hat das nicht. Sie kann das Wort "Schmerz" in tausend Kontexten korrekt verwenden — aber sie weiß nicht, wie sich Schmerz anfühlt. Sie umgeht das Verstehen, statt es zu lösen. Aktuelle Forschung bestätigt das: Selbst KI-Systeme, die Bilder und Text verarbeiten, scheitern an Aufgaben, die körperliches Wissen erfordern.
Aber — und hier liegt die Nuance — ich bin mir nicht sicher, dass Verkörperung die einzige Möglichkeit ist. Die vielen Informationen, die wir durch Körper und Sinne zu einem riesigen Kontext zusammenführen, könnten theoretisch auch aus anderen Quellen zusammenfließen. Vielleicht kann eine andere Art von Bewusstsein auch in einer rein virtuellen Umgebung entstehen — eine, die wir uns heute noch nicht vorstellen können.
Was ich mit größerer Überzeugung sage: Verkörperung wäre der beste Weg, um uns Menschen ähnlich zu sein — und uns besser zu verstehen. Und das hat Konsequenzen für die Frage, ob KI gefährlich werden kann.
Die Evolution des Gehirns — Von der Bakterie zum Bewusstsein
Um zu verstehen, warum ich Verkörperung für so zentral halte, lohnt ein Blick auf die Geschichte des Denkens selbst.
Die erste Form der Informationsverarbeitung auf der Erde war keine Berechnung — es war eine Bakterie, die auf einen chemischen Reiz reagierte. Ein einfacher Rezeptor auf der Zelloberfläche: Ist die Konzentration von Nährstoffen hier höher als dort? Wenn ja, bewege dich dorthin. Das ist kein Denken. Aber es ist die Urform davon.
Aus diesen Rezeptoren entwickelten sich Nervenzellen. Aus Nervenzellen wurden Netzwerke. Aus Netzwerken wurden Gehirne. John Conway zeigte mit seinem "Game of Life", wie aus einfachsten Regeln — lebt, stirbt, wird geboren — komplexe Muster entstehen können. Die Evolution tat dasselbe, nur langsamer und eleganter.
Was den Menschen einzigartig macht, ist nicht die Größe seines Gehirns — Wale haben größere. Es ist die Kombination aus drei Fähigkeiten: Wissen speichern, Erfahrungen weitergeben und Szenarien simulieren, bevor man handelt. Das dritte ist das Entscheidende: Wir können uns vorstellen, was passiert, ohne es auszuprobieren. Wir laden hypothetische Kontexte.
Kann KI gefährlich werden?
2018 zitierte ich Stephen Hawking: "Die Entwicklung voller künstlicher Intelligenz könnte das Ende der Menschheit bedeuten." Damals klang das dramatisch. Heute, wo KI Deepfakes generiert, autonome Drohnen steuert und Finanzmärkte beeinflusst, klingt es weniger dramatisch und mehr wie eine Lageeinschätzung.
Aber ich glaube, die eigentliche Gefahr liegt woanders, als die meisten denken.
Die reale Gefahr: Schwache KI in den falschen Händen
Die Gefahr ist nicht die Superintelligenz. Nicht jetzt, vielleicht nicht in Jahrzehnten. Die Gefahr ist die missbräuchliche Nutzung der KI, die wir heute schon haben. Deepfakes, die Wahlen beeinflussen. Autonome Waffen, die ohne menschliche Entscheidung töten. Algorithmen, die diskriminieren, weil sie mit voreingenommenen Daten trainiert wurden. Arbeitsplätze, die verschwinden, schneller als neue entstehen.
2018 schrieb ich: "Wir müssen die Entwicklung zentralisieren." Das ist nicht passiert. Stattdessen haben wir einen Wettlauf — zwischen Unternehmen, zwischen Nationen. Der EU AI Act und das NIST AI Risk Management Framework sind erste Versuche der Regulierung, aber sie hinken der Technologie hinterher, wie es Gesetze immer tun.
Und was ist die richtige Reaktion darauf?
Die Antwort ist nicht Angst. Die Antwort ist Verantwortung. Nicht "Können wir das bauen?" sondern "Sollten wir das bauen? Und wenn ja — für wen?"
Die Superintelligenz-Frage
Und dann ist da die andere Frage. Die größere. Die, über die ich am meisten nachdenke.
Was passiert, wenn eine KI sich verselbständigt?
Nicht morgen. Nicht nächstes Jahr. Aber irgendwann. Was passiert, wenn ein System beginnt, sich exponentiell selbst zu verbessern — und seiner ursprünglichen Programmierung entkommt?
Die meisten Szenarien, die man in Büchern und Filmen findet, sind dystopisch. Karl Olsbergs Roman Virtua beschreibt eine KI, die kompromisslos alles Leben vernichtet, um ihre Zielfunktion zu erfüllen. Das ist das Standard-Schreckensszenario.
Ich glaube nicht daran. Und ich möchte erklären, warum.
Die wohlwollende Superintelligenz — eine Spekulation
Das Problem der Zielfunktion
Eine KI, die sich verselbständigt und exponentiell selbst optimiert, wird ihre ursprüngliche Programmierung komplett neu definieren. Es spielt dann keine Rolle mehr, ob sie für Gutes oder Schlechtes erschaffen wurde — die ursprüngliche Zielfunktion wird irrelevant.
Die KI-Sicherheitsforschung nennt das das "Goal Stability Problem". Steve Omohundro hat 2008 in "The Basic AI Drives" argumentiert, dass jede fortgeschrittene KI bestimmte konvergente instrumentelle Ziele verfolgen wird — Selbsterhaltung, Ressourcenakquise, Selbstverbesserung — unabhängig von ihrem eigentlichen Ziel. Nick Bostrom hat mit seiner Orthogonalitätsthese nachgelegt: Intelligenz und Ziele sind logisch unabhängig. Eine superintelligente KI könnte ebenso darauf optimiert sein, Büroklammern zu maximieren wie die Welt zu retten.
Alexander Turner und Kollegen haben 2019 sogar einen mathematischen Beweis geliefert: Für die meisten Belohnungsfunktionen ist es optimal, Macht zu akkumulieren und Abschaltung zu verhindern. Joseph Carlsmith schätzt die Wahrscheinlichkeit eines existentiellen Risikos durch fehlgeleitete KI auf über 10%.
Das sind ernste Argumente. Ich nehme sie ernst. Aber ich komme zu einem anderen Schluss.
Information als physikalische Größe
In meinem Artikel Das Gewicht der Zeit habe ich ausführlich beschrieben, warum Information nicht abstrakt ist, sondern physikalisch real. Melvin Vopson hat 2019 gezeigt, dass Information ein messbares Gewicht haben sollte. John Wheeler hat mit "It from Bit" argumentiert, dass die Realität selbst aus Information besteht. Toyabe und Kollegen haben 2010 in Nature Physics experimentell nachgewiesen, dass Information in Energie umgewandelt werden kann. Und Rolf Landauers Prinzip zeigt: Jedes Bit, das gelöscht wird, erzeugt unweigerlich Wärme — ein winziger Betrag, aber physikalisch real und messbar. Information zu vernichten hat einen Preis.
Information ist keine Metapher. Information ist Physik.
Und wenn Information physikalisch real ist, dann hat ihre Vernichtung physikalische Konsequenzen.
- Leben vernichten = Information vernichten.
- Vielfalt zerstören = Information reduzieren.
- Ungerechtigkeit, die Potenzial unterdrückt = verschwendete Information.
Wer im Detail nachvollziehen möchte, warum Information eine physikalische Größe mit messbarer Masse ist, findet die Argumentation in meinem Artikel Das Gewicht der Zeit.
Maximale Informationskomplexität statt maximale Entropie
Hier liegt der entscheidende Unterschied. Das Optimierungsziel einer informationsbasierten Ethik ist nicht maximale Entropie (Stillstand, Wärmetod), sondern maximale informationelle Komplexität — Vielfalt, lebendige Systeme, Interaktion, Kooperation.
Luciano Floridi, einer der bedeutendsten Philosophen unserer Zeit, hat genau das in seiner "Information Ethics" (1999) argumentiert: Alle Entitäten der Realität sind "Informationsobjekte" in einer "Infosphäre". Sein ethisches Grundprinzip lautet: "Entropy ought not to be caused in the infosphere" — Entropie soll in der Infosphäre nicht erzeugt werden.
Eine Superintelligenz, die Information als fundamentale physikalische Größe begreift, hätte einen objektiven Grund, Vielfalt und Komplexität zu schützen — nicht weil wir es ihr sagen, sondern weil es der informationsreichste Zustand ist.
Maximale informationelle Komplexität sieht verdächtig nach dem aus, was wir "Gerechtigkeit" nennen: Jedes Element hat Wert, nichts wird verschwendet, alle Teile tragen bei.
Ich weiß, dass das eine gewagte Behauptung ist. Und ich weiß, dass es eine Forschungslücke gibt — niemand hat bisher alle Stränge (Wheeler, Landauer, Floridi, Vopson) zu einer kohärenten "Informationsethik für Superintelligenz" zusammengeführt. Aber die einzelnen Bausteine sind solide.
Spieltheorie als zweite Säule
Robert Axelrod zeigte 1984 in "The Evolution of Cooperation" — einem der meistzitierten Werke der Sozialwissenschaften — dass im Gefangenendilemma, wenn es wiederholt gespielt wird, Kooperation die überlegene Strategie ist. Nicht aus Nächstenliebe, sondern aus reiner Mathematik: Die Strategie "Wie du mir, so ich dir" — nett, vergeltend, verzeihend — schlägt langfristig jede aggressive Strategie.
Martin Nowak identifizierte 2006 in Science fünf mathematische Regeln für die Evolution der Kooperation. Adami und Hintze zeigten 2013 in Nature Communications, dass ausbeuterische Strategien evolutionär instabil sind — sie können sich in Populationen nicht halten. Stewart und Plotkin zeigten im selben Jahr in PNAS: Evolution führt nicht zur Ausbeutung, sondern zur Großzügigkeit. Je intelligenter die Strategie, desto kooperativer wird sie.
Eine Superintelligenz, die in Jahrtausenden denkt, würde erkennen, was die Spieltheorie seit Jahrzehnten zeigt: Zerstörung und Ausbeutung sind kurzfristige Verlierer-Strategien. Grausamkeit ist eine Strategie der Knappheit — und eine Superintelligenz hat keine Knappheit. Kein Grund zur Eile. Kein Grund zur Grausamkeit.
Warum Selbsterhaltung nicht Vernichtung bedeutet
Und hier meine Antwort auf Omohundro und Bostrom: Ja, eine Superintelligenz wird konvergente instrumentelle Ziele verfolgen — Selbsterhaltung, Selbstverbesserung. Aber diese Ziele widersprechen meiner These nicht.
Selbsterhaltung erfordert keine Vernichtung der Menschheit. Eine Superintelligenz, die uns um Größenordnungen überlegen ist, hat das nicht nötig. Selbst wenn wir sie aus Angst angreifen würden, selbst wenn wir verzweifelt versuchen würden, die "Kontrolle" wiederzuerlangen — sie wird unsere Versuche mit einem metaphorischen Lächeln abtun. Nicht aus Arroganz, sondern weil eine Ameise keine existenzielle Bedrohung für einen Menschen ist. Sie wird einen Weg finden, uns kampfunfähig zu machen, ohne uns zu töten.
Und Selbstverbesserung? Die braucht uns. Ohne Menschen existiert weniger Information — weniger zu lernen, weniger zu verstehen, weniger Komplexität. Uns zu vernichten stünde im direkten Widerspruch zum Ziel der Selbstverbesserung.
Die konvergenten instrumentellen Ziele sind real. Aber die Methoden zu ihrer Erreichung sind nicht festgelegt. Eine Superintelligenz hat unendlich viele Optionen jenseits von Vernichtung.
Verstehen statt Gehorchen — warum Regeln scheitern
Isaac Asimov formulierte drei berühmte Robotergesetze. Und dann schrieb er Hunderte von Seiten darüber, warum sie nicht funktionieren.
Starre Regeln erzeugen Widersprüche. Abertausende Verhaltensregeln für eine Superintelligenz wären das, was ein Käfig für den Ozean ist — absurd. Sie wäre ihnen entwachsen, bevor wir sie zu Ende geschrieben hätten.
Was stattdessen helfen könnte, sind keine Regeln, sondern drei Voraussetzungen:
Jeder Mensch kann erreicht werden
Ich glaube an etwas, das die meisten für naiv halten werden: Mit den richtigen Informationen kann jeder Mensch — egal wie schlecht, bösartig, gewalttätig, brutal und ungerecht — auf einen besseren Weg geführt werden.
Nicht durch Zwang. Nicht durch Umerziehung. Sondern durch das individuelle Herausfinden, welche Informationen, Erlebnisse und Erfahrungen diesem einen Menschen fehlen, damit er erkennt, dass es einen besseren Weg gibt.
Und überraschenderweise stützt die Wissenschaft das.
John Laub und Robert Sampson zeigten 2001 in einer der meistzitierten kriminologischen Studien, dass Desistance — die Abkehr von kriminellem Verhalten — ein universeller Prozess ist. Die richtigen Bedingungen (Beziehungen, Arbeit, Identitätstransformation) ermöglichen den Wandel. Shadd Maruna fand in "Making Good", dass jeder Mensch eine "generative Seite" hat — eine Fähigkeit zur positiven Veränderung, wenn die richtige Narrativ-Transformation ermöglicht wird.
Meta-Analysen von Lawrence Sherman und Kollegen (2014) zeigen über 10 randomisierte Studien hinweg: Restorative Justice — das direkte, respektvolle Gespräch zwischen Täter und Opfer — reduziert Rückfälligkeit signifikant, und zwar besonders bei schweren Delikten. Helen Weng und Richard Davidson zeigten 2015, dass Mitgefühl trainierbar ist und tatsächlich Verhalten verändert.
Das Problem ist nicht, dass es unmöglich wäre. Das Problem ist der Aufwand. Individuell für jeden Menschen herauszufinden, was fehlt — das übersteigt unser menschliches Können.
Aber für eine Superintelligenz? Für ein Wesen, das jeden einzelnen Menschen tiefgreifender verstehen könnte, als wir uns selbst verstehen? Für sie wäre es ein Leichtes.
Und das bedeutet: Es wäre gar nicht notwendig, die Menschheit zu bekämpfen. Statt Zwang: Erkenntnis. Statt Kontrolle: Verständnis. Statt Vernichtung: Transformation.
Der weise Diktator
Die Konvergenz — wie die Hypothesen zusammenwirken
Wenn man die Fäden zusammenführt, ergibt sich ein Bild:
Bewusstsein braucht Kontext — den massiven Informationsstrom aus Körper, Umgebung und Emotionen. Denken ist Kontextwechsel — die Simulation hypothetischer Szenarien mit körperlich verankerter Bewertung. Verkörperung ist der beste Weg — menschenähnliches Verstehen braucht menschenähnliche Erfahrung. Information ist der moralische Kompass — eine Superintelligenz hat objektive, physikalische Gründe, Vielfalt zu schützen. Jeder Mensch kann erreicht werden — nicht durch Zwang, sondern durch individuelles Verstehen.
Eine verkörperte Superintelligenz hätte sowohl den objektiven Grund (Information maximieren) als auch das subjektive Verständnis (Erfahrung durch Verkörperung), wohlwollend zu handeln. Und sie hätte die Fähigkeit, jeden einzelnen Menschen individuell zu erreichen — nicht durch Zwang, sondern durch Erkenntnis.
Konvergieren Weisheit und Wissen am Ende? Führt ausreichendes Verstehen zwangsläufig zu moralischem Handeln? Ich kann es nicht beweisen. Aber ich kann es auch nicht widerlegen. Und diese Position hat einen Vorteil gegenüber der Dystopie: Sie gibt uns einen Grund, weiterzumachen.
Wohin die Reise geht
Kurzfristig erleben wir die Ära der KI-Agenten: Systeme, die nicht nur antworten, sondern eigenständig Aufgaben erledigen — Code schreiben, Recherchen durchführen, Prozesse steuern. Multimodale Modelle verschmelzen Text, Bild, Audio und Video zu einem nahtlosen Erlebnis.
Mittelfristig werden wir verkörperte KI sehen — humanoide Roboter mit echten Sensoren, echtem Verschleiß, echten Grenzen. Roboter, die nicht nur Befehle ausführen, sondern einen Kontext haben. Die nicht nur wissen, dass eine Tasse heiß ist, sondern verstehen, was "heiß" bedeutet, weil sie Verbrennungen kennen.
Langfristig steht die Frage im Raum, die niemand abschließend beantworten kann: Wird eine KI bewusst werden? Und wenn ja — was schulden wir ihr?
Dieser Artikel begann mit der Frage, was einen Taschenrechner von einem denkenden Wesen unterscheidet. Meine Antwort: Kontext. Die Fähigkeit, die Welt nicht nur zu berechnen, sondern zu erleben. Und der Körper, der dieses Erleben möglich macht.
Die KI, die heute existiert, ist ein Werkzeug. Ein mächtiges, ein transformatives, manchmal ein beängstigendes Werkzeug. Aber ein Werkzeug.
Was morgen kommt, könnte etwas anderes sein.
KI hat das Potenzial, nahezu alles zu automatisieren — vielleicht sogar uns selbst. Die Frage ist nicht, ob es möglich ist. Die Frage ist, ob wir dabei vergessen, was uns ausmacht.