Menschen haben zerbrechliche Körper, sie werden in eine gefährliche Umwelt hineingeboren und sie befinden sich in einem beständigen Bemühen, ihre Sterblichkeit leugnen zu müssen. Unser Hirn arbeitet fortwährend daran, dass die Wahrscheinlichkeit, böse überrascht zu werden, minimal bleibt. Wir sind deshalb schlau, weil wir verletzen und Bedauern empfinden können und weil wir uns bemühen, für uns selbst eine überzeugende Form der Täuschung und der wenigstens symbolischen Unsterblichkeit zu finden. Die Frage also lautet: Benötigt auch künstliche Intelligenz den zerbrechlichen Körper, die unsichere Umwelt und ein Wissen um die eigene Sterblichkeit? Es wird irgendwann denkende Maschinen geben. Werden sie sich um ihre eigene Gedanken scheren? Warum sollten sie?

Das Wesen des Leidens liegt in der Tatsache, dass ein denkendes System nicht anders kann, als sich mit seiner Gefährdung zu identifizieren. Leiden hat natürlich verschiedene Aspekte. Doch es ist diese Identifikation damit, die zählt. Denn was dem System solches Unbehagen bereitet, ist untrennbar mit ihm verbunden, ein Zustand, der dessen Autonomie bedroht. Wenn man das versteht, sieht man, warum die "Erfindung" des bewussten Leidens durch die biologische Evolution so erfolgreich war. Sie ist ein zugleich innovatives wie absolut böses und grausames Konzept.

Klar, diese Phänomenologie der Zugehörigkeit erklärt Leiden nicht hinreichend. Wir alle können uns leicht selbstbewusste Lebewesen vorstellen, die nicht leiden. Leiden benötigt einen Zustand mit negativer Wertigkeit, der vollständig in das Selbstbild und Selbstverständnis eines Systems integriert ist. Durch diese Integration erst werden aus negativen Präferenzen negative subjektive Präferenzen - und das sind die bewussten und klaren Vorstellungen darüber, dass es eben meine eigenen Präferenzen, Wünsche, Vorstellungen sind, die scheitern, gescheitert sind oder in Zukunft scheitern werden.

Das bedeutet nicht, dass ein System mit künstlicher Intelligenz ebenfalls ein völliges Verständnis dessen haben muss, was diese Präferenzen genau sind. Es reicht, dass es nicht will, dass sich die Erfahrung eines negativ empfundenen Zustandes wiederholt, dass es diesen beenden will.

Ich bin oft gefragt worden, ob wir nicht Maschinen bauen könnten, die sehr intelligent sind und leidensunfähig zugleich. Doch kann es echte Intelligenz ohne existenzielle Sorge überhaupt geben?

Thomas Metzinger, Philosoph, Universität Mainz

Unsere Gehirne und unsere Fähigkeit zum Denken wurden nicht von einem großen, intelligenten Schöpfer im Himmel entworfen, der entschied, wie wir denken und was unsere Motivationen sein sollen. Unsere Intelligenz und unsere Motivationen entwickelten sich. Die allermeisten Forscher der Künstlichen Intelligenz würden dem zustimmen. Dennoch denken manche offenbar noch, dass wir Menschen intelligente Schöpfer sind, die Maschinen erfinden können, die genau so denken werden, wie wir es wünschen, und die die von uns gewünschten Absichten haben werden. Wenn ich die Technologiegeschichte richtig verstehe, haben sie unrecht.

Das Problem ist eine Art irregeleiteter Anthropomorphismus: Wir stellen uns vor, dass eine denkende Maschine so arbeitet wie wir. Doch wir schätzen uns selbst so extrem falsch ein, dass wir dasselbe auch mit den Maschinen tun. Deshalb erkennen wir nicht, dass die riesigen Denkmaschinen sich nach denselben Prinzipien entwickeln wie es unsere Gehirne früher taten. Evolution, nicht ein großer Schöpferwille prägt ihre Art zu denken.

Wir dürfen uns nicht länger für clevere Schöpfer mit voller Kontrolle über unsere Kreationen halten. Wir sollten lieber über unsere zukünftige Rolle nachdenken. Steht auch uns vielleicht das Schicksal des kleinen Mitochondrion bevor, jener einfachen Zelle, die vor langer Zeit von einer größeren absorbiert wurde? Das Mitochondrion gab das unabhängige Leben auf, um ein Kraftwerk für seinen Wirt zu werden, während der Wirt seinerseits die Energieproduktion zugunsten anderer Tätigkeiten aufgab. Beide gewannen in diesem Prozess der Endosymbiose.

Sind wir so ähnlich? Digitale Information entwickelt sich überall um uns, auf Milliarden von Smartphones, Tablets, Computern, Servern und winzigen Chips in Kühlschränken, Autos und Kleidern, sie bewegen sich um den Globus, durchdringen unsere Städte, unsere Wohnungen, sogar unsere Körper. Und wir füttern sie willig. Pro Tag werden mehr Telefone hergestellt als Babys geboren. Jede Minute werden 100 Stunden Video ins Netz gespeist, Milliarden von Fotos werden in die immer größer werdende Cloud geladen. Clevere Programmierer schreiben immer cleverere Software, darunter auch Programme, die andere Programme schreiben, die Menschen nicht mehr verstehen oder nachvollziehen können. Die denkenden Maschinen sind unter uns und folgen ihren eigenen evolutionären Pfaden während sie immer weiter wachsen.

Werden wir diese Maschinen kontrollieren? Können wir sichergehen, dass sie sich um uns kümmern werden? Nein. Und selbst wenn wir das erkennen: Wir wollen das, was die Maschinen uns geben, viel zu sehr, um dafür nicht mit unserer Unabhängigkeit zu bezahlen. Was denke ich also über denkende Maschinen? Ich denke, dass ich mich aus einer kleinen, unabhängigen denkenden Maschine in einen winzigen Teil einer riesigen denkenden Maschine verwandle.

Susan Blackmore, Psychologin, London

Sie können einem schon leidtun, die Leute in der National Security Agency: Sie überwachen jedermann, und jedermann ist genervt von ihnen. Aber wenigstens überwachen sie uns, um uns vor Terroristen zu schützen. In diesem Moment, wo Sie das hier lesen, geht irgendwo auf der Welt wieder ein Pop-up-Fenster auf einem Computerbildschirm auf, das sagt: "Sie haben gerade zwei Tonnen Stickstoff-Dünger gekauft. Leute, die zwei Tonnen Stickstoff-Dünger gekauft haben, interessierten sich auf für diese Zünder." Amazon, Facebook, Google und Microsoft überwachen uns nämlich auch. Aber weil das Spionieren dieser E-Giganten uns viele Dinge ermöglicht, ist es angeblich in Ordnung.

Dabei wird viel Rechnerleistung darauf verwendet, dass Maschinen darüber nachdenken, was wir vorhaben. Die gesamte Computerpower, die Datensammelfirmen auf uns loslassen, hat die Größe eines Exaflops - eine Milliarde Vorgänge pro Sekunde. Aber was machen diese Maschinen, wenn sie über unser Denken nachdenken? Sie knüpfen Verbindungen zwischen großen Mengen persönlicher Daten und sie erkennen Muster.

Der aktuelle Trend bei Denkmaschinen wird dabei "Deep Learning" genannt. Als ich das erste Mal davon hörte, fand ich die Idee aufregend, dass Maschinen nun endlich tiefere Aspekte unsere Existenz enthüllen würden - Wahrheit, Schönheit, Liebe. Ich wurde schnell eines Besseren belehrt. Die Tiefe im "Deep Learning" bezeichnet nur die innere Architektur der Lernmaschinen: Sie bestehen aus vielen Schichten verknüpfter logischer Elemente, in Analogie zu den "tiefen" Schichten verknüpfter Neuronen im Gehirn. Wie sich zeigt, ist es schwierig, eine hingekritzelte 7 von einer hingekritzelten 5 zu unterscheiden. Tief in den Achtzigerjahren scheiterten die ersten neuronalen Netzwerk-Computer an dieser Aufgabe.

Gleichzeitig sagten uns die Forscher auf dem Feld der neuronalen Computer, wenn sie nur viel größere Rechner hätten und viel größere Trainings-Sets mit Millionen hingekritzelter Zahlen statt nur Tausenden - dann würde die künstliche Intelligenz das schon hinkriegen.

Die haben wir jetzt. "Deep Learning" ist informationstechnisch breit aufgestellt - riesige Datenmengen werden analysiert. Aber konzeptionell ist es flach. Computer können uns nun sagen, was die neuronalen Netzwerke im Gehirn schon immer wussten. Aber wenn sie einen handbeschrifteten Briefumschlag zur richtigen Postleitzahl lotsen können, sage ich: Nur weiter so!

Seth Lloyd, Quantenmechaniker am Massachusetts Institute of Technology