@Realo:
Realo schrieb:Ja, aber das sagt noch nichts aus, ob die Gesamtheit dieser intelligenten Programme, die irgendwann "technologische Singularität" ausbilden könnten, Identität entwickeln, also Selbstbewusstsein mit den entsprechenden Selbstschutz- und Aggressionsautomatismen. Erst dann wirds für die Menschen wirklich gefährlich.
Das ist ein Denkfehler. Selbstschutz- und Aggressionsautomatismen können sich sehr leicht aus anderen Zielvorgaben entwickeln. Nehmen wir z.B. das "Pave the Earth"-Szenario: Eine KI bekommt den Auftrag, einen Parkplatz zu pflastern. Durch einen kleinen Fehler in der Auftragsbeschreibung ist die vorgegebene Fläche nicht völlig geschlossen, wodurch die KI den Auftrag so auslegt, dass die gesamte Erdoberfläche gepflastert werden soll.
Natürlich wird die KI beim Ausführen dieses Auftrags auf Widerstand treffen. Sofern es jedoch keine Schutzmechanismen dagegen gibt, wird die KI diesen Widerstand gleichwertig wie jede andere Art von Problem ("Pflastersteine bald aufgebraucht -> Pflastersteine nachbestellen") behandeln, und versuchen, es zu "lösen". Sofern der Widerstand gegen die Auftragsausführung Angriffe gegen die KI selbst einschliesst, ist die logische Schlussfolgerung, dass die KI versuchen wird, sich dagegen zu schützen.
Die Dinge können bereits aus dem Ruder laufen, bevor die eigentliche Ausführung des Auftrags überhaupt begonnen hat. Die KI wird die Umsetzung des Auftrags vor der Ausführung planen/simulieren. Sofern sie über ein entsprechend umfassendes Weltwissen verfügt, wird sie dabei auch den Widerstand gegen die Ausführung des Auftrags "vorhersehen" können. U.U. wird sie dabei zur Schlussfolgerung kommen, dass sie zunächst die Weltherrschaft übernehmen muss, bevor sie den ersten Pflasterstein legt.
Dieses Szenario ist sehr viel realistischer, als sich die meisten Menschen derzeit vorstellen können. Ich schätze, dass wir (in späteren Phasen u.a. durch rekursive Selbstverbesserung) etwa ab 2040..2050 KIs haben werden, deren Leistungsfähigkeit dafür ausreicht. Ich erinnere daran, dass der Fortschritt in dieser Hinsicht exponentiell verläuft, und Menschen sind extrem schlecht darin -- selbst wenn sie sich des Problems bewusst sind -- exponentiell ablaufende Vorgänge korrekt einzuschätzen.
Der einzige Schutz gegen ein derartiges Szenario sind "Grundregeln", die das Verhalten von KIs auf höchster Prioritätsebene einschränken. Das fundamentale Problem dabei ist, dass es letztendlich unmöglich ist, diese "Grundregeln"
sicher gegen Veränderungen zu schützen. Dieses Thema wurde u.a. umfangreich im Technologische-Singularität-Thread (aktuellerer Teil ab
hier) diskutiert.
Realo schrieb:uatu schrieb am 16.09.2018:Niemand weiss derzeit, was Bewusstsein wirklich ist. Daher ist es ziemlich unsinnig, zu behaupten, eine KI könne kein Bewusstsein erlangen.
Doch, man weiß einiges. Bewusstsein ist IMMER Selbstbewusstsein=Identität, deren höchste Priorität darin liegt, sich selbst zu erhalten.
Nenne eine
sinnvolle, praktikabel überprüfbare Definition von Bewusstsein. Bitte verwende dabei möglichst keine Fremdwörter. Letzterer Punkt hat nichts spezifisch mit Dir zu tun, aber ich habe in anderen Fällen an dieser Stelle schon eine "Flucht in Fremdwörter" beobachtet, mit der die Schwäche der jeweiligen Argumentation übertüncht werden soll.
Einer meiner wesentlichsten Kritikpunkte an der gesamten KI-Diskussion ist die Verwendung nebulöser, unklar definierter Begriffe. Das gilt insbesondere für den Begriff "Intelligenz", aber auch für "Bewusstsein". Begriffe, für die keine sinnvolle, praktikabel überprüfbare Definitition besteht, sind für den Ablauf der Geschichte bedeutungslos.
Realo schrieb:Wird der Stecker gezogen, ist das System "tot".
Das Ziel der Selbsterhaltung kann, wie im ersten Abschnitt erläutert, auch ohne ein wie auch immer definiertes Bewusstsein aus anderen Zielsetzungen folgen. Die Vorstellung des "Steckerziehens" ist bei höher entwickelten KIs naiv (siehe z.B. die entsprechende Diskussion im Technologische-Singularität-Thread
hier).