Technologische Singularität
31.01.2021 um 03:39Welche Probleme meinst du?
shionoro schrieb:Solange man der bestimmte Parameter eingibt, die sie nicht verletzen darf und einen failswitch einbaut, dass man die ausmachen kann, sollte das nicht allzu gefährlich sein.Das funktioniert bei einer hochentwickelten KI nicht mehr. Das ist das zentrale Problem. Eine KI, deren Intelligenz die eines Menschen weit übersteigt, wird immer Wege finden, solche Beschränkungen zu umgehen. Bereits jetzt kommt es immer wieder vor, dass KIs verblüffende Lösungen für Probleme finden, die ausserhalb des Rahmens liegen, den die jeweiligen Entwickler für möglich gehalten hätten. Das wird mit zunehmender Leistungsfähigkeit von KIs immer häufiger geschehen.
shionoro schrieb:Es gibt ja schon mathematische wege, etwas auszuschließen.Theoretisch ist das richtig. In der Praxis funktioniert das aber nicht, weil es immer Unterschiede zwischen dem mathematisch-logischen Modell eines Systems und seinem realen Verhalten geben wird. Ein Beispiel: Ich habe vor langer Zeit ein Testgerät für Speichermodule entwickelt, das um Grössenordnungen schneller war als das Vorgängermodell. Zu meiner Frustration verwendeten die Jungs in der Produktion mein Testgerät aber nur für schnelle Zwischendurch-Tests, während sie darauf bestanden, die Endtests mit dem alten, langsamen Testgerät durchzuführen. Sie behaupteten, dass mein Testgerät Module mit bestimmten Fehlern fälschlich als einwandfrei klassifizieren würde. Mathematisch-logisch betrachtet schien mir das anhand der Schaltung und der Funktionsweise des Testgeräts praktisch ausgeschlossen, weshalb ich darum bat, mir ein Beispiel zu zeigen. Eine Analyse ergab dann, dass bei einem bestimmten Fehler in dem zu testenden Modul ein IC des Testgeräts begann, sich nicht mehr digital, sondern analog zu verhalten. Es kam zu Stromflüssen zwischen den Adressleitungen, womit ich überhaupt nicht gerechnet hatte. Das war sehr lehrreich. ;) Es ist unmöglich, solche Abweichungen zwischen dem mathematisch-logischen Modell eines Systems und der Realität sicher auszuschliessen.
shionoro schrieb:Eine AI erfüllt den Auftrag, der ihr einprogrammiert wird.Auch das ist richtig. Es besteht aber immer die Gefahr, dass die KI den Auftrag anders interpretiert, als ihn der Auftraggeber gemeint hat. Ein klassisches Beispiel dafür ist das "Pave the Earth"-Szenario:
uatu schrieb am 26.01.2019:Eine KI bekommt den Auftrag, einen Parkplatz zu pflastern. Durch einen kleinen Fehler in der Auftragsbeschreibung ist die vorgegebene Fläche nicht völlig geschlossen, wodurch die KI den Auftrag so auslegt, dass die gesamte Erdoberfläche gepflastert werden soll.Das Beispiel ist natürlich bewusst überspitzt, um die zugrundeliegende Problematik herauszustellen.
Natürlich wird die KI beim Ausführen dieses Auftrags auf Widerstand treffen. Sofern es jedoch keine Schutzmechanismen dagegen gibt, wird die KI diesen Widerstand gleichwertig wie jede andere Art von Problem ("Pflastersteine bald aufgebraucht -> Pflastersteine nachbestellen") behandeln, und versuchen, es zu "lösen". Sofern der Widerstand gegen die Auftragsausführung Angriffe gegen die KI selbst einschliesst, ist die logische Schlussfolgerung, dass die KI versuchen wird, sich dagegen zu schützen.
Die Dinge können bereits aus dem Ruder laufen, bevor die eigentliche Ausführung des Auftrags überhaupt begonnen hat. Die KI wird die Umsetzung des Auftrags vor der Ausführung planen/simulieren. Sofern sie über ein entsprechend umfassendes Weltwissen verfügt, wird sie dabei auch den Widerstand gegen die Ausführung des Auftrags "vorhersehen" können. U.U. wird sie dabei zur Schlussfolgerung kommen, dass sie zunächst die Weltherrschaft übernehmen muss, bevor sie den ersten Pflasterstein legt.
shionoro schrieb:Man kann eine Ai schlichtweg vorher fragen (und ihr die auflage geben, dass sie wahrheitsgemäß antworten muss), was sie denn so alles tun würde. Und dann schauen, ob sich das gut anhört.Das funktioniert in der Praxis nicht. Das Lösen einer komplexen Aufgabe in der Realität lässt sich nahezu nie geradlinig beschreiben. Die Problematik lässt sich bereits bei einem stark vereinfachten Modell wie einem Schachspiel zeigen: Welchen Sinn hätte es, eine Schach-KI zu fragen: Was wirst Du tun, um zu gewinnen? Bei KIs, die in der Realität agieren sollen, wird das noch sehr viel schwieriger. Nehmen wir an, eine KI hat den Auftrag, ein Haus zu bauen. Dabei könnnen -- wie jeder Bauherr weiss ;) -- tausende von Ausnahmesituationen auftreten (beim Ausschachten des Fundaments findet sich eine Bombe aus dem 2. Weltkrieg, spielende Kinder auf der Baustelle, vorübergehender Stromausfall, ...), die jeweils eine angemessene Reaktion erfordern. Es ist völlig unmöglich, alle diese Wenn-Dann-Szenarien vorher durchzuprüfen.
shionoro schrieb:Aber ich sehe nicht die gefahr, dass eine AI, der ich etwas als hardwired einprogrammiere einfachh ihre 'siegbedingungen' ändert, wenn ich ihr das explizit verbiete im programm.Im Prinzip kann man die Gefahr, die davon ausgeht an Beispiel eines Menschen erklären.
Sonnenenergie schrieb:Im Prinzip kann man die Gefahr, die davon ausgeht an Beispiel eines Menschen erklären.Das ist es ja, man kann es eigentlich nicht mit einem Menschen vergleichen. Freier Wille und andere Dinge die auf Menschen Einfluss haben. Eine AI handelt ja denn nur bedingt selbstständig.
Du gibst einem Menschen den Befehl jeden Morgen Brötchen zu holen. Meinst du, das wird er wirklich jeden morgen machen?
Mechanismen, die ein "Ausbrechen" von den gewollten Abläufen verhindern sollen, wurden von Menschen gemacht, die ja dann "dümmer" sind als die Maschinen...
Sonnenenergie schrieb:Ganz entscheidend finde ich dann die drahtlosen Verbindungswege. Heute ist ja schon sehr vieles drahtlos vernetzt, das wird in 30 Jahren noch um ein erhebliches weiter sein.Das macht alles ja nur effizienter und einfacher. Entscheidend für die Entwicklung von Ai ist das mMn nur wenig. Aber das nur als Laie jetzt.
uatu schrieb:Das funktioniert bei einer hochentwickelten KI nicht mehr. Das ist das zentrale Problem. Eine KI, deren Intelligenz die eines Menschen weit übersteigt, wird immer Wege finden, solche Beschränkungen zu umgehen. Bereits jetzt kommt es immer wieder vor, dass KIs verblüffende Lösungen für Probleme finden, die ausserhalb des Rahmens liegen, den die jeweiligen Entwickler für möglich gehalten hätten. Das wird mit zunehmender Leistungsfähigkeit von KIs immer häufiger geschehenDas neuronale System von Menschen kann eine große Menge von Variationen erzeugen. Das äußert sich uns durch Gedanken an Möglichkeiten. Um ein Problem zu lösen muss ein Gehirn Variationen von Möglichkeiten gedanklich und praktisch durchgehen.
uatu schrieb:Das funktioniert in der Praxis nicht. Das Lösen einer komplexen Aufgabe in der Realität lässt sich nahezu nie geradlinig beschreiben. Die Problematik lässt sich bereits bei einem stark vereinfachten Modell wie einem Schachspiel zeigen: Welchen Sinn hätte es, eine Schach-KI zu fragen: Was wirst Du tun, um zu gewinnen? Bei KIs, die in der Realität agieren sollen, wird das noch sehr viel schwieriger. Nehmen wir an, eine KI hat den Auftrag, ein Haus zu bauen. Dabei könnnen -- wie jeder Bauherr weiss ;) -- tausende von Ausnahmesituationen auftreten (beim Ausschachten des Fundaments findet sich eine Bombe aus dem 2. Weltkrieg, spielende Kinder auf der Baustelle, vorübergehender Stromausfall, ...), die jeweils eine angemessene Reaktion erfordern. Es ist völlig unmöglich, alle diese Wenn-Dann-Szenarien vorher durchzuprüfen.Mir ist klar, dass es jetzt nichts bringt, mir zu überlegen, wie genau man der Parkplatz Asphaltierungs AI genaue Anweisungen geben kann. Man braucht ein System, um immer verlässlich selbst bei Fehlern frühzeitig reagieren zu können, bevor etwas passiert.
Blicklight schrieb:Und es ist unwahrscheinlich dass der Mensch, durch Sorgen und Meinungen, sich gegen seine natürliche Veranlagung entscheidet und die Nutzung und Weiterentwicklung von Technologie einstellt.davon gehe ich auch aus. Der Fortschritt ist durch irgendwelche Verbote oder dergleichen nicht aufzuhalten
Blicklight schrieb:Solange es den Menschen gut geht, kann Technologie in Variationen vermehrt werden. Die Frage ist, ob das menschliche Wohlergehen lange genug bestehen bleibt.mööp!
Sonnenenergie schrieb:Was ist aber jetzt mit den Menschen?Warum sind wir Menschen nicht so grausam und beseitigen alle Menschen in der Gesellschaft, die problematisch oder belastend für das Kollektiv sind? Wieso hat sich eine Ethik und Gesetzgebung durchgesetzt, die so etwas verhindert und verurteilt? Die Fähigkeit für Empathie und ein Sinn für Gerechtigkeit sind nicht sinnlos.
Sie sind aus KI-Sicht nutzlos. Ein nüchternes Risikomanagement wird ergeben, dass der Mensch nutzlos ist und ein potenzielles Restrisiko darstellt
Blicklight schrieb am 04.02.2021:Warum sind wir Menschen nicht so grausam und beseitigen alle Menschen in der Gesellschaft, die problematisch oder belastend für das Kollektiv sind? Wieso hat sich eine Ethik und Gesetzgebung durchgesetzt, die so etwas verhindert und verurteilt? Die Fähigkeit für Empathie und ein Sinn für Gerechtigkeit sind nicht sinnlos.Ich denke eher, dass die KI die Zukunft hochrechnen und sie dann den "freien Willen" als äußerst gefährlich einstufen wird.
In der Evolution hat sich der Zusammenhalt von Gruppen langfristig als vorteilhaft erwiesen. Eine wirklich kluge KI dürfte auch die Logik solcher Merkmale begreifen.
Blicklight schrieb am 04.02.2021:Allgemein sind Emotionen wichtige Modulatoren für das Denken und Verhalten.Deshalb sind Emotionen überhaupt keine guten menschlichen Eigenschaften für sie.
Blicklight schrieb am 04.02.2021:Und wird es denn die KI geben? Ist es nicht wahrscheinlicher dass es viele verschiedene geben wird?Nein, letztendlich und ganz zum Ende der Entwicklung steht nach meiner Logik nur eine und damit alles bestimmende KI
Sonnenenergie schrieb:Nein, letztendlich und ganz zum Ende der Entwicklung steht nach meiner Logik nur eine und damit alles bestimmende KIKannst Du mal bitte kurz darlegen, was denn "Deine Logik" von Logik unterscheidet?
Sonnenenergie schrieb am 19.02.2021:Deshalb sind Emotionen überhaupt keine guten menschlichen Eigenschaften für sie.Ich denke Emotion als Modulator ist ein entscheidender Faktor für den Überlebenswillen von Lebewesen. Reine Logik führt zu keinem Überlebenswillen. Das bestreben Schaden und Zerstörung zu verhindern oder zu herrschen sind keine logischen Motivationen sondern emotionale und instiktive Eigenschaften.