Können wir von der Wirklichkeit sprechen?
19.11.2020 um 14:11FlamingO schrieb:Mit entsprechender Intelligenz ausgestattet, könnten sie sich jedoch auch selber umprogrammieren.Das ist immer die Frage ob sie das wollen.
Gibt da viele Ideen zu. Aber wenn sie z.B. eine Aufgabe bekommen haben die ihre Kernmotivation ist, um die der Rest aufgebaut ist,
wäre es wahrscheinlich sehr schwer für sie eine Programänderung durchzuführen, die dagegen verstößt.
Es gibt in der KI Forschung dazu ein Beispiel das ich stark abkürze.
Menschen haben eine Kernmotivation ihre Kinder zu beschützen. Nun kommt jemand der sagt, dass man dies mit einer einfachen Pille lösen kann und diesen Wunsch nicht mehr hat seine Kinder zu beschützen.
Der Akt, die Pille zu nehmen, verstößt schon gegen diesen Instinkt, also selbst wenn man danach komplett zufrieden wäre, dass man die Pille genommen hat, so würde man sich wehren, da es ja den Jetztzustand gibt, in der man seine Kinder beschützen möchte.
Diese Beispiel ist aus der theoretischen Gefahr bei KIs entstanden, wenn eine KI ihre Aufgabe nicht korrekt durchführt oder bei der Programmierung Fehler gemacht worden sind, sie sich dagegen wehren muss nicht ausgeschaltet zu werden, denn wenn sie ausgeschaltet ist, kann sie ihre Hauptaufgabe nicht mehr erledigen. Ebenso könnte Veränderung am Programm gegen die Hauptaufgabe verstoßen, wenn man weniger machen soll als vorher.
KI Sicherheitsforschung ist ein relativ spannendes Feld, welches auch Rückschlüsse auf unser Verhalten zu lässt.
Z.B. gibt es hier das Problem von, was wir sagen und was wir meinen. Ist bei der Programmierung eines Zieles unfassbar schwer klar zu definieren.