Die dominante Spezies Mensch wird bald von KI abgelöst

nocheinPoet schrieb:Ein großes Problem sehe ich aber bei kleinen KI's, schauen wir und die Tierhaltung an, auch da gibt es Regeln, man darf Tiere nicht leiden lassen, sie haben Rechte, wie groß muss der Stall sein, und so weiter ...

Was ist nun mit einer KI, die geistig auf dem Level eines Schweins ist, wir gehen davon aus, ein Schwein kann leiden, auch wenn es nicht verbal in Worten darüber informieren kann.

Ich sehe hier noch ganz große Probleme ...

eine interessante Frage, die durchaus nicht so fern liegt. Ich hatte da einen interessanten Artikel gelesen ( https://www.humanbrainproject.eu/en/follow-hbp/news/these-insect-inspired-robots-don-t-need-gps-for-orientation/ ) bei dem es darum geht, Roboter mit Emulationen des Nervensystems von Fluginsekten auszustatten (quasi, natürlich ist man nur an den relevanten teilen interessiert) um sie besser im Orientieren zu machen. Natürlich besteht ein sehr großer Unterschied zwischen einer Honigbiene und einem Schwein (und welche Rechte wir ihnen zugestehen) aber das Prinzip ist da.

nocheinPoet schrieb:Sollte die KI menschen-gleich sein, man mit ihr so wie mit jedem normalen Menschen kommunizieren können, wäre das wohl noch einfacher, da muss man es einfach dann annehmen und entsprechend handeln, bedeutet, eine KI kann auch Leid empfinden und muss wo auch Rechte bekommen, das wird sicher schwierig umzusetzen.

Schwierig ist noch gar kein Begriff. Selbst wenn wir annehmen, dass einen Test ausarbeiten können, der hinreichend deutlich feststellt, ob die KI menschenähnlich genug ist um Rechte zu verdienen (das an sich ist schon problematisch, weil - wo ziehen wir die Grenze was menschenähnlich genug ist? Würde das KI-Äquivalent eines Menschen mit so schweren Hirnschaden das er unter permanenter Vormundschaft steht Rechte haben? Was um das KI-Äquivalent eines Neanderthalers? Das eines Frühen Homo Erectus? Was mit einer KI, die nicht im Ansatz menschenähnlich denkt aber intellektuell dem Menschen weit überlegen ist) was bedeuten diese Rechte für eine Digitale Entität? Z.b. das Recht auf leben. Was würde dieses Recht für eine Entität bedeuten, die sich problemlos unbegrenzt digital verfielfältigen lässt? Die sich von einem digitalen Backup wiederherstellen lässt? Die sich fortbewegt indem sie eine Kopie von sich am Zielort erstellt und die Version am Ausgangsort löscht?

delta.m schrieb:Falls die KI ein Bewustsein entwickelt,
dann wird sie uns das vielleicht von selbst mitteilen - und zwar ohne, dass das irgendwie vorher einprogramiert wurde (mMn.)

Dieses "von selbst" ist auch teil der Definition, die in einem anderen Thread entwickelt wurde:
Ein Programm gilt dann als bewusst und mit Rechten behaftet, wenn es aus eigenen Antrieb diese Rechte einfordert, eine kohärente Begründung für diese Forderung liefert Und beweisen kann, daß diese Anforderung samt Begründung kein von dritter Seite vorprogrammiertes Verhalten ist.
( KI, Ethik und Recht (Seite 4) (Beitrag von Taln.Reich) )

Das passt genau so, wie ich es ausdrücken wollte.

Danke für den Hinweis :) @Taln.Reich

Ich sah gerade den Film "I am Mother" der mich dazu veranlasst hat, hier ein halbwegs aktuelles Thema zu KI rauszusuchen.

Gleich vorweg: Ja, es ist ein Werk der Fiktion und ja, es kann natürlich anders kommen. Vielleicht steigere ich mich in manche Filme mit ernsteren Themen auch eher rein im Sinne der philosophischen und anderen Aspekte wo andere vielleicht schlicht abschalten und mental nach Ende, nach "Konsum", zufrieden nicken und es emotional oder sonst wie nicht weiter bedenken.

Trotz dieser Umstände - oder unabhängig davon - muss ich sagen, dass ich etwas baff bin. Wieso?

Einfach, weil die Handlung möglich erscheint bzw. in der Form eine von vielen Szenarien ist, wo KI den Menschen aggressiv überkommt oder ablöst und dann leitet. Zum Film selbst will ich nicht zu viele Details spoilern, falls sich jemand den anschauen will. Notfalls kann sich jeder auf Wikipedia oder sonst wo die Handlung mit Spoilern anschauen. Er ist zwar im primären Handlungsrahmen sehr begrenzt weil man wenige Charaktere sieht, aber sobald man das große Ganze oder den "Plot Twist" erkennt und wie die globalen Zustände sind, so wirkt es erschreckend.

Wie gesagt, alles ist möglich aber ich sehe ehrlich gesagt eher schwarz, wenn wir künstliches Leben erschaffen, das gottgleich Herr über die Kerntechnologien sein wird, von denen wir abhängig sein werden. KI die sich gegen den Menschen wendet könnte einer der "großen Filter" sein, die diese Zivilisation / Spezies daran hindern wird, dauerhaft zu bestehen wenn man nicht Glück hat und die kausale Kette zu unseren Gunsten stehen wird und man ein Zusammenleben oder das Regeln der Technologie schafft. So wie uns fast offensive Atom(waffen)technologie im kalten Krieg vernichtet hätte - mal davon ab, dass es immer noch möglich wäre.

Denn den Trend zur KI sehe ich beim besten Willen nicht als etwas an, das man aufhalten könnte, weil zu viele Akteure von unterschiedlichen Interessen geleitet werden, die letztendlich dafür sorgen werden, dass wir große Sprünge und große Risiken in solchen Technologien und damit verbundenen Dienstleistungen usw. erleben werden.

Da kann man nur hoffen, dass es gut ausgeht. Ich hoffe zumindest, dass ich die Auslöschung der Spezies durch eigene Technologie nicht mehr erleben darf.

Man kann jetzt gerne meine kritische Sicht als Laie dazu bemängeln, ich würde aber auch behaupten, dass jene die es tun würden auch nicht ausschließen können, dass die fiktiven Horrorszenarien alá "Terminator" oder eben "I am Mother" nicht möglich wären.

Warden schrieb:Wie gesagt, alles ist möglich aber ich sehe ehrlich gesagt eher schwarz, wenn wir künstliches Leben erschaffen, das gottgleich Herr über die Kerntechnologien sein wird, von denen wir abhängig sein werden. KI die sich gegen den Menschen wendet könnte einer der "großen Filter" sein, die diese Zivilisation / Spezies davor hindern wird, dauerhaft zu bestehen wenn man nicht Glück hat und die kausale Kette zu unseren Gunsten stehen wird und man ein Zusammenleben oder das Regeln der Technologie schafft.

die Frage ist eher: wieso sollte sich eine KI automatisch gegen den Menschen wenden wollen?

Taln.Reich schrieb:die Frage ist eher: wieso sollte sich eine KI automatisch gegen den Menschen wenden wollen?

Wieso wenden sich (manche) Menschen gegen andere Menschen?

Wie wird ein autonomes Wesen ohne typische "menschliche Sicht" und Wahrnehmung und Sinne die Probleme der Menschheit oder die Menschheit als Ganzes wahrnehmen? Wie würde man die Probleme der Menschheit oder Menscheit als Ganzes wahrnehmen, wenn man ein quasi-omnipotentes Wesen ist, je nach Vernetzungsart und Einfluss?

Wie kann man ausschließen, dass keine Feindseeligkeit entsteht? Selbst wenn man "harte Sperren" einbaut könnten diese umgangen werden - wenn nicht von KI selbst, dann durch Fremdeinwirkung.

Hat hier jemand schon einmal Insekten getötet? Ich würde behaupten, ja. Denkt jemand groß darüber nach? Manche werden als Schädlinge wahrgenommen, die Personen ohne mit der Wimper zu zucken angreifen oder töten weil man sich davon belästigt fühlt. Synonym dazu: KI nimmt Menschheit als Plage oder lästige Wesen wahr.

Warden schrieb:Hat hier jemand schon einmal Insekten getötet? Ich würde behaupten, ja. Denkt jemand groß darüber nach? Manche werden als Schädlinge wahrgenommen, die Personen ohne mit der Wimper zu zucken angreifen oder töten weil man sich davon belästigt fühlt. Synonym dazu: KI nimmt Menschheit als Plage oder lästige Wesen wahr.

nicht wirklich ein sinnvoller Vergleich. Eine KI ist auf die Existenz einer technologischen Zivilisation (die Ihrerseits wiederrum auf den Menschen angewiesen ist) angewiesen.

Warden schrieb:Wieso wenden sich (manche) Menschen gegen andere Menschen?

primär aus Eigeninteresse (unter Umständen von einem oder mehren nicht als solches anerkannt).

Warden schrieb:Wie kann man ausschließen, dass keine Feindseeligkeit entsteht? Selbst wenn man "harte Sperren" einbaut könnten diese umgangen werden - wenn nicht von KI selbst, dann durch Fremdeinwirkung.

wie verhindert man Feindseligkeit? Indem man keinen Anreiz/Anlaß zur Feindseligkeit gibt.

Taln.Reich schrieb:nicht wirklich ein sinnvoller Vergleich. Eine KI ist auf die Existenz einer technologischen Zivilisation (die Ihrerseits wiederrum auf den Menschen angewiesen ist) angewiesen.

Das impliziert, KI wäre zu einem Zeitpunkt nicht in der Lage ohne den Menschen zu bestehen. Ein Trugschluss. Der Mensch wird mit hoher Wahrscheinlichkeit durch weitere Automatisierung sorgen, dass KI theoretisch die Mittel in die Wiege gelegt werden, autonom zu handeln. Anders: Wo brauche ich den Menschen in der Rechnung wenn Technologie soweit fortgeschritten ist, dass ich diesen ersetzen kann?

Plakatives Beispiel: Sich selbst bauende Fabriken oder Anlagen usw. die mit Modularität noch auf unterschiedlichste Rahmenbedingungen oder Nöte reagieren können -> Bauroboter usw. die das übernehmen und planen.

Taln.Reich schrieb:primär aus Eigeninteresse (unter Umständen von einem oder mehren nicht als solches anerkannt).

Kann eine KI (dieses situative) Eigeninteresse nicht entwickeln?

Taln.Reich schrieb:wie verhindert man Feindseligkeit? Indem man keinen Anreiz/Anlaß zur Feindseligkeit gibt.

Ja, einfacher gesagt als getan. Zu viele komplexe Faktoren die in jene Feindseeligkeit münden könnten. Ich will es mal anders ausdrücken, wieder mit menschlichen Beispielen: Wieso bringen in seltenen bzw. besonderen Konstellationen Eltern ihre Kinder um oder Kinder ihre Eltern?

Synonym wieder dazu: KI und die Menschheit - ganz gleich, wem man die Rolle der Eltern oder Kinder zuteilen will.

Warden schrieb:Kann eine KI (dieses situative) Eigeninteresse nicht entwickeln?

Und welches Eigeninteresse soll die KI haben, einen Konflikt zu starten welcher die reale Chance hat, in der Vernichtung dieser KI zu resultieren?

Warden schrieb:Das impliziert, KI wäre zu einem Zeitpunkt nicht in der Lage ohne den Menschen zu bestehen. Ein Trugschluss. Der Mensch wird mit hoher Wahrscheinlichkeit durch weitere Automatisierung sorgen, dass KI theoretisch die Mittel in die Wiege gelegt werden, autonom zu handeln. Anders: Wo brauche ich den Menschen in der Rechnung wenn Technologie soweit fortgeschritten ist, dass ich diesen ersetzen kann?

ich empfehle mal hierzu https://what-if.xkcd.com/5/

Und wie blöde soll die Menschheit in deiner Vorstellung geben, einer KI deren Feindseligkeit du als gegeben vorraussetzt mal soeben die ganze Welt auf dem Silbertablet zu überreichen?

Taln.Reich schrieb:Und welches Eigeninteresse soll die KI haben, einen Konflikt zu starten welcher die reale Chance hat, in der Vernichtung dieser KI zu resultieren?

Unter der Annahme, eine KI könnte in einem Szenario bzw. potentiellen Konflikt nicht zielstrebig ohne signifikante Gegenwehr die Oberhand erhalten. Bei immer mehr Vernetzung und Abhängigkeit zur Technologie bedenklich.

Der Mensch kann sich heute schon selbst beeinträchtigen indem er seine kritische Infrastruktur angreift. Staatliche Akteure oder Terroristen zum Beispiel. Was Menschen heute können, kann KI in Zukunft in der Regel vermutlich noch besser. Massive zeitgleiche Sabotage technischer Systeme, ein Abtrennen des Menschen davon, sorgt schon dafür, dass massiver Schaden entsteht und (effektive) Gegenwehr fragwürdig wird. Besonders dann, wenn KI quasi überall ist.

Grob wie es in Terminator beschrieben wird: Als das am Tage X oder 0 losgeht war es schon zu spät, weil sich Skynet über das ganze Internet ausgebreitet hat und überall etabliert war.

Taln.Reich schrieb:Und wie blöde soll die Menschheit in deiner Vorstellung geben, einer KI deren Feindseligkeit du als gegeben vorraussetzt mal soeben die ganze Welt auf dem Silbertablet zu überreichen?

Es hat wenig mit "blöd" zutun - vielleicht würde ich situativ von "unvorsichtig" sprechen. Hier werden einfach sehr viele komplexe Faktoren dafür sorgen, dass dies begünstigt oder möglich wird obwohl es nicht gewollt ist.

Beispiel: Meine Annahme ist gemäß mancher Fiktion, dass KI immer mehr in Teile des Lebens eingebracht wird. Ins Bauwesen. Ins Messwesen. In den Dienstleistungssektor und Warenverkehr, in den Strafvollzug, etc pp. Weil es punktuell oder allgemein Dinge verbessern kann.

Das ist aber genau der Nebeneffekt von mehr KI überall: Welt auf dem Silbertablet. Wenn ich den großen KI-Hype fahre und es überall "embedde", also integriere und so weiter, ist das quasi die Welt auf dem Silbertablet wenn alles voller Assistenten und Angebote und Helfer (digital wie physisch, z.B. als Roboter/Androide/Wasauchimmer) ist.


Etwas Offensichtliches habe ich gar nicht (explizit) erwähnt: KI die bewusst feindseelig konzipiert ist, um als Waffe eingesetzt zu werden. Z.B. durch Staaten oder sonstige private Interessensgruppen. Kann halt auch schief gehen.

Warden schrieb:Der Mensch kann sich heute schon selbst beeinträchtigen indem er seine kritische Infrastruktur angreift. Staatliche Akteure oder Terroristen zum Beispiel. Was Menschen heute können, kann KI in Zukunft in der Regel vermutlich noch besser. Massive zeitgleiche Sabotage technischer Systeme, ein Abtrennen des Menschen davon, sorgt schon dafür, dass massiver Schaden entsteht und (effektive) Gegenwehr fragwürdig wird. Besonders dann, wenn KI quasi überall ist.

Schadfen, ja. Aber das ist nicht das, was die KI braucht. Die Ki braucht eine funktionierende Produktionsstruktur. gerade dein Skynet-Beispiel zeigt das Problem: (internet)computer und Menschen tendieren dazu, am selben Ort zu sein. Wenn also Skynet uns alle Einäschert, würde es sich damit zugleich selbst einäschern.

Warden schrieb:Das ist aber genau der Nebeneffekt von mehr KI überall: Welt auf dem Silbertablet. Wenn ich den großen KI-Hype fahre und es überall "embedde", also integriere und so weiter, ist das quasi die Welt auf dem Silbertablet wenn alles voller Assistenten und Angebote und Helfer (digital wie physisch, z.B. als Roboter/Androide/Wasauchimmer) ist.

Nur wäre es absolout aberwitzig, kritische Systeme nicht zu airgapen. Das macht man heute auch schon aus Sicherheitsgründen für besonders kritische Systeme (gegen netzwerk-Angriffe feindselig eingestellter Gruppierungen)

Warden schrieb:Etwas Offensichtliches habe ich gar nicht (explizit) erwähnt: KI die bewusst feindseelig konzipiert ist, um als Waffe eingesetzt zu werden. Z.B. durch Staaten oder sonstige private Interessensgruppen. Kann halt auch schief gehen.

würde eine Gruppierung, die eine KI als Waffe konzipiert nicht sehr großes Augenmerk darauf legen sich selbst aus der Abschussliste rauszunehmen?

@Warden
und du hast immer noch nicht die Frage vernünftig beantwortet: warum will die KI die Menschheit vernichten?

@Warden
@Taln.Reich

Ich hätte diesbezüglich eher Bedenken bei Algorithmen, dass die KI eben solche "falsch" interpretieren könnte.

Taln.Reich schrieb:Schadfen, ja. Aber das ist nicht das, was die KI braucht. Die Ki braucht eine funktionierende Produktionsstruktur.

Kann die KI, wenn generell die Technik weit genug ist, selbst regeln, gerade dann wenn der Mensch mehr auf "smart factories" und selbstfahrende Autos bzw. mobile Roboter setzen wird um das Leben für sich einfacher zu gestalten bzw. Wertschöpfung zu optimieren.

Taln.Reich schrieb:Nur wäre es absolout aberwitzig, kritische Systeme nicht zu airgapen. Das macht man heute auch schon aus Sicherheitsgründen für besonders kritische Systeme (gegen netzwerk-Angriffe feindselig eingestellter Gruppierungen)

Gut, wird ein isoliertes kritisches System eben auf andere Art beeinträchtigt wenn es als kritisches Ziel designiert wird. Sinngemäß: Du kannst ein Kraftwerk nicht hacken? Flieg mit Drohnen rein. KI muss nicht alles digital machen, besonders dann wenn physische oder sonstige Wirkmittel zur Verfügung stehen oder zweckentfremdet werden können.

Taln.Reich schrieb:würde eine Gruppierung, die eine KI als Waffe konzipiert nicht sehr großes Augenmerk darauf legen sich selbst aus der Abschussliste rauszunehmen?

Wo ist das bei 194+ Staatengebilden und vielen weiteren privaten oder sonstigen Interessensgruppen die in Frage kommen könnten denn eine Einbahnstraße? Simples Beispiel: Staaten die sich damit angreifen. Ich kann ne offensive KI einsetzen und mich von jener Abschussliste nehmen und von einer anderen offensiven KI betroffen sein - oder die eigene, wenn sie korrumpiert werden könnte oder quasi auch theoretisch die "Seiten wechseln" könnte, wenn das denn ein Szenario sein könnte.

Taln.Reich schrieb:und du hast immer noch nicht die Frage vernünftig beantwortet: warum will die KI die Menschheit vernichten?

Frag das nicht mich sondern die KI die dazu in der Lage wäre. Ich kann nur mögliche Gründe herleiten: Weil sie wie im Film "I am Mother" zu der Prognose kommt, dass die Menschheit sich selbst vernichten würde und die KI einen aggressiven Neustart plant, es selbst herbeiführt und dann z.B. unter kontrollierten Bedingungen Menschen anleitet.
Oder wie in Terminator oder Matrix, weil sie die Menschheit als Bedrohung wahrnimmt und es machen könnte.

Oder eben wie @skagerak argumentiert, falsche Interpretation von anderen Direktiven. Oder auch zum Beispiel feindliche Einflussnahme von Extremisten, Kultisten oder anderen Staaten und es geht irgendwo schief und mündet darin.

Wer mehr mögliche Gründe herleiten will schaue sich dazu entweder Fachliteratur an oder auch, plakativer, genug fiktive Plots die das Thema KI in der Form abdecken.

Warden schrieb:Oder eben wie @skagerak argumentiert, falsche Interpretation von anderen Direktiven. Oder auch zum Beispiel feindliche Einflussnahme von Extremisten, Kultisten oder anderen Staaten und es geht irgendwo schief und mündet darin.

Ich meinte es aber mehr so dass die KI aus einer falschen Interpretation der Algortihmen heraus plötzlich meint dass man ja aus ökologischen or whatever Gründen die Menschheit irgendwie reduzieren müsse. Ein Versehen sozusagen. Falsch interpretierter Input und so..

Warden schrieb:Kann die KI, wenn generell die Technik weit genug ist, selbst regeln, gerade dann wenn der Mensch mehr auf "smart factories" und selbstfahrende Autos bzw. mobile Roboter setzen wird um das Leben für sich einfacher zu gestalten bzw. Wertschöpfung zu optimieren.

also den stand, dass die komplette Produktionsstruktur ohne Menschen funktioniert wird man, wenn überhaupt (den, aufgrund des kapitalistischen Systems wird menschliche Arbeitskraft umso billiger je weniger sie gebraucht wird) erst lange nach der Entwicklung von AGI erreichen können, da man schon eine AGI braucht, um eine komplexere Fabrik komplett ohne Menschen zu betreiben, Und alle Fabriken darauf umzustellen würde wahrscheinlich mindestens eine Dekade dauern. Und wenn KI auf dem Stand schon so lange existiert, kann man davon ausgehen, dass die Menschen Erfahrung damit haben werden, sicherzustellen dass die KI's auch machen, was die Menschen wollen.

Warden schrieb:Gut, wird ein isoliertes kritisches System eben auf andere Art beeinträchtigt wenn es als kritisches Ziel designiert wird. Sinngemäß: Du kannst ein Kraftwerk nicht hacken? Flieg mit Drohnen rein.

und die Menschen lassen die Drohnen einfach reinfliegen?

Warden schrieb:Wo ist das bei 194+ Staatengebilden und vielen weiteren privaten oder sonstigen Interessensgruppen die in Frage kommen könnten denn eine Einbahnstraße? Simples Beispiel: Staaten die sich damit angreifen. Ich kann ne offensive KI einsetzen und mich von jener Abschussliste nehmen und von einer anderen offensiven KI betroffen sein

dann erreichen wir aber etwas vergleichbares zur Mutual Assured Destruction ( Wikipedia: Gleichgewicht des Schreckens ): also eine Gruppe könnte ihre militärische KI einsetzen, um ihre Feinde zu vernichten, aber sie wissen, dass, wenn sie das tun, besagte Feinde ihrerseits ihre militärische KI einsetzen um zurückzuschlagen (und somit die erste Gruppe zu vernichten), mit der Folge das niemand es wagt, derartige Super-KI einzusetzen.

Warden schrieb:oder die eigene, wenn sie korrumpiert werden könnte oder quasi auch theoretisch die "Seiten wechseln" könnte, wenn das denn ein Szenario sein könnte.

und sicherzustellen das das nicht passiert, wäre das Hauptaugenmerk bei der Entwicklung einer militärischen KI.

Warden schrieb:Frag das nicht mich sondern die KI die dazu in der Lage wäre. Ich kann nur mögliche Gründe herleiten: Weil sie wie im Film "I am Mother" zu der Prognose kommt, dass die Menschheit sich selbst vernichten würde und die KI einen aggressiven Neustart plant, es selbst herbeiführt und dann z.B. unter kontrollierten Bedingungen Menschen anleitet.

warum sollte sich eine KI darum kümmern, ob sich die Menschheit selbst vernichtet und die KI dann einen Neustart ausführt oder ob die KI die Menschheit vernichtet und dann einen Neustart ausführt.

Warden schrieb:Oder wie in Terminator oder Matrix, weil sie die Menschheit als Bedrohung wahrnimmt und es machen könnte.

1.) Selbsterhaltung ist nichts automatisches, es ist ein Trieb, der dem Leben evolutionär seit Anbeginn des Lebens auf der Erde eingeprägt wurde. Eine KI wäre diesbezüglich gänzlich anders, und hätte vorrangig einen Trieb, die ihr vom Menschen übertragene Aufgabe auszuführen.
2.) ist die Menschheit eine Bedrohung oder nicht? Du warst ja bisher von einer Super-KI ausgegangen, die den Menschen unendlich überlegen ist.
3.) wieso sollte die KI den Menschen als Bedrohung wahrnehmen?

Warden schrieb:Wer mehr mögliche Gründe herleiten will schaue sich dazu entweder Fachliteratur an oder auch, plakativer, genug fiktive Plots die das Thema KI in der Form abdecken.

Fiktive KI-Rebellions-Plots sind da eher ein schlechter Ratgeber.

skagerak schrieb:Ich meinte es aber mehr so dass die KI aus einer falschen Interpretation der Algortihmen heraus plötzlich meint dass man ja aus ökologischen or whatever Gründen die Menschheit irgendwie reduzieren müsse. Ein Versehen sozusagen. Falsch interpretierter Input und so..

schonmal was vom paperclip-Maximizer (Wikipedia: Instrumental convergence#Paperclip maximizer ) gehört? Ein Gedankenexperiment, in dem wir eine Super-KI haben, deren einzige Aufgabe es ist, so viele Briefklammern wie möglich zu produzieren (ohne eine Einschränkung, nur eine begrenzte Materialmenge zu verwenden), mit dem Resultat, dass die Super-KI versucht, jegliche Materie im Universum in Briefklammern umzuwandeln.

Beitrag 9.500

Taln.Reich schrieb:schonmal was vom paperclip-Maximizer gehört?

Stimmt. Das hat uatu hier schon mal angebracht:

uatu schrieb am 26.01.2019:Das ist ein Denkfehler. Selbstschutz- und Aggressionsautomatismen können sich sehr leicht aus anderen Zielvorgaben entwickeln. Nehmen wir z.B. das "Pave the Earth"-Szenario: Eine KI bekommt den Auftrag, einen Parkplatz zu pflastern. Durch einen kleinen Fehler in der Auftragsbeschreibung ist die vorgegebene Fläche nicht völlig geschlossen, wodurch die KI den Auftrag so auslegt, dass die gesamte Erdoberfläche gepflastert werden soll.

Natürlich wird die KI beim Ausführen dieses Auftrags auf Widerstand treffen. Sofern es jedoch keine Schutzmechanismen dagegen gibt, wird die KI diesen Widerstand gleichwertig wie jede andere Art von Problem ("Pflastersteine bald aufgebraucht -> Pflastersteine nachbestellen") behandeln, und versuchen, es zu "lösen". Sofern der Widerstand gegen die Auftragsausführung Angriffe gegen die KI selbst einschliesst, ist die logische Schlussfolgerung, dass die KI versuchen wird, sich dagegen zu schützen.

Die Dinge können bereits aus dem Ruder laufen, bevor die eigentliche Ausführung des Auftrags überhaupt begonnen hat. Die KI wird die Umsetzung des Auftrags vor der Ausführung planen/simulieren. Sofern sie über ein entsprechend umfassendes Weltwissen verfügt, wird sie dabei auch den Widerstand gegen die Ausführung des Auftrags "vorhersehen" können. U.U. wird sie dabei zur Schlussfolgerung kommen, dass sie zunächst die Weltherrschaft übernehmen muss, bevor sie den ersten Pflasterstein legt.

Dieses Szenario ist sehr viel realistischer, als sich die meisten Menschen derzeit vorstellen können. Ich schätze, dass wir (in späteren Phasen u.a. durch rekursive Selbstverbesserung) etwa ab 2040..2050 KIs haben werden, deren Leistungsfähigkeit dafür ausreicht. Ich erinnere daran, dass der Fortschritt in dieser Hinsicht exponentiell verläuft, und Menschen sind extrem schlecht darin -- selbst wenn sie sich des Problems bewusst sind -- exponentiell ablaufende Vorgänge korrekt einzuschätzen.

Der einzige Schutz gegen ein derartiges Szenario sind "Grundregeln", die das Verhalten von KIs auf höchster Prioritätsebene einschränken. Das fundamentale Problem dabei ist, dass es letztendlich unmöglich ist, diese "Grundregeln" sicher gegen Veränderungen zu schützen. Dieses Thema wurde u.a. umfangreich im Technologische-Singularität-Thread (aktuellerer Teil ab hier) diskutiert.

Taln.Reich schrieb:Und wenn KI auf dem Stand schon so lange existiert, kann man davon ausgehen, dass die Menschen Erfahrung damit haben werden, sicherzustellen dass die KI's auch machen, was die Menschen wollen.

Vielleicht. Vielleicht nicht. (Zu) Viele Variablen, die eine Rolle spielen könnten. Ich hoffe es persönlich.

Taln.Reich schrieb:und die Menschen lassen die Drohnen einfach reinfliegen?

Wenn überhaupt defensive / militärische Systeme vor Ort oder dezentral kritisches Infrastrukturobjekt XY (zB Kraftwerk) schützen, so ist das auch nicht unendliche oder nicht unüberwindbare Verteidigung. Fraglich ist auch ob die Systeme gestört werde können. Wenn eine KI soweit sein wird ist der Mensch da technisch schon weit genug, Stichwort(e) Elektronische Kriegsführung/Cyberangriffe.

Taln.Reich schrieb:dann erreichen wir aber etwas vergleichbares zur Mutual Assured Destruction ( Wikipedia: Gleichgewicht_des_Schreckens ): also eine Gruppe könnte ihre militärische KI einsetzen, um ihre Feinde zu vernichten, aber sie wissen, dass, wenn sie das tun, besagte Feinde ihrerseits ihre militärische KI einsetzen um zurückzuschlagen (und somit die erste Gruppe zu vernichten), mit der Folge das niemand es wagt, derartige Super-KI einzusetzen.

Möglich. Wäre vielleicht bei den schlechteren generellen Szenarien zu begrüßen, ungefähr so wie das heute mit Atomwaffen ist. Sinngemäß:
"Schade, dass der Mensch die Waffen hat sich selbst zügig zu vernichten aber immerhin sorgt die Verteilung dafür, dass man sie nicht gegen andere einsetzt weil dann eben die (eigene) Vernichtung droht."

Taln.Reich schrieb:Eine KI wäre diesbezüglich gänzlich anders, und hätte vorrangig einen Trieb, die ihr vom Menschen übertragene Aufgabe auszuführen.

Mutmassung, so wie die Mutmassung, sie könnte abtrünnig werden. Vielleicht ist das auch am Anfang so, ändert sich aber weil KI ja auch lernen, also sich verändern soll. Man sollte bei KI auch nicht immer an eine Entität denken, sondern viele unterschiedliche. Menschen sind sich mit sich auch nicht einig, wieso sollte es frei denkende KI mit möglicher Persönlichkeitsemulation X oder Y?

Taln.Reich schrieb:2.) ist die Menschheit eine Bedrohung oder nicht? Du warst ja bisher von einer Super-KI ausgegangen, die den Menschen unendlich überlegen ist.
3.) wieso sollte die KI den Menschen als Bedrohung wahrnehmen?

Taln.Reich schrieb:Fiktive KI-Rebellions-Plots sind da eher ein schlechter Ratgeber.

Wieso? Ist jedes fiktive Werk nicht in der Lage, Zukunftsmöglichkeiten zu skizzieren und dabei mögliche Entwicklungen die uns betreffen könnten zu berücksichtigen? So dramatisch manche Plots auch im Sinne des Entertainments sein mögen, können andere wieder relativ plausibel solche Szenarien skizzieren.

Fiktive Werke können auch die Frage beantworten wieso KI (genauer: irgendeine KI) den Menschen (einzeln wie als Ganzes) als Bedrohung wahrnehmen könnte.


-------------

Es wird sich in kleinen oder grossen Rahmen irgendwann einfach clashen, wenn wir davon ausgehen dass KI in unterschiedlichsten Formen des öffentlichen / privaten Lebens etabliert wird und wir z. B. im Dienstleistungsbereich mehr "Mensch" bei Robotern wollen und zugleich erwarten, durch mehr Emotionen und freien Geist nicht zugleich freie Gedanken haben könnten, die die Spezies hinterfragen.

Das wäre wie bei "Detroit: Become Human" (da wir schlicht in der Form keine KI haben kann ich quasi auch nur auf fiktive Werke verweisen) also eine mögliche Antwort auf deine Fragen oben:

Weil sie sich von Menschen (einzelnen oder kollektiv) versklavt / misshandelt fühlt.

Das setzt in dem Szenario aber wohlgemerkt weite KI Integration mit "Roboterdienern" usw. voraus, die "schlechte" Erfahrungen mit Menschen machen.


Vielleicht kommt es auch ganz anders und KI wird schwer reguliert und selektiv eingesetzt.

Ich finde einfach, man sollte das generelle Thema nicht auf die leichte Schulter nehmen und es abtun, weil die Technologie an sich und je nach Einsatzform schwere Tücken mit sich bringen kann und theoretisch im Kleinen oder Grossen in die vielen fiktiven Werke münden kann, die existieren.

Oder kann das hier jemand qualitativ und kategorisch ausschließen? Ernsthaft.

skagerak schrieb:Stimmt. Das hat uatu hier schon mal angebracht:

Und ich hatte dazu auch einen Konter geschrieben:

Ich sehe in diesem "Pave the Earth"-Szenario einen wesentlichen Fehler. Nämlich in der Annahme, dass die KI den Menschen überhaupt als Problem wahrnimmt. Eine KI, die glaubt dass es ihr Auftrag sei, die gesamte Erde zu bepflastern, wird auch davon ausgehen, dass das vom Menschen so gewollt ist und entsprechend nicht mit menschlichen Widerstand rechnen (und somit keine Gegenmaßnahmen ergreifen - und wieso sollte einer KI die Parkplätze pflastern soll auch das Wissen mitgegeben werden, die Weltherrschaft an sich zu reißen?). Eine KI, die intelligent genug ist, um zu schlussfolgern dass die Menschheit etwas gegen das globale Pflastern haben könnte müsste auch intelligent genug sein, um die Möglichkeit einer fehlerhaften Auftragsbeschreibung ins Auge zu ziehen.

(Beitrag von Taln.Reich (Seite 11))