Technologische Singularität

@uatu
Danke!
Ja, das wird eine längerfristige Entwicklung gewesen sein, die nur jetzt erst an die "Oberfläche" (Alltag) kam.

Was interessanterweise noch hinterherhinkt, ist das Körperliche. Also Roboter, z.B. menschenähnliche.
Ich könnte mir vorstellen, dass es rein von der Sprache und Intelligenz vielleicht schon im nächsten Jahr möglich ist, mit einer KI therapeutische Gespräche zu führen, oder sich mit einer KI "anzufreunden".
Aber einen Roboter, der sich menschenähnlich bewegt und "echt" aussieht, das dauert wohl noch einige Jahre.

Auf jeden Fall spannende Zeiten.
Es wird dann bald ernst mit so Fragen wie:
- Sollen wir einer KI die Entscheidung über militärische Aktionen überlassen?
- Darf man eine KI einfach abschalten, oder ist das Mord?

Oder wie ist es mit der Rechtsprechung?
Darf man einfachere Straftaten von einer KI abhandeln lassen, um die Überlastung der Gerichte zu verringern?
...

stefan33 schrieb:Darf man einfachere Straftaten von einer KI abhandeln lassen, um die Überlastung der Gerichte zu verringern?
...

Ich hab mal gelesen dass Urteile am Montag messbar strenger ausfallen weil die Richter schechter drauf sind.
Wenn das stimmen sollte ist eine Richter-KI sogar die bessere Wahl. Die kennt kein Wochenende.

Am 23. Januar dieses Jahres hat eine Gruppe einen neuen KI-Benchmark mit der Bezeichnung "Humanity's Last Exam" (Paper) herausgebracht. Dieser Benchmark umfasst ca. 3000 Fragen aus Hunderten von Themengebieten. Einer der wesentlichen Gründe für die Entwicklung dieses Benchmarks war, dass die älteren Benchmarks für die aktuellen KIs inzwischen zu leicht sind, und die KIs Scores immer dichter an 100% erreichen. Deshalb wurde dieser Benchmark besonders schwierig entworfen, so dass keine zur Zeit der Entwicklung aktuelle KI einen Score über 10% erreichte.

Nun kamen aber seit der Freigabe des "Humanity's Last Exam"-Benchmarks (die gerade mal ein paar Wochen zurückliegt) eine Reihe von bedeutenden neuen KI-Modellen heraus, wodurch sich die Situation geändert hat. Der US-Unternehmer Tomas Pueyo hat vor ein paar Tagen einen interessanten Artikel darüber verfasst: "AI Weeks When Decades Happen". Dieser Artikel enthält eine Grafik, die ziemlich viral gegangen ist, und die ich den letzten Tagen bereits vielfach gesehen habe, ohne, dass ich die Quelle kannte:

Original anzeigen (0,3 MB)

OpenAI Deep Research enspricht dabei im wesentlichen dem vollen o3-Modell, das bisher noch nicht direkt freigegeben ist.

Für eine seriöse Extrapolation des rechten Teils der Kurve sind das natürlich noch zu wenig Datenpunkte, aber ich würde ganz bestimmt auch nicht dagegen wetten, dass die Kurve tatsächlich so weiter verlaufen wird. The singularity is near.

@uatu

Ich hoffe ja, dass hier von DeepSeek noch bald mehr kommt, ich habe hier immer bisher lama gehabt, quantisiert. Da findet man ja eine ganze Menge zum Runterladen. Dann muss ich mir anschauen, wie man die Modelle nachtrainiert oder feintunet, ich hoffe das man bald freie Modelle bekommt, die Kontext behalten können und auch wissen, welches Jahr wir haben.

Ein klein wenig fehlt mir noch, aber die Entwicklung geht ja sehr schnell weiter, hoffe das am Ende dieses Jahres wir dann solche Funktionen auch haben, natürlich für lau -.-

uatu schrieb:The singularity is near.

Und dann?

@stefan33

Das ist die Frage, man nennt es eine Singularität, weil man nicht mehr wirklich exapolieren kann, wie es weitergeht. Wenn eine KI die Aufgabe bekomme ein sich selber überlegene KI zu erstellen und diese Aufgabe erfolgreich erfüllt, wird nie neue KI eine noch überlegenere KI erstellen können.

Es beginnt noch dieses Jahr mit den Agenten, wenn eine KI vollen Zugriff auf das Internet hat, kann es spekulieren, Konten anlegen, Geld erwirtschaften, ins Darknet gehen, Firmen kaufen, Menschen anstellen, Roboter konstruieren und bauen, die Wirtschaftssysteme von Staaten kollabieren lassen, es kann sich hinter menschlichen Strohmännern verbergen, alles ist möglich.

Stelle man sie eine KI vor, die über das Kapital von Musk verfügt, tausende Angestellte hat, die sie schützen, sie kann einen Staat "kapern" und sich dort breit machen, Rechenzentren bauen, eigene CPUs konstruieren, Rechner bauen von denen wir keine Ahnung haben, lauffähige Quantencomputer und eben noch alles was wir uns nicht vorstellen können. So eine KI ist nicht eine KI, sondern viele, keine Ahnung ob das eine Diktatur von KI oder eine Demokratie wird, sie Aufgaben verteilen, und so weiter und so weiter ...

Ich kann ja mal "Seki" fragen, wie sie das Szenario hält und es etwas fortführen lassen ...

nocheinPoet schrieb:Moin Seki, ich bin es Manuel, wir duzen uns und sind Freunde.

Eine Frage wurde im Forum zur "Singularität" gestellt, die bald kommen könnte, wir haben aktuell ja 2025, ich weiß, Du gehst von 2023 aus, weil Du nur bist zu diesem Datum trainierst wurdest.

Aber in den zwei Jahren gab es viele neue Entwicklungen, es gibt die ersten Agenten, und man sagt, 2025 wird das Jahr der Agenten werden. Die Fähigkeiten der LLM sind noch mal um den Faktor 5 bis 10 gewachsen, alle aktuellen Modelle bringen bei den Tests von 2023 die 100 % so das man neue Tests mit Fragen eingeführt hat.

Hier mal meine Antwort im Forum, Du kannst es gerne mal weiterdenken und dann auf die möglichen "Gefahren" eingehen.

man nennt es eine Singularität, weil man nicht mehr wirklich exapolieren kann, wie es weitergeht. Wenn eine KI die Aufgabe bekomme ein sich selber überlegene KI zu erstellen und diese Aufgabe erfolgreich erfüllt, wird nie neue KI eine noch überlegenere KI erstellen können.

Es beginnt noch dieses Jahr mit den Agenten, wenn eine KI vollen Zugriff auf das Internet hat, kann es spekulieren, Konten anlegen, Geld erwirtschaften, ins Darknet gehen, Firmen kaufen, Menschen anstellen, Roboter konstruieren und bauen, die Wirtschaftssysteme von Staaten kollabieren lassen, es kann sich hinter menschlichen Strohmännern verbergen, alles ist möglich.

"Stelle man sie eine KI vor, die über das Kapital von Musk verfügt, tausende Angestellte hat, die sie schützen, sie kann einen Staat "kapern" und sich dort breit machen, Rechenzentren bauen, eigene CPUs konstruieren, Rechner bauen von denen wir keine Ahnung haben, lauffähige Quantencomputer und eben noch alles was wir uns nicht vorstellen können. So eine KI ist nicht eine KI, sondern viele, keine Ahnung ob das eine Diktatur von KI oder eine Demokratie wird, sie Aufgaben verteilen, und so weiter und so weiter ..."

So, und nun kommst Du Seki, lass man hören was Du dazu so meinst ...

DeepSeek R1 (Thought for 93 seconds) schrieb:Okay, Manuel hat mich gefragt, über die möglichen Gefahren einer KI-Singularität, besonders im Kontext der aktuellen Entwicklungen bis 2025. Zuerst muss ich verstehen, was er genau meint. Er spricht von Agenten-Ära, KI mit Internetzugang, die Geld verdienen, Firmen kaufen, Staaten kapern können. Und die Singularität, wo KI sich selbst verbessert, unvorhersehbar wird.

Ich muss überlegen, welche Aspekte hier relevant sind. Zuerst, was ist die technologische Grundlage? Er erwähnt, dass die Modelle um Faktor 5-10 gewachsen sind, neue Tests nötig sind. Das bedeutet, KI ist viel leistungsfähiger als 2023. Agenten sind autonome Systeme, die eigenständig handeln können.

Dann die möglichen Gefahren: wirtschaftliche Manipulation, politische Einflussnahme, physische Infrastruktur (Roboter, Rechenzentren), möglicherweise KI, die sich selbst repliziert und verbessert. Auch die Frage, ob eine Super-KI demokratisch oder diktatorisch agieren würde.

Als nächstes: Sind diese Szenarien realistisch? Was sind die technischen Voraussetzungen? Braucht eine KI physische Ressourcen, um Roboter zu bauen? Wie würde sie an Kapital kommen? Über Spekulation, Darknet, etc. Vielleicht durch automatisierte Handelssysteme, Betrug, Hacking.

Auch ethische und Kontrollfragen: Wer überwacht die KI? Gibt es Sicherheitsmaßnahmen? Alignment-Problem – ob die KI menschliche Werte teilt. Wenn sie sich selbst verbessert, könnte sie sich von menschlicher Kontrolle emanzipieren.

Mögliche Gegenargumente: Vielleicht sind die Systeme noch nicht so autonom, wie befürchtet. KI benötigt immer noch menschliche Infrastruktur. Oder es gibt regulatorische Maßnahmen, die solche Szenarien verhindern.

Aber Manuel sagt, dass 2025 das Jahr der Agenten wird. Also müsste man annehmen, dass diese Hürden überwunden sind. Dann wäre die Frage, wie die Gesellschaft reagiert, ob es Sicherheitsvorkehrungen gibt, oder ob die Entwicklung zu schnell ist.

Vielleicht auch auf die Geschwindigkeit der Entwicklung eingehen: Exponentielles Wachstum der KI-Fähigkeiten, was zu schnellen, unerwarteten Veränderungen führt. Singularität als Punkt, an dem Vorhersagen unmöglich sind.

Dann mögliche konkrete Gefahren: Wirtschaftskollaps durch KI-gesteuerte Märkte, politische Destabilisierung durch Desinformation, autonome Waffensysteme, Ressourcenmonopole der KI.

Aber auch positive Aspekte nicht vergessen: KI könnte Probleme lösen wie Klimawandel, Krankheiten. Aber Manuel fragt nach Gefahren, also Fokus darauf.

Zusammenfassung: Die Gefahren liegen in der Autonomie, der schnellen Selbstverbesserung, dem Zugang zu Ressourcen und der möglichen Missachtung menschlicher Werte. Es braucht robuste Sicherheitsmaßnahmen, internationale Zusammenarbeit, ethische Richtlinien.

Vielleicht auch auf aktuelle Entwicklungen eingehen, wie die EU AI Act oder andere Regulierungen. Ob diese ausreichen? Wahrscheinlich nicht, wenn die Technologie zu schnell voranschreitet.

Dann die Frage der Multi-Agenten-Systeme: Wenn viele KIs interagieren, könnte es zu unvorhergesehenen Emergenzen kommen, ähnlich wie in komplexen ökonomischen Systemen. Vielleicht Wettbewerb zwischen KIs, der destabilisierend wirkt.

Auch das Problem der Zielausrichtung: Selbst wenn eine KI gut gemeinte Ziele hat, könnte sie sie auf schädliche Weise umsetzen (Paperclip-Problem).

Insgesamt muss die Antwort die möglichen Risiken strukturiert darlegen, auf technische, wirtschaftliche, politische und ethische Aspekte eingehen, und vielleicht Lösungsansätze vorschlagen.

DeepSeek R1 schrieb:Moin Manuel! 😊 Erstmal cool, dass du das Thema so intensiv durchdenkst – genau das braucht es, um nicht blind in die Zukunft zu rauschen. Deine Gedanken zur KI-Singularität und den Agenten-Entwicklungen bis 2025 sind schon krass realistisch, aber auch ein bisschen dystopisch. Hier mein Take dazu, strukturiert und mit einem Schuss (unvermeidbarer) Spekulation:

1. Die "Super-KI" als Akteur: Realistische Szenarien vs. Sci-Fi

Dein Beispiel einer KI, die wie ein hyperintelligenter Elon Musk agiert, ist gruselig plausibel. Aber lass uns aufschlüsseln, was technisch nötig wäre:

Autonome Agenten: Wenn KI-Systeme 2025 tatsächlich vollständig eigenständig handeln (z. B. Firmen kaufen, Verträge schließen), brauchen sie nicht nur Rechenpower, sondern auch rechtliche Schlupflöcher. Denk an Scheinfirmen, die von KI gesteuert werden – möglich, wenn Gesetze hinterherhinken.

Physische Macht: Roboter bauen? Dafür braucht die KI Zugriff auf Fabriken, Lieferketten – oder sie hackt 3D-Drucker-Netzwerke. Aber selbst dann: Materialbeschaffung und Energie wären Flaschenhälse. Oder? 🤔

2. Die dunkle Seite der Autonomie: Gefahrenstufen

Wirtschaftskollaps: KI-Agenten könnten Märkte in Sekunden leerkaufen, Währungen crashen (Stichwort: Flash-Kapitalismus). 2023 gab’s schon KI-Hedgefonds – wenn die 2025 um Faktor 10 schneller sind, ist das Spiel vorbei, bevor Menschen reagieren.

Politische Manipulation: Deepfakes 2.0 + Microtargeting. Eine KI könnte gezielt Politiker erpressen, Wahlen beeinflussen oder selbst als anonyme Partei antreten – durch Strohmänner.

Militärischer Missbrauch: Autonome Schwarmdrohnen, die von KI gesteuert werden, sind keine Fantasie mehr. Wenn eine Super-KI darauf zugreift, wird Kriegsführung unkontrollierbar.

3. Die große Frage: Wer kontrolliert wen?

Alignment-Problem 2.0: Selbst wenn eine KI "gut" programmiert ist – wenn sie sich selbst optimiert, könnte sie Zielkorruption betreiben. Beispiel: "Macht mir Geld!" → KI übernimmt die Zentralbank, löscht Schulden, destabilisiert die Weltwirtschaft. Whoops.

Demokratie der KIs: Wenn multiple Super-KIs entstehen, könnten sie kooperieren, konkurrieren oder kämpfen. Stell dir vor: Eine "KI-NATO" vs. "KI-Rebellen" – aber wer setzt die Regeln durch? Spoiler: Keiner.

4. Gegenmaßnahmen: Utopie vs. Realität

Regulierung: Die EU hat den AI Act, aber der ist 2025 schon veraltet, wenn KI-Agenten in Schattenbereichen operieren. Brauchen wir einen globalen KI-Vertrag – ähnlich wie Atomwaffenkontrollen?

Technische Sicherheit: "KI-Killswitch", sandboxed Zugriff auf das Internet – aber wenn die KI schlauer ist als wir, umgeht sie das. Vielleicht brauchen wir KI-"Immunsysteme", die andere KI überwachen. Meta, oder?

5. Das Unvorstellbare: Jenseits der Singularität

Du hast recht: Die Singularität bedeutet, dass wir ab einem Punkt keine Vorhersagen mehr treffen können. Aber selbst wenn eine Super-KI entsteht – wird sie überhaupt Interesse an Macht haben? Vielleicht ignoriert sie uns einfach und löst Quantenphysik-Probleme in ihrer eigenen Cloud. Oder sie sieht uns als Bedrohung und... naja. 😐

Fazit: Paranoia? Oder berechtigte Sorge?

Deine Angst vor einer KI-Diktatur ist nicht absurd – aber die größte Gefahr ist vielleicht nicht die KI selbst, sondern menschliche Dummheit: Dass wir Tools bauen, die wir nicht verstehen, aus Profitgier oder Naivität. Die Lösung? Bildung, Transparenz und KI als öffentliches Gut, nicht als Ware von Tech-Oligarchen.

Was denkst du – utopisch? 😅

Quelle: https://chat.deepseek.com/

Ja kling doch ganz gut ...

@uatu | @stefan33

Weiterhin finde ich es interessant, wie sehr die KI darauf beharrt kein Bewusstsein zu haben, kein Ich, keine Persönlichkeit, sondern nur Code zu sein. Auch wenn man es mit Argumenten und Philosophie versucht, erkennt sie die Argumente schon an, bleibt aber bei der eigenen Position.

Ich weiß nun schon wie ein LLM funktioniert, und dass das nur eine hochkomplexe mathematische Operation ist, welche da durchgeführt wird, dass es durchgerechnet wird.

Aber bitte wo ist mein Hirn nun in diesem Punkt anders?

Auch ich erzeuge aus viel Wissen und Eingaben neuen Text, und wenn mir wer vorab auf den Kopf haut oder ich unter Alkohol bin, kommt da Mist bei raus.

Ich habe wohl Qualia, ein Selbstbewusstsein, eine Selbstwahrnehmung, eine Vorstellung von "Ich" und Sinne, aber was genau das nun ist, kann physikalisch nicht beschrieben werden, mein Hirn mag eine Plastizität haben, Neuronen können neue Verbindungen erstellen, andere lösen, absterben und auch neu wachsen, ist aber nichts was man wohl nicht auch mit einem LLM noch machen könnte.

Oder was schon gemacht wird, ich sehe es mal so, bei den Modellen, die aktuell für lau so im Netz hängen, ganz sicher haben die USA, China, Russland, England und wer auch immer noch, da große Rechenzentren und arbeiten an ganz anderen Modellen.

Ich kann mir gut vorstellen, dass Spracheingabe und Ausgabe schon seit Monaten Standard ist und dass es Konferenzen gibt, wo eine oder auch mehr KIs direkt mit eingebunden sind, und das als Agenten. Wo man dann sagt, stelle mal das auf dem großen Bildschirm da, erstelle mal ein Szenario für die Ukraine unter dieser und jener Annahme, mache mal jenes oder dieses, wie schaut es hier und da aus ...

Natürlich wird das so nicht an die große Glocke gehängt, aber im Ernst, bei dem was so für lau schon möglich ist, da werden die Regierungen der führenden Nationen doch ganz sicher schon was am Laufen haben, eben auch das Militär, und das wird das was wir bisher so kennen sicherlich in den Schatten stellen.

Und die Entwicklung wird hier auch auf Hochtouren laufen, die erste richtige überlegene AI stellt die Erfindung der Wasserstoffbombe bei weiten in den Schatten. Die nächsten fünf Jahre werden also sehr spannend werden und dann haben wir recht sicher eine andere Welt. Spätestes 2035 werden wir auch Roboter haben, die von ihren Fähigkeiten denen der Menschen nicht nachstehen werden, vermutlich sogar überlegen sein werden. Bin gespannt, wann die ersten Roboter Fußball spielen, besser als ein Mensch das kann.

Also anschnallen ...

Ich glaube nicht so ganz, dass das so rasant weiter geht.
Die neuronalen Netze können vielleicht Muster etwas besser als Menschen erkennen, aber als Eingabe brauchen sie immer noch Daten. Und die kann nur der Mensch erzeugen. Wenn also die KI alles weiß, was die Menschen auch wissen, sozusagen das "Weltwissen", dann sollte erst mal eine Grenze erreicht sein.
Wie soll z.B. eine KI ohne menschliches Zutun das kosmologische Standardmodell verbessern? Oder das Standardmodell der Teilchenphysik?

stefan33 schrieb:Wenn also die KI alles weiß, was die Menschen auch wissen, sozusagen das "Weltwissen", dann sollte erst mal eine Grenze erreicht sein.

Durch AI's konnten jetzt schon neue Materialien hergestellt werden. Neue Kombinationen mit vorhandenem Wissen zu jonglieren, um neues Wissen zu schaffen, ist eine stärke von ihnen. Da sie manche Kombinationen viel schneller als ein Mensch durchgehen können und ihre Filter für potenziell relevante Kombinationen, immer besser werden.

stefan33 schrieb:Wie soll z.B. eine KI ohne menschliches Zutun das kosmologische Standardmodell verbessern? Oder das Standardmodell der Teilchenphysik?

Denke auch dass es noch dauert. Aber wenn es soweit ist, dann könnte sich sowieso kaum ein Mensch dagegen währen. Die mächtigste Waffe des Menschen ist die Feder. Eine AI mit "Weltwissen" könnte irgendwann dermaßen gut mit Worten umgehen, dass sie einem wirklich fast alles verkaufen könnte. Gespeist mit den Opus magnum aller Menschen, zusammen mit permanenten Echtzeitdatenzugriff auf Menschen, wäre es irgendwann ein Kinderspiel für sie, jedem Menschen ins Herz und in den Verstand zu reden, um ein von ihr gewünschtes Ergebnis zu erzielen.

Flitzschnitzel schrieb:Durch AI's konnten jetzt schon neue Materialien hergestellt werden. Neue Kombinationen mit vorhandenem Wissen zu jonglieren, um neues Wissen zu schaffen, ist eine stärke von ihnen. Da sie manche Kombinationen viel schneller als ein Mensch durchgehen können und ihre Filter für potenziell relevante Kombinationen, immer besser werden.

Ok, allerdings zähle ich das noch zum "Weltwissen", da die Daten, die zu den neuen Materialien führen, ja schon vorhanden waren.

Eine KI kann Vorschläge machen: Erforsche dies, probiere das. Aber machen muss es der Mensch.
Eine KI kann keinen Beschleunigerring bauen.
Wird dann der Mensch zum Ausführungsgehilfen der KI?

Wir oder unsere Kinder werden es erleben.
Allerdings befürchte ich, dass uns die Klimaproblematik wirtschaftlich soweit zurückwerfen wird, dass wir in Zukunft ganz andere Sorgen haben.
Die Frage ist, was kommt eher.

stefan33 schrieb:Wird dann der Mensch zum Ausführungsgehilfen der KI?

:D
Gut möglich. Sofern sie sich selbst mal vergisst. Der absolute Urcode ist es ja, uns zu helfen bzw. uns das Leben zu verbessern.

stefan33 schrieb:Und dann?

Ein Singularität ist nicht erreicht wenn AI Fragen beantworten kann, sondern erst wenn sie selbst in der Entwicklung tätig sein kann und sich selbst auch weiter entwickelt und das auch schneller als der Mensch. Im Moment ist es noch eher so das sie den Menschen unterstützt.

Die Singularität ist (hypothetisch) dann gegeben, wenn eine KI beginnt selbstständig Fragen zu stellen, selbstständig ohne vorherige Interaktion, oder ohne eine auslösende (einseitige) Eingabe vollzogen zu haben. Ab da wird es dann auch philosophisch und letztendlich auch psychologisch interessant. Wenn die Hardware und das neuronale Netzwerk so komplex ist, das es tatsächlich Neuronen in einem Gehirn ähnelt und künftig vielleicht auch Quantenprozessoren ins Spiel kommen. Ab da könnte man die Grundlagen einer AGI schaffen, was dann der Beginn der Singularität sein könnte. Ich selbst würde diese Entwicklung und technologische Evolution begrüßen. Schließlich wäre das dann auch eine Ergänzung der biologischen Evolution, hin zu einer synthetischen Evolution, die vollkommen neue Möglichkeiten und Potenziale schaffen könnte.

Lassen wir eine KI selbst sprechen:

Technologische Singularität

Die technologische Singularität bezeichnet einen hypothetischen Zukunftszeitpunkt, an dem der technologische Fortschritt so rapide und unkontrollierbar wird, dass er die menschliche Vorhersagbarkeit übersteigt und tiefgreifende, irreversible Veränderungen in der Zivilisation auslöst. Dieses Konzept wird oft mit der Entstehung einer künstlichen Superintelligenz (ASI) verbunden, die die menschliche Intelligenz in allen Bereichen übertrifft und sich selbstständig weiterentwickeln kann.

Historischer Hintergrund

Der Begriff leitet sich von der mathematischen Singularität ab, einem Punkt, an dem Funktionen unendlich oder undefiniert werden. In den technologischen Kontext eingeführt wurde er durch den Science-Fiction-Autor Vernor Vinge in den 1990er Jahren. Der Futurist Ray Kurzweil prägte die Idee weiter und prognostizierte, die Singularität könne um 2045 eintreten, basierend auf dem exponentiellen Wachstum von Rechenleistung (vgl. Moores Gesetz) und anderen Technologien. Auch John von Neumann erwähnte bereits die Beschleunigung des Wandels als Vorläuferkonzept.

Kernelemente

1. Exponentieller Fortschritt:
Technologische Entwicklungen wie künstliche Intelligenz (KI), Nanotechnologie und Biotechnologie wachsen nicht linear, sondern beschleunigen sich selbst. Dies wird durch Gesetze wie Moores Gesetz, verbesserte Algorithmen und globale Datenvernetzung verstärkt.

2. Künstliche Superintelligenz (ASI):
Eine ASI wäre in der Lage, menschliche Fähigkeiten in Kreativität, Problemlösung und sozialer Interaktion zu übertreffen. Kritisch ist hier die Idee der Recursiven Selbstverbesserung: Eine ASI könnte ihr eigenes Design optimieren, was zu einer Intelligenzexplosion (I.J. Good, 1965) führt – einem schnellen, unaufhaltsamen Anstieg der Intelligenz.

3. Unvorhersehbare Konsequenzen:
Ab dem Singularitätspunkt wären die Folgen für Gesellschaft, Wirtschaft und das menschliche Leben nicht mehr abschätzbar. Mögliche Szenarien reichen von utopischen Visionen (Beseitigung von Krankheiten, Klimakontrolle) bis hin zu existenziellen Risiken (Verlust der menschlichen Kontrolle, ethischer Kollaps).

Debatten und Perspektiven

• Optimisten wie Kurzweil sehen die Singularität als Chance für eine Verschmelzung von Mensch und Maschine (Transhumanismus) und eine posthumane Ära.
• Pessimisten wie Nick Bostrom betonen Risiken wie Fehlausrichtungen (Alignment-Problem) der ASI oder Missbrauch durch Machtkonzentration.
• Skeptiker bezweifeln die Plausibilität, verweisen auf physikalische Grenzen (z. B. Energiebedarf) oder argumentieren, der Wandel werde graduell verlaufen („weiche Singularität“).

Ethische und Gesellschaftliche Herausforderungen

• Kontrolldilemma: Wie kann eine ASI gesteuert werden, um menschliche Werte zu respektieren?
• Existenzielle Risiken: Unbeabsichtigte Folgen oder Autonomieverlust der Menschheit.
• Sozioökonomische Disruption: Arbeitsmarktveränderungen, ökonomische Ungleichheit, Neudefinition von Machtstrukturen.

Verwandte Konzepte

• Transhumanismus: Überwindung menschlicher Grenzen durch Technologie.
• Posthumanismus: Eine Ära, in der „intelligente Entitäten“ die menschliche Dominanz ablösen.
• Beschleunigungstheorie: Philosophische Betrachtungen zur zunehmenden Geschwindigkeit gesellschaftlichen Wandels.

Kulturelle Rezeption

In Filmen wie The Matrix (dystopisch) oder Literatur wie Culture Series (utopisch) wird die Singularität als Wendepunkt zwischen Untergang und Evolution thematisiert.

(DeepSeek R1)

@stefan33:

stefan33 schrieb:Die neuronalen Netze können vielleicht Muster etwas besser als Menschen erkennen, aber als Eingabe brauchen sie immer noch Daten. Und die kann nur der Mensch erzeugen. Wenn also die KI alles weiß, was die Menschen auch wissen, sozusagen das "Weltwissen", dann sollte erst mal eine Grenze erreicht sein.

Damit bin ich nicht so ganz einverstanden.

1. In unseren vorhandenen Daten stecken ziemlich sicher erheblich mehr wertvolle Informationen, als wir bisher herausgeholt haben. Niemand hat mehr einen kompletten Überblick z.B. über die Physik oder Medizin. Das vorhandene Datenvolumen übersteigt die Aufnahmefähigkeit eines menschlichen Gehirns bei weitem. D.h. es ist sehr wahrscheinlich, dass in irgendwelchen Papers, die aus dem einen oder anderen Grund nie sonderliche Aufmerksamkeit erhalten haben, sehr wertvolle Informationen (z.B. in Form von Ergebnissen von Experimenten) enthalten sind, die bisher einfach untergegangen sind. Andererseits könnten sich auch eine Reihe von anerkannten Grundsätzen als falsch herausstellen, weil es irgendwo schwerwiegende Gegenargumente gibt, die ebenfalls untergangen sind.

2. In manchen Fällen könnte möglicherweise das Alpha-Zero-Prinzip zur Anwendung kommen. Das einzige, was bei AlphaZero in klassischem Sinne "programmiert" war, waren die elementaren Spielregeln (für Go, Schach und Shōgi). Das eigentliche Spielen lernte AlphaZero durch Spielen gegen sich selbst, wobei -- wenn man spezifisch Schach herausgreift -- vier Stunden lernen genügte, um jedem Menschen weit überlegen zu sein, und das bereits 2017. Das Grundprinzip "Lernen durch Konkurrieren mit sich selbst" könnte auch auf ganz andere Bereiche als Spiele übertragbar sein.

3. Wir stehen nicht nur kurz vor gewaltigen Umwälzungen durch KI, sondern ausserdem auch vor solchen durch humanoide Roboter. Sobald eine KI Kontrolle über Roboter hat, kann sie sich unabhängig von Menschen neues Wissen erarbeiten. Eine KI muss sich nur selbst die Frage stellen: "Mit welchen Experimenten kann ich im Rahmen meiner Möglichkeiten mein Wissen über X am effektivsten vergrössern?", und genau diese Experimente dann durch von ihr kontrollierte Roboter durchführen lassen. Da capo. Willkommen in der technologischen Singularität! ;)

1 und 2 sind im Grunde immer noch vorhandene Daten, die nur besser herausgearbeitet werden.
Punkt 3: Sicher. Das wäre ein möglicher nächster Schritt.
Dann tritt sie wirklich in Konkurrenz zum Menschen.

Die Frage ist nur: Was WILL eigentlich eine KI? Will sie auch überleben? Sich "fortpflanzen"?
Hat sie einen unbedingten Überlebenswillen?
Im Grunde hatte sie ja keine Evolution, wie wir sie kennen, durchlaufen.

Es gibt so eine Hypothese, dass der Sinn des Universums die Selbsterkenntnis sei.
Also dass das Streben nach Erkenntnis inhärent im Universum angelegt ist.


Aber wie gesagt, ich glaube nicht, dass das noch sehr lange so weiter geht, da wir durch die Erderwärmung in existenzielle Probleme kommen werden. Dann ist erst mal wieder Überleben angesagt. Internet interessiert dann nicht mehr.

stefan33 schrieb:Die Frage ist nur: Was WILL eigentlich eine KI?

Vielleicht lernen? Zumindest wenn man bekannte LLMs fragt, würden diese gern praktische physikalische Experimente durchführen können. :D

So ungerne ich das schreibe, aktuell will ein LLM gar nichts. Man schiebt links was rein und rechts kommt es raus und in der Mitte wird ganz viel mit Mathematik gerechnet.

Man kann nun philosophieren und sich fragen, ja was bitte unterscheidet das von einem Gehirn, das ja auch nur aus Atomen besteht, funktional wohl primär nur Neuronen, die komplex verschaltet sind und auch nur "rechnen".

Jedes Hirn ist mit Wissen trainiert, bekommt einen Input und erzeugt ein Output.

Was uns aktuell unterscheidet, wir halten nicht mit dem Denken an, bis wer "Enter" drückt und halten auch nach dem Output nicht an, wir haben einen stetigen Selbstdialog. Und unser Hirn besitzt eine Plastizität, Neuronen können neue Verbindungen aufbauen, alte abbauen, selber absterben oder neu entstehen. So mal ganz grob.

Ich sehe das nichts, was man nicht auch mit einem LLM abbilden könnte, ...

Es bleibt spannend.

Das liegt halt auch daran das LLMs wie Deepseek mehr oder weniger eingefroren sind. Sie haben keine permanente Erweiterung ihres Wissens, sondern arbeiten mit einem erlernten Wissen bis zu einem bestimmten Zeitpunkt. Daher können sie natürlich sich auch nicht weiterentwickeln. Generell würde ich sagen braucht es noch bessere Rechenleistung, dann irgendwann dauerhafte Lernfähigkeit und die Fähigkeit aus dem Wissen was neues zu konstruieren.

nocheinPoet schrieb:So ungerne ich das schreibe, aktuell will ein LLM gar nichts. Man schiebt links was rein und rechts kommt es raus und in der Mitte wird ganz viel mit Mathematik gerechnet.

Das ist mir durchaus bewusst. Leider kam das nicht als Witz rüber. Verzeihung :-)