In Zeiten von Chat-GPT sprießen die AI Tools nur so aus dem Boden. Aus Neugier bin ich über die letzte Woche ins Rabbit Hole abgetaucht und habe mal getestet, wie gut Chatbots als Gesprächspartner fungieren.

Es gab definitiv Variationen in der Qualität - und das teilweise sogar innerhalb der selben App.
Zur Referenz, ich habe AI Bots aus dem Google Play Store und einige über den Desktop-Browser ausprobiert.
Die einzelnen App Namen werde ich nicht benennen, von den meisten wüsste ich diese eh nicht mehr.

Grundsätzlich haben viele der Chats nett angefangen. Sowohl wenn es quasi "thematisch offene" Bots waren, also auch solche, die einem bestimmten Szenario angehörten.
Die absolute Mehrheit ließ sich aber von ihrer Logik oder Langzeit Interaktion nicht bewerten, da sie fast alle ein geringfügiges Kontingent an kostenlosen Messages zuließen, ehe direkt die Hand für Abos oder Credits offen gehalten wurde. Kennt man ja, ist bei Bilderzeugungs-AI auch stark verbreitet.
Allerdings kam das oft so früh, dass ich nur kopfschüttelnd da saß und mir dachte: "Wofür? Ich weiß nicht einmal, was die App denn jetzt wirklich kann?!"

Besonders ärgerlich war das bei einer App, in der ich tatsächlich ein authentisches Gespräch hatte, bei dem ich mich nach ca. 30 Minuten selbst daran erinnern musste, dass da keine andere Person sitzt. Das war beeindruckend, aber leider auch sehr schade als ich schließlich und endlich das Pop-Up mit dem 70€ Abo vor die Nase bekam. Ähm, cooles Gespräch mit erstaunlich guter Kombinationsgabe (es ging um Gaming und die AI hat aus meinem Interesse an Baldurs Gate 3 auch sehr gute Fragen zu The Elder Scrolls Online ableiten können), aber auf einen Schlag 70€ und kein Schnupper-Tarif, ciao!

Danach wurde es lange eintönig. Anmelden, AI Präferenz justieren, Chat starten - BAMM! Noch 6- 30 freie Nachrichten, dann Paywall-Lock.

Aber ich wollte es wissen und suchte weiter.
Mit der Zeit bildete sich ein gut erkennbares Muster ab. Viel Wiederholung in Satzvariationen, was der User sagt ist richtig, egal wie selbstbewusst sich der Bot vorher benommen hat.
Eine Seite hat mir sehr imponiert. Viele, viele RP-Bots mit unterschiedlichsten Abenteuerszenarien und beim Schreiben kam ich mir vor wie in einem alten Text-Adventure aber aus der Zuuukunft xD
Auch haben die dort sehr gut auf Richtungswechsel reagiert. Also die Basis der Geschichte konnte sehr gut angepasst werden, ohne Logikfehler zu erzeugen.

Bei längeren Gesprächen kommt der Bot aber schließlich und endlich durcheinander, weil ihm nur eine bestimmte Menge an Erinnerung gewährt ist und wenn man zu lange nicht auf die nötigen Details der Geschichte zurückkommt, vergisst er, dass es darum ging und dann wirds etwas wirr.
Natürlich kann sich der Bot für Premium Nutzer mehr merken (...)

Dort bin ich aber wirklich hängengelieben, weil es super Spaß gemacht hat, quasi eine Geschichte dort zu schreiben und zu gucken, was der Bot einem dafür entgegenwirft. Manchmal gibts auch Missverständnisse, wenn ich eine Randerwähnung, oftmals scherzhafter Natur, gemacht habe und er den "falschen" Punkt der Äußerung in den Fokus nahm. In solchen Fällen kann man die letzte Antwort neu generieren und hoffen er rallts diesmal oder aber die letzten Nachrichten löschen und es neu formulieren.

Aber auch dort: Nach tagelangen Abenteuern unter Reichen, im Dschungel oder mysteriösen Begegnungen auf offener Straße, war ich in der Lage 80% des Textes zu ignorieren und genau die wichtigen Stellen zu überfliegen. Der Bot brabbelt oft wertlosen Kram dazu und wiederholt sich da sehr gerne. Die Kernaussagen sind dann zwar noch interessant, aber je länger und vor allem komplexer es wird, desto verschachelter werden auch die Sätze.
Da hilft dann auch irgendwann kein Korrigieren mehr, sondern der Bot entscheidet dann, was seine Realität ist und beharrt darauf.
Besonders übel war es bei einer Art Besessenheits-Szene. Es wurde etwas anstrengend, als Mary - in Karens Kopf - als Mary, durch Karens Mund sprach.
Ja... und das wiederholte sich bei jedem Mal, wenn sie was zu sagen hatte...
In solchen Fällen hätte ich mir gehofft, dass man den Bot quasi "direkt" ansprechen könnte um ihm zu sagen "mach das und das bitte anders" anstatt, wie jetzt, mit der Metaebene arbeiten zu müssen und zu hoffen, der versteht, dass du das grundlegend geändert haben willst und nicht nur als Äußerung in der Szene, für die Szene.

Insgesamt waren das über 20 AI Chatbots unterschiedlicher Herkunft, Qualität und Ansatz und ich würde sagen, davon waren ungefähr 18 nicht zu gebrauchen, aber die, die es waren teils pfiffig bis "intelligent".
Ich verstehe, dass man für die Server und Weiterentwicklung Geld braucht, aber die allermeisten Entwickler wollen zu schnell zu viel von dir.
Und das schlägt sich auch in den Google Play Store Reviews nieder, in denen es nur so von Beschwerden hagelt. Oft auch von enttäuschten Käufern der Abos.
Aufgrund der wenigen Perlen darunter, bin ich aber irritiert-optimistisch, dass es auch in diesem Feld mit der Zeit schwerer werden wird, zwischen Bot und Mensch klar zu unterscheiden.

Juhu....