@Flitzschnitzel Ja, läuft auf einer alten Kiste recht gut ohne Grafikkarte zu nutzen, ein i5 aber mit 32 GB Ram. Je nach Model so 0,3 bis 1 Token pro Sekunde. Willst Du mehr, sehe zu dass Du Dir eine 4070 besorgst, mindestens und 12 GB VRAM sind auch gut.
Kann die Tage im anderen Thread mal was zu schreiben.
Und da gibt es keine Zensur bei den Modellen, die können ganz wirklich üble Dinge erzählen, haben wir ja getestet, kann ich hier nicht so offen schreiben, denke ich mal es wäre besser, dass nicht zu machen.
Fakt ist die Modelle die frei sind, die wurden ja mit allem an Kontext aus dem Netz trainiert, da gibt es auch jeden Dreck, natürlich können die Dir dann auch eine Liste an "Verhörmethoden" geben, wenn Du danach fragst, und noch ganz andere Dinge.
Gerade dazu gibt es ja in der Community reichlich Diskussionen, GPT-4 ist hier nur mit Filter versehen, die davor sitzen, das Modell selber ist so böse wie gut, die Fragen kommen hier nur einfach nicht durch, in der Regel.
Ein freies Modell, auf dem eigenen Rechner, dass beantwortet jede Frage, da gibt es keine Zensur.
Habe die Ehre ...