Technologie
Menschen Wissenschaft Politik Mystery Kriminalfälle Spiritualität Verschwörungen Technologie Ufologie Natur Umfragen Unterhaltung
weitere Rubriken
PhilosophieTräumeOrteEsoterikLiteraturAstronomieHelpdeskGruppenGamingFilmeMusikClashVerbesserungenAllmysteryEnglish
Diskussions-Übersichten
BesuchtTeilgenommenAlleNeueGeschlossenLesenswertSchlüsselwörter
Schiebe oft benutzte Tabs in die Navigationsleiste (zurücksetzen).

Deepseek R1 671b lokal auf ca. 2000 € Hardware

25 Beiträge ▪ Schlüsselwörter: Hardware, Server, Lokal ▪ Abonnieren: Feed E-Mail

Deepseek R1 671b lokal auf ca. 2000 € Hardware

17.02.2025 um 09:24
Zitat von maltitolmaltitol schrieb am 11.02.2025:Mal so eine Frage aus Interesse. Warum will / sollte man sowas selbst aufbauen? Warum nicht einfach den online benutzen? Oder ist das nicht so ähnlich wie chat gpt?
Um es mal ganz plakativ an einem Beispiel zu erklären:
Wir können ziemlich sicher davon ausgehen, dass über 99 % des einsehbaren Internets bereits von den Datensammlern der KIs abgefischt wurden. Die für die Tech-Unternehmen wirklich wertvollen Daten, sind allerdings die Daten der Unternehmen, die KIs anwenden wollen. Also quasi die Kundendaten von Onlineshops, Energieversorgern, Dienstleistungsunternehmen...
Wenn diese Unternehmen eine KI einsetzen wollen, müssen sie dieserl ihre Kundendaten anvertrauen. Wenn die Unternehmen aber anfangen ihre Daten auf irgendwelchen Servern zu speichern, auf die sie keine Zugriffe mehr haben, kann es sehr schnell sehr heikel werden. Unternehmen die KI einsetzen wollen, müssen also sehr stark aufpassen, wie mit ihren Kundendaten umgegangen wird und wer diese bekommt. Und da ist nunmal ein sicherer Pfad die KI im eigenen Haus laufen zu lassen. Und um damit zu beginnen ist es notwendig, den "it-Bastlern" Budgets zu geben, mit denen sie schonmal probieren und "spielen" können, ohne das Riesen Summen in den Sand gesetzt werden.


melden

Deepseek R1 671b lokal auf ca. 2000 € Hardware

17.02.2025 um 11:45
Für Firmen ist es unbestreitbar, solche Tools intern laufen zu lassen. Niemals würde ich erlauben, das Mitarbeiter auf OpenAI oder gar DeepSeek herumgurken. Genauso gut könnte man irgendwelche Interna auf Facebook posten.

Mit OpenAI kann man zwar Deals aushandeln, aber naja ...

Aber Firmen haben auch andere Möglichkeiten. Das genannte Setup wäre dennoch keine Alternative, in keinem Szenario.
Und als Privatmensch - naja, wenn man Geld locker hat. Aber das muss schon sehr locker sitzen. Ansonsten würde ich es einfach unterlassen, meine Bankdaten etc. mit DeepSeek zu teilen.

Aber ich muss zugeben, das ich kein Angebot gefunden hab, welches das Modell DeepSeek R1 auf EU-Servern hostet und zu fairen Preisen abrechnet (15 Cent / 1M Token oder so). Kennt da jemand was? Wäre hier als Alternative echt spannend.


melden

Deepseek R1 671b lokal auf ca. 2000 € Hardware

17.02.2025 um 13:52
Habe da mal was:
Youtube: This New AI Chip Just Crushed NVIDIA — The World’s Fastest Host For DeepSeek!
This New AI Chip Just Crushed NVIDIA — The World’s Fastest Host For DeepSeek!
Externer Inhalt
Durch das Abspielen werden Daten an Youtube übermittelt und ggf. Cookies gesetzt.

Youtube: 4,000,000,000,000 Transistors, One Giant Chip (Cerebras WSE-3)
4,000,000,000,000 Transistors, One Giant Chip (Cerebras WSE-3)
Externer Inhalt
Durch das Abspielen werden Daten an Youtube übermittelt und ggf. Cookies gesetzt.

Youtube: How massive Cerebras chips rival Nvidia GPUs for AI
How massive Cerebras chips rival Nvidia GPUs for AI
Externer Inhalt
Durch das Abspielen werden Daten an Youtube übermittelt und ggf. Cookies gesetzt.

Wikipedia: Cerebras

Also 1.600 T/s sind gigantisch. Ich hatte davon schon gehört, klar kann man so einen Chip nicht eben auf eine Karte löten und in einen PCI Platz stecken. Aber wenn wir das mal runterskalieren um den Faktor 100, dann wären das 16 T/s und das wäre mit etwas basteln und so, schon auf eine Karte zu bekommen, nehmen wir mal was wie die 5090 mit über 550 Watt, von der Technik her könnte ich mir hier Karten vorstellen so mit 5 T/s bis 20 T/s in den nächsten Jahren, die man sich wie eine GPU in den PC stecken kann.

Die werden dann auch 350 Watt und mehr ziehen, aber es wird kommen, der Markt ist einfach da, wenn wer so eine Karte hätte, er könnte zwei Jahre lang nicht genug bauen, so würden die gekauft werden.

Ich sehe es so wie vor etwas über 35 Jahren, so als ich mit ITT2020 und VC20 und dann Amiga 500 und Amiga 1200 gearbeitet habe. Ich habe echt auf den ITT2020 und auf dem VC 20 einen 3D-Würfel programmiert. Dann im Rahmen einer Wette bei einem Freund, auf dem Amiga 500 (die haben nur gedaddelt, ich sagte, damit kann man mehr machen) über Nacht in so vier Stunden einen 3D Würfel programmiert, sogar in rot und grün, für die 3D Brille. Später dann den Hypercube. Und dann für die Brille eine Kugel, sie kam zur Hälfte aus dem Monitor, erst wurden nur Punkte berechnet, und dann aber diese verbunden, alle die das gesehen haben waren baff und haben versucht die Kugel vor dem Monitor zu greifen.

Es gab keine 3D Programme, also nur Nerds (die hießen früher anders) die selber was programmiert hat und ja, Bücher, man konnte echt Bücher kaufen wo solche Dinge drin standen, und die konnte man ein paar Jahre nutzen, weil nicht alles gleich wieder veraltet war.

Da stehen wir was KI angeht, würde ich sagen, die ersten Agenten kommen, so wie die ersten 3D-Grafiken damals, Freaks fingen an mit Matrizenmultiplikation - ich auch - um Bewegung in die Dinge zu bekommen, man experimentierte mit Texturen. Und dann kam Doom und Commodore hat sich selber versenkt. Der 68020 war so eine gute CPU, ein Betriebssystem mit 520 Kilobyte, wenn man da etwas aufgeräumt hat und alternative Libraries genommen hat, alles in die Reset feste RAM-Disk (RAD) und das System ist in unter 10 s gebootet. Maus, Fenster, Screens, sogar höhere Auflösungen, was hätte man daraus machen können, aber wie so oft, es kam anders, Windows 95 hat den letzten Nagel in den Sarg geschlagen. Und was haben wir uns geärgert, da hat mal 25 MHz gehabt, dann 50, 60, 100, 120 und die Kisten waren echt grottenschlecht.

Nun gut, ich muss hier mal mit dem Kaffee arbeiten.


melden

Deepseek R1 671b lokal auf ca. 2000 € Hardware

17.02.2025 um 19:06
Youtube: Was ihr noch nicht über DeepSeek wusstet
Was ihr noch nicht über DeepSeek wusstet
Externer Inhalt
Durch das Abspielen werden Daten an Youtube übermittelt und ggf. Cookies gesetzt.


Auch recht informativ und zum Thema "Wie man Deepseek ohne 23 5090 laufen lassen kann." Ist aber immer noch eine ganz schöne Heizung. Ich schätze, ein zwei Jahre warten, dann passt das ganze aufs Smartphone. Darauf warten oder auf die Version 2 von q.ants photonischer CPU


melden

Deepseek R1 671b lokal auf ca. 2000 € Hardware

19.02.2025 um 14:57
550 watt für ein Setup das deep seek erträglich lokal laufen lässt? Ich baue mir eben einen Windpark in den Garten.


melden

Ähnliche Diskussionen
Themen
Beiträge
Letzte Antwort
Technologie: Viele kleine Server statt einem grossen
Technologie, 14 Beiträge, am 12.05.2017 von O.G.
blackmirror am 27.03.2017
14
am 12.05.2017 »
von O.G.
Technologie: Wie e-card Daten einsehen?
Technologie, 6 Beiträge, am 14.03.2016 von Casa_blanca
Mirasyrd am 11.03.2016
6
am 14.03.2016 »
Technologie: Raspberry PI - Bauprojekt
Technologie, 211 Beiträge, am 05.11.2015 von Schrotty
Gegenpapst am 15.01.2013, Seite: 1 2 3 4 5 6 7 8 9 10 11
211
am 05.11.2015 »