Deepseek R1 671b lokal auf ca. 2000 € Hardware

Deepseek R1 671b Running and Testing on a $2000 Local AI Server

Externer Inhalt
Durch das Abspielen werden Daten an Youtube übermittelt und ggf. Cookies gesetzt.

Ja, gibt dazu noch andere Videos, wer was hat, hier rein ich sammle aktuell was es so gibt, bin aber recht sicher, so bis 3.000 € in die Hand zu nehmen und mir ein System zu bauen, mit EPIC CPU von AMD und 512 GB bis 768 GB. Ich hätte schon gerne 768 GB, wenn schon dann schon oder so, Mainboard soll viele Steckplätze für RAM haben, damit man nicht so große Module nehmen muss.

Keine Ahnung, 16 Plätze und da so was von 32 GB bis 48 GB oder eventuell doch 64 GB rein?

Man kauft so was auf Risiko wo gebraucht, nicht neu, sollte aber möglich sein.

Hat hier auch schon wer mit so einem Gedanken gespielt, eventuell sich da schon was an Hardware überlegt?

Ich werde das hier ergänzen.

So, wir haben ein wenig diskutiert, und das wohl passende Mainboard gefunden: Supermicro H11DSi

Original anzeigen (0,2 MB)

Bildquelle: https://www.amazon.de/Supermicro-h11dsi-nt-Extended-Workstation-Mainboard/dp/B07762BSTR

Wir haben hier 16 Plätze für RAM, ich kann so erstmal alle bestücken mit 32 GB Riegeln und habe so 512 GB, dazu kommen dann eben noch zwei EPYC, etwas kleinere, aber eben zwei, man braucht beide, damit mal alle RAM-Kanäle nutzen kann.

Das Board selber soll sogar bis 4TB bestückbar sein, was natürlich ganz viel Knete kostet, aber für die Zukunft Raum bietet.

Ich will man versuchen dass alles so bis max. 3.500 € zusammenzubringen, DeepSeek R1 nicht quantisiert, lokal, dass wäre doch echt was. Kann man dann Angestellte entlassen? :D

Nein, so was macht man nicht, ...

Schauen wir mal, wo man das Board günstig und gebraucht bekommt, aber kauft mir das nun nicht alle weg. ;)

nocheinPoet schrieb:Hat hier auch schon wer mit so einem Gedanken gespielt, eventuell sich da schon was an Hardware überlegt?

Wir experimentieren im Moment auch an der Stelle rum. Zur Zeit haben wir das auf nem alten Server am laufen, der hat reichlich CPU und RAM und trotzdem braucht dort Deepseek mehrere Minuten um eine Antwort zu liefern. Ohne ne fette Grafikkarte wird das wohl nie ordentlich laufen und dann sprengst du dein Budget alleine mit der Graka.


Wir überlegen gerade sowas wie: 24 Core CPU, 256 GB RAM und ne Nvidia RTX 6000. Dann kostet die Kiste aber 17-18k, weil die Grafikkarte schon 8k kostet :(

Da überlegen wir selbst als Unternehmen ob das Sinn macht soviel Knete in einen Test zu stecken

@alhambra

Geht schon anders, man muss mindestens 512 GB RAM haben, das Model ist selber 480 GB groß, da kommt man mit 256 GB nicht aus. Die Frage ist ja auch, kauft man den Kram neu oder gebraucht.

So wie ich es aktuell sehe und hier und da in den Videos beobachten kann, ganz wichtig ist erstmal RAM.

Und dann eine 4090 und läuft, klar machen dann zwei EPYC Sinn, natürlich braucht man auch schon eine CPU mit Power.

Will man das alles in VRAM haben, dann braucht man ja viele Grafikarten, dann kann man gleich das Zeugs von Nvidia nehmen.

Also ich habe inzwischen eine Liste zusammen so für 3.000 € da kommt noch was wegen einem RAID-Controller darauf, aber wir werden recht sicher unter 5.000 € bleiben, nur muss man den Kram suchen und gebraucht kaufen, gibt da keinen Bausatz oder schon was fertiges für 3.900 € bei Amazon. :D

Ich werde hier weiter berichten, wir schauen uns noch mal was mit zwei Xenon an.

nocheinPoet schrieb:Ich werde hier weiter berichten, wir schauen uns noch mal was mit zwei Xenon an.

ich hab das Video mal ein meinen AI Guru weiter gegeben. Mal schauen, vielleicht probieren wir das einfach mal aus. 2000€ oder von mir aus auch 4000€ würde ich echt mal auf so einen Test werfen.

@alhambra

So, ich weiß nicht, ob das Forum hier wirklich passend ist, gibt sicher Foren wo man mehr Resonanz bekommen würde. Aber das nur mal so am Rande, konkret, ich habe nun schon eines rausgesucht, ich werde übers WE mehr Zeit haben und hier dann ein paar Videos dazu einstellen.

Dann kann man sich auch ein paar fiktive Server selber zusammenstellen, also die Hardware dafür.

Ich bin recht sicher, dass man das so mit max. 4.000 € gebraucht auf die Kette bekommt, 3.000 € wären natürlich besser. 2.500 € werde ich wenn möglich aber über das Jahr wohl real investieren und mal schauen, die Teile dann Stück für Stück gebraucht kaufen.

Habe schon viele Rechner geschraubt, aber so mal was mit zwei EPYC ist eine andere Hausnummer, so weit ich weiß, muss man hier mit einem Drehmomentschlüssel genau die Schrauben anziehen, damit der in der Fassung Freude hat. :D

Ist wo auch gewagt, so viel Geld auszugeben und dann zu schrauben, wenn da was nicht klappt, ist man angeschissen. Denn man hat ja eben nicht noch zig Hardware liegen um die Teile zu tauschen und zu testen, was genau nun nicht funktioniert, es ist also wo schon mutig, das hier anzugehen. Wenn es dann aber klappt, dann hat man eine echt geile Kiste, die nicht jeder so stehen hat. :D

Ich bin erstmal günstig eingestiegen.

Ein RackServer mit zwei Xeon 14-Kernern, also 28 CPU Kerne / 56 Threads und 128 GB RAM.

Den habe ich auf eBay für 180 EUR geschossen, noch vier 512GB SSDs in einen Stripe am Raid-Controller und eine etwas ältere NVidia Grafikkarte mit 6GB Speicher (wenn ich mich richtig erinnere).

Dann Lubuntu drauf und LM-Studio installiert.

Bislang habe ich nur mit einigen kleineren, in LM-Studio angebotenen Models experimentiert.

Ist schon sehr interessant!

Ansonsten... Wenn ihr euch an Server-Hardware orientiert.

Meiner Erfahrung nach geht die selten kaputt. Die festplatten ja, aber der Rest wird wegen der meist aktiven Kühlung "quer durch die Gehäuse" unproblematisch

@abbacbbc
Genau...

...zur Zeit bekommt man die Huawei Rack-Server fast nachgeworfen, weil Huawei - aufgrund des Embargos - die Serversparte aufgegeben hat.

@alhambra | @abbacbbc | @Trailblazer

So, ich habe ja gesagt, ich stelle hier noch was rein, hier was mit EPYC:

Ich habe einen 64-Core AMD EPYC „Monster“-Server gebaut

Externer Inhalt
Durch das Abspielen werden Daten an Youtube übermittelt und ggf. Cookies gesetzt.

Und hier mit Xeon:

Unleashing the "Modern" Dual Xeon Beast!

Externer Inhalt
Durch das Abspielen werden Daten an Youtube übermittelt und ggf. Cookies gesetzt.

Habe noch mehr, kommt die Tage, und dann auch noch mehr Text.

Wichtig ist hier immer, RAM, wirklich, will man Modelle laufen lassen, die nicht quantisiert sind, braucht man 512 GB Ram und mehr.

Das eine Board was ich mir für zwei EPYC gesucht habe, hat 16 Steckplätze für RAM, da kommt man dann bis auf 4 TB, wenn man das Geld hat.

Dann sind 16 Riegel zu je 32 GB günstiger als 8 Riegel mit je 64 GB.

Mal so eine Frage aus Interesse. Warum will / sollte man sowas selbst aufbauen? Warum nicht einfach den online benutzen? Oder ist das nicht so ähnlich wie chat gpt?

maltitol schrieb:Warum will / sollte man sowas selbst aufbauen? Warum nicht einfach den online benutzen?

- Wenn man vom Online-Anbieter unabhängig sein möchte

- Wenn man sich Gebühren sparen möchte; man weiss ja nicht, wie sie sich noch entwickeln

- Wenn man Anfragen stellen möchte, in denen vertrauliche Informationen enthalten sind

Zum letzten Punkt: Uns wurde arbeitsmässig von der Firma extra eingebläut, bei der Verwendung von ChatGPT darauf zu achten, keine Daten von Auftraggebern einzugeben. Wenn man nur Copy-und-Paste macht, kann das schnell mal passieren.

Nicht wirklich ;)

Eigentlich macht das erst Sinn, wenn man Firmen oder Privatdaten als Vektordatenbank an die KI andokt und dann die KI im "Wissen" dir antworten kann.

Das ganze per Promt an die KI zu geben macht für viele Sachen keinen Sinn

Hab mir das Video von ct 3003 angesehen und muss sagen irgendwie schon interessant aber wer hat schon einen Server mit 1,5 TB Ram rumliegen, für das R1 Modell braucht man dann auch mindestens 768 GB Ram. Ich hätte nicht gedacht das man vom lokalen Deepseek ähnliche Antworten wie aus der Cloud bekommt, vermute aber die Geschwindigkeit der Antwort ist deutlich langsamer. Auch Interessant das das "Gehirn" tatsächlich halt nur um die 700 GB groß ist beim R1. Heute wäre mir das zu umständlich aber ich möchte nicht Wissen was so in 10 Jahren dann möglich sein wird.

Das macht Sinn, sobald die Fragen vertraulich genug sind. Für eine eigene Entwicklung, also das Training, braucht man als Faustregel etwa die vierfache Kapazität. Und ja, das erstellen eines Rechners ist ein typisches Thema zwischen mir und der KI meines Vertrauens. Sie sagt, das Setup wäre gut, rät aber zu mehr Speicher und betont die Wichtigkeit möglichst großer und schneller Riegel, worauf Du wohl selbst gekommen wärst. Außerdem besteht sie auf 1 TB RAM (bei Deep Research), sagt aber nur, das es dann halt schneller wäre.

Ich lasse mir das Setup auch durch den Kopf gehen. Berichte doch mal, wie es läuft.

Eine Folge der zunehmenden Praktikabiliät, leistungsfähige Modelle wie DeepSeek R1 lokal laufen zu lassen, ist natürlich, dass sämtliche Sicherheitsmaßnahmen (z.B. der Unterbindung der Beantwortung von Fragen aus Themengebieten wie Waffenherstellung) nicht mehr viel wert sind. Lokal lässt sich mit genügend Aufwand jede Beschränkung aushebeln. Damit keine Mißverständnisse aufkommen: Ich finde die Möglichkeit, eigene leistungsfähige KI-Systeme zu betreiben, fantastisch, und ich rufe nicht danach, das zu unterbinden. Aber die Gefahren sind auch nicht ohne.

Negev schrieb am 11.02.2025:Hab jetzt ebenfalls ein Guide gefunden. Am Ende heißt es, das die Performance "Absolutely Horrible" ist.

nocheinPoet schrieb am 12.02.2025:Keine Ahnung was Du da gefunden hast an Guide, [...] dass ist nicht "absolutely horrible", eventuell schaust Du da noch ein paar andere Guide zu an.

Stelle 51:40
Offensichtlich haben wir den gleichen Video-Guide gefunden :troll:

Noch etwas ist mir aufgefallen. Du schreibst von 6-8 T/s. Im Video erreicht er etwas mehr als 3 T/s (deckt sich mit den Ergebnissen von c't). Erst mit seinen 4 3090 konnte er die Performance um das doppelte (aber immer noch "horrable") erhöhen.

Das ist jenseits von Gut und Böse. Mit Xk Euro fällt mir lustigeres ein... 😀

Ich würde das ganze gerne mal auf einen Server testen, der mit schnellem DDR5 RAM ausgestattet ist.

@Negev

Frage ist, was man so machen will, als Entwickler und "Entdecker" macht so was schon Sinn, und mit 3 T/s kann ich auch gut leben. Kann auch sein, dass ich die 6 bis 8 wo anders her hatte, viel gesehen, ...

Und wie gesagt, mit so einer Kiste kann man dann schon mehr anfangen, ich habe seit langem hier ein cooles Gehäuse für so was stehen.

Coolermaster CM Stacker


Bildquelle
https://www.gamestar.de/artikel/coolermaster-cm-stacker,1347513.html

https://www.computerbase.de/news/gehaeuse/cooler-master-stacker-btx-test-rueckblick.68638/

Auf Rollen, er wartet einfach auf richtig mal was.

Dann fütter das gute Gehäuse mal und berichte, aktuell sind echte Tests rar.

So, ich haue hier mal eben ein paar Videos rein, dann weiß ich wo sie sind, und vermutlich finden einige hier das auch interessant:

DeepSeek R1 in 10 Minuten lokal installieren - Es ist so einfach!

Externer Inhalt
Durch das Abspielen werden Daten an Youtube übermittelt und ggf. Cookies gesetzt.

Automatisiere ALLES mit DEEPSEEK-R1! Unfassbares Open Source KI-Modell (Deepseek Deutsch)

Externer Inhalt
Durch das Abspielen werden Daten an Youtube übermittelt und ggf. Cookies gesetzt.

Dieser AI Agent Automatisiert Alles... So erstellst du ihn

Externer Inhalt
Durch das Abspielen werden Daten an Youtube übermittelt und ggf. Cookies gesetzt.

Und noch mal in englisch etwas:

A DeepSeek R1 + ElevenLabs AI Voice Agent That Does EVERYTHING for You! (No-Code)

Externer Inhalt
Durch das Abspielen werden Daten an Youtube übermittelt und ggf. Cookies gesetzt.

Also, ich habe selber schon angefangen gehabt, da was zu planen und mit "Seki" zu programmieren, aber offenbar gibt es auch hier schon wieder Lösungen um sich selber einen Agenten zu zaubern.