Videos: Deepseek R1 671b lokal auf ca. 2000 € Hardware

recht informativ und zum Thema "Wie man Deepseek ohne 23 5090 laufen lassen kann." Ist aber immer noch eine ganz schöne Heizung. Ich schätze, ein zwei Jahre warten, dann passt das ganze aufs Smartphone. Darauf warten oder auf die Version 2 von q.ants photonischer CPU

Habe da mal was: 1.600 T/s sind gigantisch. Ich hatte davon schon gehört, klar kann man so einen Chip nicht eben auf eine Karte löten und in einen PCI Platz stecken. Aber wenn wir das mal runterskalieren um den Faktor 100, dann wären das 16 T/s und das wäre mit etwas basteln und so, schon auf eine Karte zu bekommen, nehmen wir mal was wie die 5090 mit über 550 Watt, von der Technik her könnte ich mir hier Karten vorstellen so mit 5 T/s bis 20 T/s in den nächsten Jahren, die man sich wie e...

Habe da mal was: 1.600 T/s sind gigantisch. Ich hatte davon schon gehört, klar kann man so einen Chip nicht eben auf eine Karte löten und in einen PCI Platz stecken. Aber wenn wir das mal runterskalieren um den Faktor 100, dann wären das 16 T/s und das wäre mit etwas basteln und so, schon auf eine Karte zu bekommen, nehmen wir mal was wie die 5090 mit über 550 Watt, von der Technik her könnte ich mir hier Karten vorstellen so mit 5 T/s bis 20 T/s in den nächsten Jahren, die man sich wie e...

Habe da mal was: 1.600 T/s sind gigantisch. Ich hatte davon schon gehört, klar kann man so einen Chip nicht eben auf eine Karte löten und in einen PCI Platz stecken. Aber wenn wir das mal runterskalieren um den Faktor 100, dann wären das 16 T/s und das wäre mit etwas basteln und so, schon auf eine Karte zu bekommen, nehmen wir mal was wie die 5090 mit über 550 Watt, von der Technik her könnte ich mir hier Karten vorstellen so mit 5 T/s bis 20 T/s in den nächsten Jahren, die man sich wie e...

So, ich haue hier mal eben ein paar Videos rein, dann weiß ich wo sie sind, und vermutlich finden einige hier das auch interessant: noch mal in englisch etwas: ich habe selber schon angefangen gehabt, da was zu planen und mit "Seki" zu programmieren, aber offenbar gibt es auch hier schon wieder Lösungen um sich selber einen Agenten zu zaubern.

So, ich haue hier mal eben ein paar Videos rein, dann weiß ich wo sie sind, und vermutlich finden einige hier das auch interessant: noch mal in englisch etwas: ich habe selber schon angefangen gehabt, da was zu planen und mit "Seki" zu programmieren, aber offenbar gibt es auch hier schon wieder Lösungen um sich selber einen Agenten zu zaubern.

So, ich haue hier mal eben ein paar Videos rein, dann weiß ich wo sie sind, und vermutlich finden einige hier das auch interessant: noch mal in englisch etwas: ich habe selber schon angefangen gehabt, da was zu planen und mit "Seki" zu programmieren, aber offenbar gibt es auch hier schon wieder Lösungen um sich selber einen Agenten zu zaubern.

So, ich haue hier mal eben ein paar Videos rein, dann weiß ich wo sie sind, und vermutlich finden einige hier das auch interessant: noch mal in englisch etwas: ich habe selber schon angefangen gehabt, da was zu planen und mit "Seki" zu programmieren, aber offenbar gibt es auch hier schon wieder Lösungen um sich selber einen Agenten zu zaubern.

@alhambra | @abbacbbc | @Trailblazer So, ich habe ja gesagt, ich stelle hier noch was rein, hier was mit EPYC: hier mit Xeon: noch mehr, kommt die Tage, und dann auch noch mehr Text.Wichtig ist hier immer, RAM, wirklich, will man Modelle laufen lassen, die nicht quantisiert sind, braucht man 512 GB Ram und mehr.Das eine Board was ich mir für zwei EPYC gesucht habe, hat 16 Steckplätze für RAM, da kommt man dann bis auf 4 TB, wenn man das Geld hat.Dann sind 16 Riegel zu je 32 GB günstiger als ...

@alhambra | @abbacbbc | @Trailblazer So, ich habe ja gesagt, ich stelle hier noch was rein, hier was mit EPYC: hier mit Xeon: noch mehr, kommt die Tage, und dann auch noch mehr Text.Wichtig ist hier immer, RAM, wirklich, will man Modelle laufen lassen, die nicht quantisiert sind, braucht man 512 GB Ram und mehr.Das eine Board was ich mir für zwei EPYC gesucht habe, hat 16 Steckplätze für RAM, da kommt man dann bis auf 4 TB, wenn man das Geld hat.Dann sind 16 Riegel zu je 32 GB günstiger als ...

gibt dazu noch andere Videos, wer was hat, hier rein ich sammle aktuell was es so gibt, bin aber recht sicher, so bis 3.000 € in die Hand zu nehmen und mir ein System zu bauen, mit EPIC CPU von AMD und 512 GB bis 768 GB. Ich hätte schon gerne 768 GB, wenn schon dann schon oder so, Mainboard soll viele Steckplätze für RAM haben, damit man nicht so große Module nehmen muss.Keine Ahnung, 16 Plätze und da so was von 32 GB bis 48 GB oder eventuell doch 64 GB rein?Man kauft so was auf Risiko w...