Small Normal Giant
 Další téma Předešlé téma
 Lokální LLM
Autor: prog ++++
Datum: 23. 12. 2025 11:18:40

Tak co, má to cenu? Zatím mi vychází, že první použitelný je buď Mac Mini M4 Pro 64 GB Ram za 65, nebo postavit něco s RTX 5090 32 GB (taky 65 samotná karta). Co na tom jde reálně tozjet a jak je to použitelný? Devstral Small 2? Stejně to ale oproti Claude Sonet 4.5 musí být na hovno, ne?
 Re: Lokální LLM
Autor: Moodyman ++
Datum: 23. 12. 2025 12:28:35

prog » lokalni na kodovani jsou nahovno- cti jsou pomaly a neporovnatelny s claudem, ale hodi se mit po ruce na jednoduchy tasky kdyz nechces poslat veci do kloudu ala oprav mi env variables…apod

Mimo kodovani takovy necenzurovany 120b gpt oss/glm 4.5 uz jsou v oblasti reasoningu na urovni gpt 4.0.
 Re: Lokální LLM
ZubyAutor: Zuby +++++
Datum: 23. 12. 2025 12:45:16

Zalezi co s tim chces delat. Kamos na tom stavi komercni pouziti docela slusne.
 Lokální LLM
Autor: prog ++++
Datum: 23. 12. 2025 12:51:26

Zuby » 
co si pod tím komerčním použitím zhruba představit?
 Re: Lokální LLM
ZubyAutor: Zuby +++++
Datum: 23. 12. 2025 12:58:13

prog » Dela na zakazku veci jako ze si nalejes interni citlivej obsah co nechces mit v cloudu jako ruzne smlouvy, smernice atd ktery pak muzes dotazovat. Nebo chytrejsi OCR na faktury, dodaky atd.
 Lokální LLM
Autor: prog ++++
Datum: 23. 12. 2025 13:03:20

tohle asi není úplně blbá nabídka, ne?
https://pc.bazos.cz/inzerat/210480469/ai-workstationserver-2x-rtx-3090-amd-epyc-128gb-4tb-ssd.php
 Lokální LLM
Autor: prog ++++
Datum: 23. 12. 2025 13:03:49

Zuby » 
jasně, super, dík
 Re: Lokální LLM
Autor: Kvakys +
Datum: 23. 12. 2025 16:13:20

prog » tohle je jedna z mala veci co chces mit v klaudu, nohuzel. jsou na to i specialni nody delaji primo pro LLM nebo analytiku.
 Re: Lokální LLM
Autor: hrdik +++ (172.18.0.[1348d07f])
Datum: 23. 12. 2025 17:04:11

prog » 

na kodovani na urovni sonetu zapomen. I kdybys do toho nasypal 20k$m tak to nebude na stejny urovni.

na nejakej RAG s chatovani je cestine minimum gemma3-27b, tzn. 24GB VRAM s cca 12k kontextu. Ja jsem si kvuli tomu na hrani koupil DGX sparka (je to v podstate 5070 s 128GB RAM)
 Lokální LLM
Autor: prog ++++
Datum: 23. 12. 2025 17:08:42

hrdik » no a na tom sparku už něco smysluplného provozovat jde? viděl jsem nějaký test, kde to dostávalo od 5090 doceka na prdel
 Re: Lokální LLM
Autor: Suchý čert +++
Datum: 23. 12. 2025 18:54:57

prog » 5090 je několikanásobně rychlejší, ale nemá 128 GB RAM, no. Leda bys koupil čtyři, ale to už pak asi dává větší smysl vzít rovnou RTX PRO 6000.

Spark má, jak píše hrdik, výpočetní výkon cca na úrovni 5070 a ještě je to navíc zbržděné pomalými LPDDR5x pamětmi.
 Re: Lokální LLM
Autor: Suchý čert +++
Datum: 23. 12. 2025 19:19:23

Pokud bys chtěl lokální LLM srovnatelný s Claude Sonnet 4.5, tak to nový GLM-4.7 nevypadá vůbec špatně, ale počítej tak s 4×RTX PRO 6000 96 GB. :)
 Re: Lokální LLM
Autor: hrdik +++ (172.18.0.[1348d07f])
Datum: 23. 12. 2025 19:52:34

Suchý čert » 

jj, ale zase mas sparka jako celej nvdii dev kit.

Alternativne se da

- strix halo za 2/3 penez, ale bez CUDA
- kupit 3090 (asi levnejsi, ale ojeb a sezere te to na elektrine)
- epic s 8-12 kanalovejma DDR5 je dneska draha legrace
- a kupit RTX6000 je taky draha legrace ... ona i blba jedna je draha legrace
 Re: Lokální LLM
Autor: hrdik +++ (172.18.0.[1348d07f])
Datum: 23. 12. 2025 19:54:07

nicmene sonet z toho nedostanes. Navic bezne clovek dela nad kontextem 100-200k a to na lokale s "chytrejsim" modelem proste nedas - to uz se bavime o 1TB+VRAM a to uz je hodne drahej konicek
 Lokální LLM
Autor: prog ++++
Datum: 23. 12. 2025 20:01:16

hrdik » takže sečteno a podtrženo, je to k něčemu?
 Lokální LLM
Autor: prog ++++
Datum: 23. 12. 2025 20:02:42

a co ty Macy s M4 a unified ram? to bude stejnej příběh jako to Strix Halo, ne (pomalá ram)?
 Re: Lokální LLM
Autor: hrdik +++ (172.18.0.[1348d07f])
Datum: 23. 12. 2025 21:28:29

prog » 

je to na uceni se. A rozhodne to neni levnejsi, nez par dolaru mesicne (za cenu toho, ze jsou pak tvoje data buhvikde)

pri generovani tokenu potrebujes bandwith pameti, takze idealne mac ultra :). Porad ale processing nebude dobrej a nemas cudu pro hrani si s jinejma vecma


zalezi, co od toho chces. Ja jsem vzal toho sparka proto, ze je to sice na generovani pomale, ale 128GB, rychlejsi processing a cuda.

pak tu mam jeden pc s 3090 (tam jsem rychle narazil na limity) a RTX6000 nemam jeste v kanclu poradne zprovoznenou
 
 Předešlé téma Další téma