Small Normal Giant
 2 hrdik
Autor: neserr +++
Datum: 18. 12. 2025 21:44:09

Videls, nova moznost AI na vlastnich strojich? https://www.youtube.com/watch?v=4l4UWZGxvoc
 Re: 2 hrdik
Autor: Suchý čert +++
Datum: 18. 12. 2025 23:23:38

Nekoukal jsem na celé, ale přijde mi, že to tam testuje vždycky jen s jednou větou na vstupu. Ale u Applu je problém, že s dlouhým kontextem to běží výrazně pomalejš. Takže i když tam teoreticky rozběhneš velký model, tak se obávám, že s dlouhým kontextem to bude nepoužitelně pomalé.
 Re: 2 hrdik
Autor: hrdik +++ (172.18.0.[1348d07f])
Datum: 19. 12. 2025 08:09:35

apple ma pouzitelnej token generation, ale processing je prisernej. Na jakoukoli realnou praci se bojim, ze to neni. A nema cudu
 Re: 2 hrdik
Autor: hrdik +++ (172.18.0.[1348d07f])
Datum: 19. 12. 2025 08:12:29

a testovani na "write a javascript function" nebo "tell me a story" je (bohuzel) pomerne bezny
 Re: 2 hrdik
Autor: hrdik +++ (172.18.0.[1348d07f])
Datum: 19. 12. 2025 10:32:24

neserr » 

ono bohuzel tohle je hodne draha sranda. Na druhou stranu je to technologie, kterou se fakt vyplati sledovat.

levnejsi reseni je rozhodne za par dolaru si zaplatit cloudovou sluzbu, ale divim se vsem firmam, ze to delaj. Jejich data v <>, bez kontroly

---

v zasade si muzes vybrat, jestli
- chces chytrej model
- co rychle odpovida
- je to za "levno"

klasika ... muzes si vybrat max. 2 :)

---

a na doma tech moznosti moc neni

1x 3090 (24GB)
+ levne
o prvni pouzitelnej model v CZ gemma 3-27b je s 12-16k kontextem uplne nadoraz
+ rychle
- stredni a vetsi modely smula
+ CUDA

AMD Strix halo
+ proxmox
+ 128GB RAM
- zadna cuda, AMD alternativa je k posrani
+ GPT OSS 120B v rozumny rychlosti
- processing speed je zoufalej
- vetsi modely smula
+ jeste celkem levne

DGX spark/alternavity
+ 128 GB RAM
+ cuda
+ pripraveny booky na hrani si, vcetne fine tuningu
- ohnute ubuntu
o lepsi processing speed nez String halo a podobne generovani

RTX 6000
+ 96 GB ram
- drahy
- rychly, cuda
- velke modely smula

MAC Ultra
- dostanes tam proxmox
+ 512GB RAM
- uz drahy
+ relativne slusny token generation rychlost
- processing pomalej
+ i vetsi modely typu deepseek/kimi spoustis s osekanou presnosti


no a tim konci to, co stoji do 10k$. Idelani by byl server s 12ti kanalovou DDR5 a k tomu X*RTX6000, ale ... :))
 Re: 2 hrdik
Autor: neserr +++
Datum: 19. 12. 2025 10:58:45

hrdik » diky za info. To jo, je to jeste v plenkach (neni to komodita) a kazdy se na tom chce prizivit.