Autor: hrdik +++ (172.18.0.[1348d07f]) Datum: 19. 12. 2025 10:32:24
neserr »
ono bohuzel tohle je hodne draha sranda. Na druhou stranu je to technologie, kterou se fakt vyplati sledovat.
levnejsi reseni je rozhodne za par dolaru si zaplatit cloudovou sluzbu, ale divim se vsem firmam, ze to delaj. Jejich data v <>, bez kontroly
---
v zasade si muzes vybrat, jestli
- chces chytrej model
- co rychle odpovida
- je to za "levno"
klasika ... muzes si vybrat max. 2 :)
---
a na doma tech moznosti moc neni
1x 3090 (24GB)
+ levne
o prvni pouzitelnej model v CZ gemma 3-27b je s 12-16k kontextem uplne nadoraz
+ rychle
- stredni a vetsi modely smula
+ CUDA
AMD Strix halo
+ proxmox
+ 128GB RAM
- zadna cuda, AMD alternativa je k posrani
+ GPT OSS 120B v rozumny rychlosti
- processing speed je zoufalej
- vetsi modely smula
+ jeste celkem levne
DGX spark/alternavity
+ 128 GB RAM
+ cuda
+ pripraveny booky na hrani si, vcetne fine tuningu
- ohnute ubuntu
o lepsi processing speed nez String halo a podobne generovani
RTX 6000
+ 96 GB ram
- drahy
- rychly, cuda
- velke modely smula
MAC Ultra
- dostanes tam proxmox
+ 512GB RAM
- uz drahy
+ relativne slusny token generation rychlost
- processing pomalej
+ i vetsi modely typu deepseek/kimi spoustis s osekanou presnosti
no a tim konci to, co stoji do 10k$. Idelani by byl server s 12ti kanalovou DDR5 a k tomu X*RTX6000, ale ... :)) |
|