Small Normal Giant
 Další téma Předešlé téma
 2zuby qwen 3.8 flash next
Autor: hrdik +++ (172.18.0.[11903b58])
Datum: 03. 09. 2026 00:40:25

zatim jsem to zkousel jen na sumarizaci a vyhledavani.

i kdyz to v testech nevypada, prijde mi to vyrazne chytrejsi bez qwen 3.8 27b. taky to nema tolik potrebu se tocit v kruhu. na sparkovi je to ale s pameti taktak s 260k kontextem cca 27tok/s

pres noc tomu zkusim hodit nejakej delsi coding task
 2zuby qwen 3.8 flash next
ZubyAutor: Zuby +++++
Datum: 03. 09. 2026 00:45:41

Testy jsou k hovnu. Je to vyrazne lepsi nez 27b. Prijde mi to dokonce lepsi nez vetsina modelu krom fable 5+, kimi k3 a gml 5.3 vcetne flash. Jen je to silene ukecany, takze na 27 tps je to fakt leda tak pustit pres noc. Na tom m5 max to jede kolem 45 a to se taky neda. Otazka na cem to provozovat. Na ultre kdyby to ficelo ke 100tps, tak uz se o tom asi da mluvit, ale na nvidii to svisti o dost rychlejc, ale nechci za to dat tolik ;D
 Re: 2zuby qwen 3.8 flash next
Autor: hrdik +++ (172.18.0.[11903b58])
Datum: 03. 09. 2026 01:15:59

Zuby » 

jj, ultra ma bandwith x3 co spark. A RTX ma jeste dalsich x2 :)


nejsem si ale jistej, ze to do jednohoto rtx 96GB naslapes. I s tim offloadem na nvme je to na sparku taktak
 2zuby qwen 3.8 flash next
ZubyAutor: Zuby +++++
Datum: 03. 09. 2026 01:20:16

hrdik » m5 ultra ma 1.2TB ;) nekdo to uz do 6k cpal, ale jo no na mekovi jsem musel zvedat softcap co si muze grafika vzit, pac default 107GB na 256k kontext nestaci
 2zuby qwen 3.8 flash next
ZubyAutor: Zuby +++++
Datum: 03. 09. 2026 01:22:44

https://github.com/jpezzulli/sglang-rtxpro6000
 Re: 2zuby qwen 3.8 flash next
Autor: LSC +++++ (172.18.0.[11903b58])
Datum: 03. 09. 2026 11:55:23

pred par lety lidi kupovali GPU a asic na BTC, eth apod. sragory a dnes se kupujou SoC, NPU a i GPU atd. na AI?
 Re: 2zuby qwen 3.8 flash next
ZubyAutor: Zuby +++++
Datum: 03. 09. 2026 11:59:16

LSC » Dnes se kupuje vse na AI.
 Re: 2zuby qwen 3.8 flash next
Autor: Ganesh|VOJTA! +++++ (172.18.0.[Ganesh|VOJTA!])
Datum: 03. 09. 2026 12:56:51

hrdik » hele je realne ten spark vubec na neco dobrej? Pokud nemas treba 4 v clusteru nebo tak? :)
 Re: 2zuby qwen 3.8 flash next
Autor: hrdik +++ (172.18.0.[11903b58])
Datum: 03. 09. 2026 13:03:15

Ganesh|VOJTA! » 

na produkci cehokoli to neni, je to pomaly a ma to malo pameti.

bral jsem to na nauceni se novejch veci ... na to CUDA + 128GB VRAM neni vubec blby. Navic jsem ho kupoval v dobe, kdy stal pulku :)
 Re: 2zuby qwen 3.8 flash next
Autor: Ganesh|VOJTA! +++++ (172.18.0.[Ganesh|VOJTA!])
Datum: 03. 09. 2026 13:05:20

hrdik » jasny :)
 Re: 2zuby qwen 3.8 flash next
ZubyAutor: Zuby +++++
Datum: 03. 09. 2026 13:08:30

Ganesh|VOJTA! » S tim jak sly ceny nahoru nema zadnej lokal smysl pokud nepotrebujes privatni data. Nejlepsi pomer cena vykon je mac studio 5m ultra za 360k kc s 256GB nebo co predstavi na podzim s 512 kterej tipuju tak 600k+. To ti da o neco horsi vysledky nez mesicni predplatny za 50 dolacu :D
 Re: 2zuby qwen 3.8 flash next
Autor: hrdik +++ (172.18.0.[11903b58])
Datum: 03. 09. 2026 13:12:41

Ganesh|VOJTA! » 

ja jsem s nim spokojenej. Zvladne na tom bezet i vic mensich sluzeb najednou - mensi LLM typu gemma 27b zvladne takovej opruz jako trideni prijatejch faktur. Lokalne uzitecny veci typu STT uvidime, jak se podari integrovat do homeasistenta (nejen vladani, ale i planovani a odpovidani).

zaroven ti jeste zbejva dost pameti na to bavit se s generovanim obrazku, TTS apod
 Re: 2zuby qwen 3.8 flash next
Autor: neserr +++
Datum: 03. 09. 2026 15:26:04

Ganesh|VOJTA! » zel ted uz jedina rozumna cesta je predplatne pres nejakou sluzbu co ti nesmiruje data. OpenRouter, ollama atd.
 Re: 2zuby qwen 3.8 flash next
ZubyAutor: Zuby +++++
Datum: 03. 09. 2026 15:31:12

neserr » Mac studio M5 ultra v zakladni konfiguraci za 150k z usa neni uplne mimo. 1.2TB/s 96GB je dobra kombinace, ale konkurovat to predplatnemu nemuze no.
 Re: 2zuby qwen 3.8 flash next
Autor: hrdik +++ (172.18.0.[11903b58])
Datum: 03. 09. 2026 15:53:46

neserr » 

predplatny pujde nahoru


brutalne - ted to neni ani za elektrinu
 Re: 2zuby qwen 3.8 flash next
Autor: hrdik +++ (172.18.0.[11903b58])
Datum: 03. 09. 2026 15:57:01

Zuby » 

M3 ultra s 512GB se prodavala za 10k$ ... ale bejvavalo :)
 Re: 2zuby qwen 3.8 flash next
ZubyAutor: Zuby +++++
Datum: 03. 09. 2026 15:58:58

hrdik » Jo no, ale taky to neni zadnej ficak. Tohle je rozumnej kompromis :)
 Re: 2zuby qwen 3.8 flash next
Autor: hrdik +++ (172.18.0.[11903b58])
Datum: 03. 09. 2026 16:58:38

ale ten flash next neni spatnej - dovedu si predstavit, ze kdyby nebylo zadny pouzitelny subscription, ze uz to cloveku pomuze v praci
 Re: 2zuby qwen 3.8 flash next
ZubyAutor: Zuby +++++
Datum: 03. 09. 2026 17:11:59

hrdik » na maximalni mysleni s par doplnkama co mam v picku to jede stejne jak Opus.. jen je to silene ukecany a tim padem na mojem HW prakticky nepouzitelny. Leda na dlouhe tasky pres noc.
 Re: 2zuby qwen 3.8 flash next
Autor: neserr +++
Datum: 03. 09. 2026 19:14:26

hrdik » nemas predplacet Clauda nebo Fable. Je spousta modelu co jsou 100× levnejsi a maji hodne podobny vysledek.
 
 Předešlé téma Další téma