LLMLab.ee

AI-süsteemide kategooria

Eksperimentaalne / edasijõudnutele

Apple Siliconiga Mac-arvutid koos väliste NVIDIA või AMD GPU-dega. Mõeldud ainult AI-arvutuseks, mitte mängimiseks ega macOS-i graafika kiirendamiseks.

KategooriaEksperimentaalne / edasijõudnuteleValikudvõrdlemiseksHindkinnitatakse hinnapakkumises

Oluline hoiatus

Välised GPU-d Apple Siliconiga Macidel on mõeldud ainult AI-arvutustöödeks. Need ei kiirenda macOS-i graafikat, mänge, kuvareid, Final Cuti ega Blenderi vaateakna renderdamist.

Apple'i ametlik eGPU-tugi kehtib ainult Inteli protsessoriga Mac-arvutitele. Apple Siliconi tugi sõltub TinyGPU-st, tinygradist või samalaadsetest AI-arvutusdraiveritest.

Eksperimentaalne

Mac + eGPU

Konfiguratsioon: Mac mini M4 Pro + Radeon AI PRO R9700 eGPU Experiment

Mac: Mac mini M4 Pro 24GB / 512GB (24 GB ühismälu)

eGPU: Sonnet Breakaway Box 850T5 Thunderbolt 5 eGPU

GPU: ASUS Turbo Radeon AI PRO R9700 32GB (32 GB VRAM, RDNA 4)

Sobib peamiselt 7B/8B mudelitele

Kindel algus vestluseks ja programmeerimisabilistele; suuremad mudelid vajavad rohkem videomälu või ühismälu.

Toetatud:

  • Üks täpselt piiritletud ja eraldi kontrollitud TinyGPU või tinygradi arvutustöö välise Radeon AI PRO R9700 abil; tavalised Maci AI-töövood kasutavad M4 Pro kiipi ja MLX-i

Ei toeta:

  • Apple Siliconi ametlik eGPU-tugi
  • macOS-i graafika-, kuva- ja mängukiirendus
  • Final Cuti kiirendus
  • CUDA otse macOS-is
  • üldine ROCm-i tugi macOS-is
  • tootmiskeskkonnas kasutamine ilma täpse komplekti kontrollita

Kontrollimata eksperimentaalne lahendus. Apple ei toeta Apple Siliconiga Macides väliseid GPU-sid ja Sonnet toetab selle korpuse GPU-kasutust Windowsis, mitte M-seeria Macides. Avalikud komponendihinnad on ainult planeerimiseks; riistvara ei kinnitata enne täpse Maci, macOS-i, Sonnet GPU-850T5 korpuse, Radeon AI PRO R9700, TinyGPU või tinygradi versiooni, PCIe-seadistuse, kompilaatori ja sihttöövoo edukat testimist.

Mac: 1948 €

eGPU-korpus: 806 €

GPU: 1733 €

ASUSe täpne 90YV0MN0-M0NM00 kaart mahub mõõtude ja 300 W võimsustarbe järgi Sonnet GPU-850T5 korpuse avaldatud piiridesse. Füüsiline ja elektriline sobivus ei tõesta Apple Siliconi tarkvaratuge.

Vaata lähemalt
Eksperimentaalne

Mac mini M4 Pro 48GB + Radeon AI PRO R9700 eGPU Experiment

Mac: Mac mini M4 Pro 48GB / 1TB (48 GB ühismälu)

eGPU: Sonnet Breakaway Box 850T5 Thunderbolt 5 eGPU

GPU: ASUS Turbo Radeon AI PRO R9700 32GB (32 GB VRAM, RDNA 4)

Sobib peamiselt 7B/8B mudelitele

Kindel algus vestluseks ja programmeerimisabilistele; suuremad mudelid vajavad rohkem videomälu või ühismälu.

Toetatud:

  • AI-arvutustöö pärast täpse riist- ja tarkvarasobivuse kontrolli

Ei toeta:

  • macOS-i graafika ja mängude kiirendamine ilma eraldi toeta

Eksperimentaalne erilahendus. Sobivus, draiverid ja sihttöövoog kontrollitakse enne hinnapakkumist.

Mac: 2753 €

eGPU-korpus: 806 €

GPU: 1733 €

Täpne toimivus sõltub Macist, eGPU-korpusest, GPU-st, draiveritest ja käituskeskkonnast.

Vaata lähemalt

Kohalike mudelite näited

Ainult algtaseme kohalikud mudelidEi ole ideaalne 70B+ mudeliteks

Soovitatud mudel

Gemma 4 12B

Kaasaegne mitmikmodaalne igapäevamudel, mis kasutab 16 GB GPU võimekust hästi.

See on enamiku 16 GB komplektide tugevaim mugavalt kasutatav üldine lähtevalik.

Võimalik ainult mudeli osade GPU-le laadimisega

Väga aeglane

ollama run gemma4:12b-it-qat

Maci ja eGPU käituskeskkond on eksperimentaalne; käsitle seda kontrollitava katsena, mitte tavapärase soovitusena.

  • 24 GB süsteemi- või ühismälu on saadaval
  • 32 GB kiirendimälu mudelikaalude ja vahemälu jaoks

Qwen3.5 9B

Privaatne vestlus, programmeerimisabi, dokumentide kokkuvõtted ja pildiküsimused

Võimalik ainult mudeli osade GPU-le laadimisega

Tugev igapäevamudel 12 GB klassi GPU-dele ja praktiline kiire programmeerimisabiline.

Oodatav kogemus: Väga aeglane

Maci ja eGPU käituskeskkond on eksperimentaalne; käsitle seda kontrollitava katsena, mitte tavapärase soovitusena.

  • 24 GB süsteemi- või ühismälu on saadaval
  • 32 GB kiirendimälu mudelikaalude ja vahemälu jaoks

Qwen3.6 27B

Nõudlikum programmeerimisabi, keerukas arutlus ja pikemate dokumentide analüüs

Sellel arvutil ei ole praktiline

Tugev tihe mudel 24–32 GB GPU-dele ja suurema mäluga Apple'i süsteemidele.

Oodatav kogemus: Ei ole soovitatav

Vajab vähemalt 48 GB süsteemimälu; sellel arvutil on 24 GB.

  • 24 GB süsteemi- või ühismälu on saadaval
  • 32 GB kiirendimälu mudelikaalude ja vahemälu jaoks

Qwen3.6 35B-A3B

Programmeerimisagendid, koodihoidla analüüs ja keerukad kohalikud assistenditöövood

Sellel arvutil ei ole praktiline

Võimekas MoE-mudel, mis annab 32 ja 48 GB tööjaamadele sisulise suurema programmeerimissihi.

Oodatav kogemus: Ei ole soovitatav

Vajab vähemalt 64 GB süsteemimälu; sellel arvutil on 24 GB.

  • 24 GB süsteemi- või ühismälu on saadaval
  • 32 GB kiirendimälu mudelikaalude ja vahemälu jaoks
Kuva tehnilised üksikasjad

Eeldused

  • Eeldatav GPU-mälu: 32 GB from ASUS Turbo Radeon AI PRO R9700 32GB.
  • Süsteemimälu: 24 GB.
  • Maci ja eGPU sobivus on eksperimentaalne ning sõltub lisaks videomälule ka draiverite ja käituskeskkonna toest.
  • Hinnang arvestab ühe kohaliku mudeli kaale, KV-vahemälu, käituskeskkonna lisakulu ja turvavaru. See näitab sobivust, mitte tagatud kiirust.
  • Maci ja eGPU näited on eksperimentaalsed. Enne mudeli praktiliseks pidamist kontrolli konkreetse seadistuse lehte.
Gemma 4 12B tehnilised detailid

Mudelisari: Google Gemma 4

Parameetrite arv: 11.95B

Struktuur: 11.95B tihe

Litsents: Apache License 2.0; lubatud. See on üldine sobivushinnang; enne ärilist kasutust kontrolli mudeli litsentsi.

Algne kontekstiaken: 262 144 tokenit

Kvantimine: Q4_0 QAT

Q4 mudelikaalude ligikaudne maht: 7.2 GB

Vaikehinnang: 11.5 GB @ 8192 tokenit

Mudelikaalud / KV-vahemälu / käituskeskkond / varu: 7.2 GB / 1.5 GB / 1.2 GB / 1.5 GB

CPU- ja RAM-põhine varuvariant: Ei ole soovitatav

VRAM: 12 GB vähemalt / 16 GB soovituslik

RAM: 24 GB vähemalt / 32 GB soovituslik

Praegune käitusviis: Võimalik ainult mudeli osade GPU-le laadimisega

Oodatav kogemus: Väga aeglane

Kogu mudeli GPU-le laadimine: Ainult siis, kui mudel ja kontekst mahuvad mällu

Konteksti hoiatus: Suur kontekstiaken vajab endiselt märkimisväärset KV-vahemälu varu.

KontekstKaaludKVKäituskeskkondVaruGPU-mälu hinnang
4K7.2 GB1 GB1.2 GB1.5 GB11 GB
8K7.2 GB1.5 GB1.2 GB1.5 GB11.5 GB
16K7.2 GB2.5 GB1.2 GB1.5 GB12.5 GB
32K7.2 GB5 GB1.2 GB2 GB15.5 GB

Kõigi mäluhinnangute vaatamiseks libista tabelit külgsuunas.

Teabeallikad

Google Gemma model overviewGemma 4 release notesOllama Gemma 4 tags

Andmed kontrollitud: 2026-07-30

Qwen3.5 9B tehnilised detailid

Mudelisari: Qwen3.5

Parameetrite arv: 9B

Struktuur: 9B tihe

Litsents: Apache License 2.0; lubatud. See on üldine sobivushinnang; enne ärilist kasutust kontrolli mudeli litsentsi.

Algne kontekstiaken: 262 144 tokenit

Laiendatud kontekstiaken: 1 010 000 meetodiga YaRN; ei ole vaikimisi sobivuseeldus

Kvantimine: Q4_K_M

Q4 mudelikaalude ligikaudne maht: 6.6 GB

Vaikehinnang: 11 GB @ 8192 tokenit

Mudelikaalud / KV-vahemälu / käituskeskkond / varu: 6.6 GB / 1.5 GB / 1.2 GB / 1.5 GB

CPU- ja RAM-põhine varuvariant: Ei ole soovitatav

VRAM: 8 GB vähemalt / 12 GB soovituslik

RAM: 16 GB vähemalt / 32 GB soovituslik

Praegune käitusviis: Võimalik ainult mudeli osade GPU-le laadimisega

Oodatav kogemus: Väga aeglane

Kogu mudeli GPU-le laadimine: Ainult siis, kui mudel ja kontekst mahuvad mällu

Konteksti hoiatus: Alusta umbes 8K kontekstiga, kuigi mudel toetab märksa pikemat konteksti.

KontekstKaaludKVKäituskeskkondVaruGPU-mälu hinnang
4K6.6 GB1 GB1.2 GB1.5 GB10.5 GB
8K6.6 GB1.5 GB1.2 GB1.5 GB11 GB
16K6.6 GB2.5 GB1.2 GB1.5 GB12 GB
32K6.6 GB5 GB1.2 GB2 GB15 GB

Kõigi mäluhinnangute vaatamiseks libista tabelit külgsuunas.

Teabeallikad

Qwen3.5 9B official model cardOllama Qwen3.5 tags

Andmed kontrollitud: 2026-07-30

Qwen3.6 27B tehnilised detailid

Mudelisari: Qwen3.6

Parameetrite arv: 27B

Struktuur: 27B tihe

Litsents: Apache License 2.0; lubatud. See on üldine sobivushinnang; enne ärilist kasutust kontrolli mudeli litsentsi.

Algne kontekstiaken: 262 144 tokenit

Laiendatud kontekstiaken: 1 010 000 meetodiga YaRN; ei ole vaikimisi sobivuseeldus

Kvantimine: Q4_K_M

Q4 mudelikaalude ligikaudne maht: 17 GB

Vaikehinnang: 23 GB @ 8192 tokenit

Mudelikaalud / KV-vahemälu / käituskeskkond / varu: 17 GB / 2 GB / 1.5 GB / 2.5 GB

CPU- ja RAM-põhine varuvariant: Ei ole soovitatav

VRAM: 24 GB vähemalt / 32 GB soovituslik

RAM: 48 GB vähemalt / 64 GB soovituslik

Praegune käitusviis: Sellel arvutil ei ole praktiline

Oodatav kogemus: Ei ole soovitatav

Kogu mudeli GPU-le laadimine: Ainult siis, kui mudel ja kontekst mahuvad mällu

Konteksti hoiatus: Koodihoidla või väga pika dokumendi kontekst võib ületada 24 GB kaardi mugava mahu.

KontekstKaaludKVKäituskeskkondVaruGPU-mälu hinnang
4K17 GB1 GB1.5 GB2.5 GB22 GB
8K17 GB2 GB1.5 GB2.5 GB23 GB
16K17 GB4 GB1.5 GB3 GB25.5 GB
32K17 GB8 GB1.5 GB3.5 GB30 GB

Kõigi mäluhinnangute vaatamiseks libista tabelit külgsuunas.

Teabeallikad

Qwen3.6 27B official model cardOllama Qwen3.6 tags

Andmed kontrollitud: 2026-07-30

Qwen3.6 35B-A3B tehnilised detailid

Mudelisari: Qwen3.6

Parameetrite arv: 35B

Struktuur: 35B kokku / 3B aktiivsed MoE

Litsents: Apache License 2.0; lubatud. See on üldine sobivushinnang; enne ärilist kasutust kontrolli mudeli litsentsi.

Algne kontekstiaken: 262 144 tokenit

Laiendatud kontekstiaken: 1 010 000 meetodiga YaRN; ei ole vaikimisi sobivuseeldus

Kvantimine: Q4_K_M

Q4 mudelikaalude ligikaudne maht: 24 GB

Vaikehinnang: 31.5 GB @ 8192 tokenit

Mudelikaalud / KV-vahemälu / käituskeskkond / varu: 24 GB / 2.5 GB / 2 GB / 3 GB

CPU- ja RAM-põhine varuvariant: Ei ole soovitatav

VRAM: 32 GB vähemalt / 48 GB soovituslik

RAM: 64 GB vähemalt / 64 GB soovituslik

Praegune käitusviis: Sellel arvutil ei ole praktiline

Oodatav kogemus: Ei ole soovitatav

Kogu mudeli GPU-le laadimine: Ainult siis, kui mudel ja kontekst mahuvad mällu

Konteksti hoiatus: Pikk koodihoidla kontekst võib allesjäänud mäluvaru kiiresti ära kasutada, eriti 32 GB GPU-l.

KontekstKaaludKVKäituskeskkondVaruGPU-mälu hinnang
4K24 GB1.5 GB2 GB3 GB30.5 GB
8K24 GB2.5 GB2 GB3 GB31.5 GB
16K24 GB5 GB2 GB3.5 GB34.5 GB
32K24 GB10 GB2 GB4 GB40 GB

Kõigi mäluhinnangute vaatamiseks libista tabelit külgsuunas.

Teabeallikad

Qwen3.6 35B-A3B official model cardOllama Qwen3.6 tags

Andmed kontrollitud: 2026-07-30

Kohaliku tehisaru jõudlus on ligikaudne. Tulemus sõltub kvantimisest, konteksti pikkusest, käitusmootorist, draiveritest ja sellest, kas mudel koos KV-vahemäluga mahub GPU-mällu või Apple'i ühismällu.