LLMLab.ee

AI-süsteemide kategooria

Mudeli kohandamine

Piisava süsteemimälu ja stabiilse jahutusega arvutid LoRA-adapterite treenimiseks ning mudelite kohandamiseks.

KategooriaMudeli kohandamineValikudvõrdlemiseksHindkinnitatakse hinnapakkumises

Sobib hästi

  • LoRA ja QLoRA adapterite treenimine
  • Pikemad töökoormused stabiilse jahutusega
  • Rohkem süsteemimälu andmestike ja tööriistade jaoks

Ei ole parim valik

  • Liigne, kui vajad ainult kohalikku vestlust
  • Täismudelite treenimine vajab siiski palju suuremat riistvara
  • Kallim kui ainult mudelite käitamisele suunatud süsteemid

Tehisaru sobivus on ligikaudne hinnang; tulemust mõjutavad mudel, käituskeskkond, kvantimine ja kontekstimaht.

Model Tuning PC

Konfiguratsioon: Radeon AI PRO 32GB Model Tuning Workstation

Paindlik tööjaam väiksemate AI-mudelite kohandamiseks oma näidete, andmestike ja katsetega.

GPU: ASUS Turbo Radeon AI PRO R9700 32GB

CPU: AMD Ryzen 7 9700X

RAM: 64 GB | Salvestus: 4000 GB

Soovituslik mudeliklass: Adapteripõhine mudelite kohandamine, mitte täismudeli nullist treenimine.

30B-klassi Q4 ainult piirangutega

Sobivus eeldab kvanditud mudelit, mõõdukat kontekstimahtu ja käituskeskkonna kontrolli; 70B ei ole tavapärane siht ilma vähemalt 48 GB videomälu või suure ühismäluta.

Umbes 4520 €

Planeerimishinnang; täpne summa kirjalikus pakkumises.

Vaata lähemalt

Radeon AI PRO 32GB Storage Alternative

Kohaliku tehisaru jaoks valitud süsteem.

GPU: ASUS Turbo Radeon AI PRO R9700 32GB

CPU: AMD Ryzen 7 9700X

RAM: 64 GB | Salvestus: 4000 GB

Soovituslik mudeliklass: Sobiv mudeliklass kinnitatakse kasutusvajaduse järgi.

30B-klassi Q4 ainult piirangutega

Sobivus eeldab kvanditud mudelit, mõõdukat kontekstimahtu ja käituskeskkonna kontrolli; 70B ei ole tavapärane siht ilma vähemalt 48 GB videomälu või suure ühismäluta.

Umbes 4597 €

Planeerimishinnang; täpne summa kirjalikus pakkumises.

Vaata lähemalt

Kohalike mudelite näited

Sobib hästi privaatseks vestluseksSobib hästi programmeerimisabiksSobib hästi dokumentide kokkuvõtmiseksEi ole ideaalne 70B+ mudeliteks

Soovitatud mudel

Qwen3.6 27B

Tugev tihe mudel 24–32 GB GPU-dele ja suurema mäluga Apple'i süsteemidele.

Piisava mäluga arvutis on see praktiline kvaliteedisiht suurema tiheda mudeli jaoks.

Sobib hästi GPU-l käitamiseks

Kiire

ollama run qwen3.6:27b

Selle kvanditud mudeli jaoks peaks tavapärase konteksti korral olema piisavalt mäluvaru.

  • 64 GB süsteemi- või ühismälu on saadaval
  • 32 GB kiirendimälu mudelikaalude ja vahemälu jaoks

Qwen3.6 35B-A3B

Programmeerimisagendid, koodihoidla analüüs ja keerukad kohalikud assistenditöövood

Kvanditud mudel mahub GPU-mällu

Võimekas MoE-mudel, mis annab 32 ja 48 GB tööjaamadele sisulise suurema programmeerimissihi.

Oodatav kogemus: Kasutatav

Praktiline ainult Q4-tasemel kvantimise ja mõõduka kontekstiga; pikem kontekst võib nõuda osa mudeli laadimist süsteemimällu või väiksema mudeli kasutamist.

  • 64 GB süsteemi- või ühismälu on saadaval
  • 32 GB kiirendimälu mudelikaalude ja vahemälu jaoks

Qwen3.5 9B

Privaatne vestlus, programmeerimisabi, dokumentide kokkuvõtted ja pildiküsimused

Sobib hästi GPU-l käitamiseks

Tugev igapäevamudel 12 GB klassi GPU-dele ja praktiline kiire programmeerimisabiline.

Oodatav kogemus: Kiire

Selle kvanditud mudeli jaoks peaks tavapärase konteksti korral olema piisavalt mäluvaru.

  • 64 GB süsteemi- või ühismälu on saadaval
  • 32 GB kiirendimälu mudelikaalude ja vahemälu jaoks

Llama 3.3 70B Instruct

Tipptasemel kohaliku vestluse katsed 48 GB GPU-l või vähemalt 96 GB Apple'i süsteemil

Sellel arvutil ei ole praktiline

Selge ülempiiri näide, millega hinnata, kas arvuti saab 70B-klassi mudelit üldse proovida.

Oodatav kogemus: Ei ole soovitatav

See mudel vajab mõõduka konteksti ja Q4_K_M kvantimise korral ligikaudu 51 GB GPU-mälu; arvutil on umbes 32 GB videomälu.

  • 64 GB süsteemi- või ühismälu on saadaval
  • 32 GB kiirendimälu mudelikaalude ja vahemälu jaoks
Kuva tehnilised üksikasjad

Eeldused

  • Eeldatav GPU-mälu: 32 GB from ASUS Turbo Radeon AI PRO R9700 32GB.
  • Süsteemimälu: 64 GB.
  • Hinnang arvestab ühe kohaliku mudeli kaale, KV-vahemälu, käituskeskkonna lisakulu ja turvavaru. See näitab sobivust, mitte tagatud kiirust.
  • Profiilileht kasutab esinduslikku komplekti. Komponentide täpse sobivuse leiad komplekti detailvaatest.
Qwen3.6 27B tehnilised detailid

Mudelisari: Qwen3.6

Parameetrite arv: 27B

Struktuur: 27B tihe

Litsents: Apache License 2.0; lubatud. See on üldine sobivushinnang; enne ärilist kasutust kontrolli mudeli litsentsi.

Algne kontekstiaken: 262 144 tokenit

Laiendatud kontekstiaken: 1 010 000 meetodiga YaRN; ei ole vaikimisi sobivuseeldus

Kvantimine: Q4_K_M

Q4 mudelikaalude ligikaudne maht: 17 GB

Vaikehinnang: 23 GB @ 8192 tokenit

Mudelikaalud / KV-vahemälu / käituskeskkond / varu: 17 GB / 2 GB / 1.5 GB / 2.5 GB

CPU- ja RAM-põhine varuvariant: Ei ole soovitatav

VRAM: 24 GB vähemalt / 32 GB soovituslik

RAM: 48 GB vähemalt / 64 GB soovituslik

Praegune käitusviis: Sobib hästi GPU-l käitamiseks

Oodatav kogemus: Kiire

Kogu mudeli GPU-le laadimine: Ainult siis, kui mudel ja kontekst mahuvad mällu

Konteksti hoiatus: Koodihoidla või väga pika dokumendi kontekst võib ületada 24 GB kaardi mugava mahu.

KontekstKaaludKVKäituskeskkondVaruGPU-mälu hinnang
4K17 GB1 GB1.5 GB2.5 GB22 GB
8K17 GB2 GB1.5 GB2.5 GB23 GB
16K17 GB4 GB1.5 GB3 GB25.5 GB
32K17 GB8 GB1.5 GB3.5 GB30 GB

Kõigi mäluhinnangute vaatamiseks libista tabelit külgsuunas.

Teabeallikad

Qwen3.6 27B official model cardOllama Qwen3.6 tags

Andmed kontrollitud: 2026-07-30

Qwen3.6 35B-A3B tehnilised detailid

Mudelisari: Qwen3.6

Parameetrite arv: 35B

Struktuur: 35B kokku / 3B aktiivsed MoE

Litsents: Apache License 2.0; lubatud. See on üldine sobivushinnang; enne ärilist kasutust kontrolli mudeli litsentsi.

Algne kontekstiaken: 262 144 tokenit

Laiendatud kontekstiaken: 1 010 000 meetodiga YaRN; ei ole vaikimisi sobivuseeldus

Kvantimine: Q4_K_M

Q4 mudelikaalude ligikaudne maht: 24 GB

Vaikehinnang: 31.5 GB @ 8192 tokenit

Mudelikaalud / KV-vahemälu / käituskeskkond / varu: 24 GB / 2.5 GB / 2 GB / 3 GB

CPU- ja RAM-põhine varuvariant: Ei ole soovitatav

VRAM: 32 GB vähemalt / 48 GB soovituslik

RAM: 64 GB vähemalt / 64 GB soovituslik

Praegune käitusviis: Kvanditud mudel mahub GPU-mällu

Oodatav kogemus: Kasutatav

Kogu mudeli GPU-le laadimine: Ainult siis, kui mudel ja kontekst mahuvad mällu

Konteksti hoiatus: Pikk koodihoidla kontekst võib allesjäänud mäluvaru kiiresti ära kasutada, eriti 32 GB GPU-l.

KontekstKaaludKVKäituskeskkondVaruGPU-mälu hinnang
4K24 GB1.5 GB2 GB3 GB30.5 GB
8K24 GB2.5 GB2 GB3 GB31.5 GB
16K24 GB5 GB2 GB3.5 GB34.5 GB
32K24 GB10 GB2 GB4 GB40 GB

Kõigi mäluhinnangute vaatamiseks libista tabelit külgsuunas.

Teabeallikad

Qwen3.6 35B-A3B official model cardOllama Qwen3.6 tags

Andmed kontrollitud: 2026-07-30

Qwen3.5 9B tehnilised detailid

Mudelisari: Qwen3.5

Parameetrite arv: 9B

Struktuur: 9B tihe

Litsents: Apache License 2.0; lubatud. See on üldine sobivushinnang; enne ärilist kasutust kontrolli mudeli litsentsi.

Algne kontekstiaken: 262 144 tokenit

Laiendatud kontekstiaken: 1 010 000 meetodiga YaRN; ei ole vaikimisi sobivuseeldus

Kvantimine: Q4_K_M

Q4 mudelikaalude ligikaudne maht: 6.6 GB

Vaikehinnang: 11 GB @ 8192 tokenit

Mudelikaalud / KV-vahemälu / käituskeskkond / varu: 6.6 GB / 1.5 GB / 1.2 GB / 1.5 GB

CPU- ja RAM-põhine varuvariant: Ei ole soovitatav

VRAM: 8 GB vähemalt / 12 GB soovituslik

RAM: 16 GB vähemalt / 32 GB soovituslik

Praegune käitusviis: Sobib hästi GPU-l käitamiseks

Oodatav kogemus: Kiire

Kogu mudeli GPU-le laadimine: Ainult siis, kui mudel ja kontekst mahuvad mällu

Konteksti hoiatus: Alusta umbes 8K kontekstiga, kuigi mudel toetab märksa pikemat konteksti.

KontekstKaaludKVKäituskeskkondVaruGPU-mälu hinnang
4K6.6 GB1 GB1.2 GB1.5 GB10.5 GB
8K6.6 GB1.5 GB1.2 GB1.5 GB11 GB
16K6.6 GB2.5 GB1.2 GB1.5 GB12 GB
32K6.6 GB5 GB1.2 GB2 GB15 GB

Kõigi mäluhinnangute vaatamiseks libista tabelit külgsuunas.

Teabeallikad

Qwen3.5 9B official model cardOllama Qwen3.5 tags

Andmed kontrollitud: 2026-07-30

Llama 3.3 70B Instruct tehnilised detailid

Mudelisari: Meta Llama 3.3

Parameetrite arv: 70.60B

Struktuur: 70.6B tihe

Litsents: Llama 3.3 Community License; lubatud litsentsitingimustel; piiratud juurdepääs. See on üldine sobivushinnang; enne ärilist kasutust kontrolli mudeli litsentsi.

Algne kontekstiaken: 131 072 tokenit

Kvantimine: Q4_K_M

Q4 mudelikaalude ligikaudne maht: 42.5 GB

Vaikehinnang: 51 GB @ 4096 tokenit

Mudelikaalud / KV-vahemälu / käituskeskkond / varu: 42.5 GB / 3 GB / 1.5 GB / 4 GB

CPU- ja RAM-põhine varuvariant: Ei ole soovitatav

VRAM: 48 GB vähemalt / 64 GB soovituslik

RAM: 64 GB vähemalt / 96 GB soovituslik

Praegune käitusviis: Sellel arvutil ei ole praktiline

Oodatav kogemus: Ei ole soovitatav

Kogu mudeli GPU-le laadimine: Sageli piiratud

Konteksti hoiatus: Q4 mudelikaalud kasutavad enne KV-vahemälu, käituskeskkonna lisakulu ja töölaua varu juba umbes 42,5 GB.

KontekstKaaludKVKäituskeskkondVaruGPU-mälu hinnang
4K42.5 GB3 GB1.5 GB4 GB51 GB
8K42.5 GB6 GB1.5 GB4 GB54 GB
16K42.5 GB12 GB1.5 GB4.5 GB60.5 GB
32K42.5 GB24 GB1.5 GB5.5 GB73.5 GB

Kõigi mäluhinnangute vaatamiseks libista tabelit külgsuunas.

Teabeallikad

Meta Llama 3.3 model cardOllama Llama 3.3 70B tag

Andmed kontrollitud: 2026-07-30

Kohaliku tehisaru jõudlus on ligikaudne. Tulemus sõltub kvantimisest, konteksti pikkusest, käitusmootorist, draiveritest ja sellest, kas mudel koos KV-vahemäluga mahub GPU-mällu või Apple'i ühismällu.