LLMLab.ee

AI-süsteemide kategooria

Privaatne tehisaru kodus

Komplektid igapäevaste 7B/8B kohalike mudelite jaoks; 13B ja suuremate kvanditud mudelite sobivust kontrollitakse mäluhinnangu alusel.

Hindkinnitatakse pakkumises

Sobib hästi

  • Igapäevane kohalik vestlus, programmeerimine ja dokumenditöö
  • Enamiku kasutajate jaoks hea videomälu ja hinna suhe
  • Hea esimene samm kohalike keelemudelite kasutamisel

Ei ole parim valik

  • Ei ole parim valik tõsiseks peenhäälestuseks
  • Väga suured 70B+ töökoormused võivad vajada tööjaama riistvara
  • Mängimine ei ole peamine optimeerimise eesmärk

Tehisaru sobivus on ligikaudne hinnang; tulemust mõjutavad mudel, käituskeskkond, kvantimine ja kontekstimaht.

Local AI PC

Konfiguratsioon: RTX 5070 Ti Local Inference PC

Privaatne kohaliku inferentsi arvuti vestluseks, dokumendiküsimusteks, programmeerimisabiks ja igapäevasteks CUDA töödeks.

GPU: PNY GeForce RTX 5070 Ti 16GB Triple Fan

CPU: AMD Ryzen 7 9700X

RAM: 64 GB | Salvestus: 4000 GB

Soovituslik mudeliklass: Hea esimene arvuti kohaliku tehisaru kasutamiseks, ilma tarbetu võimsuse eest maksmata.

13B/14B Q4 praktilise kontekstiga

Igapäevaseks kasutuseks sobiv kohalik keelemudel eeldab kvantimist ja mõõdukat konteksti; 30B ei ole ilma suurema videomäluta tavapärane siht.

4939 €

Vaata lähemalt

RTX 5070 Ti Local Chat Build

Kohaliku tehisaru jaoks valitud süsteem.

GPU: PNY GeForce RTX 5070 Ti 16GB Triple Fan

CPU: AMD Ryzen 5 9600X

RAM: 64 GB | Salvestus: 2000 GB

Soovituslik mudeliklass: Sobiv mudeliklass kinnitatakse kasutusvajaduse järgi.

13B/14B Q4 praktilise kontekstiga

Igapäevaseks kasutuseks sobiv kohalik keelemudel eeldab kvantimist ja mõõdukat konteksti; 30B ei ole ilma suurema videomäluta tavapärane siht.

4515 €

Vaata lähemalt

RTX 5060 Ti Local Chat Alternative

Kohaliku tehisaru jaoks valitud süsteem.

GPU: ASUS Prime GeForce RTX 5060 Ti OC Edition 16GB GDDR7

CPU: AMD Ryzen 5 9600X

RAM: 64 GB | Salvestus: 2000 GB

Soovituslik mudeliklass: Sobiv mudeliklass kinnitatakse kasutusvajaduse järgi.

13B/14B Q4 praktilise kontekstiga

Igapäevaseks kasutuseks sobiv kohalik keelemudel eeldab kvantimist ja mõõdukat konteksti; 30B ei ole ilma suurema videomäluta tavapärane siht.

3419 €

Vaata lähemalt

Kohalike mudelite näited

Sobib hästi privaatseks vestluseksSobib hästi programmeerimisabiksSobib hästi dokumentide kokkuvõtmiseksEi ole ideaalne 70B+ mudeliteks

Soovitatud mudel

Gemma 4 12B

Kaasaegne mitmikmodaalne igapäevamudel, mis kasutab 16 GB GPU võimekust hästi.

Sobib hästi GPU-l käitamiseks

Kiire

ollama run gemma4:12b-it-qat

Selle kvanditud mudeli jaoks peaks tavapärase konteksti korral olema piisavalt mäluvaru.

  • 64 GB süsteemi- või ühismälu on saadaval
  • 16 GB kiirendimälu mudelikaalude ja vahemälu jaoks

Qwen3.5 9B

Privaatne vestlus, programmeerimisabi, dokumentide kokkuvõtted ja pildiküsimused

Sobib hästi GPU-l käitamiseks

Tugev igapäevamudel 12 GB klassi GPU-dele ja praktiline kiire programmeerimisabiline.

Oodatav kogemus: Kiire

Selle kvanditud mudeli jaoks peaks tavapärase konteksti korral olema piisavalt mäluvaru.

  • 64 GB süsteemi- või ühismälu on saadaval

Qwen3.6 27B

Nõudlikum programmeerimisabi, keerukas arutlus ja pikemate dokumentide analüüs

Võimalik ainult mudeli osade GPU-le laadimisega

Tugev tihe mudel 24–32 GB GPU-dele ja suurema mäluga Apple'i süsteemidele.

Oodatav kogemus: Väga aeglane

Sobib ainult katseliseks kasutuseks, kui suur osa mudelist laaditakse süsteemimällu. Arvesta aeglasemate vastustega ja hoia kontekst lühike.

  • 64 GB süsteemi- või ühismälu on saadaval
Kuva tehnilised üksikasjad

Eeldused

  • Eeldatav GPU-mälu: 16 GB from PNY GeForce RTX 5070 Ti 16GB Triple Fan.
  • Süsteemimälu: 64 GB.
  • Hinnang arvestab ühe kohaliku mudeli kaale, KV-vahemälu, käituskeskkonna lisakulu ja turvavaru. See näitab sobivust, mitte tagatud kiirust.
  • Profiilileht kasutab esinduslikku komplekti. Komponentide täpse sobivuse leiad komplekti detailvaatest.
Gemma 4 12B tehnilised detailid

Mudelisari: Google Gemma 4

Parameetrite arv: 11.95B

Struktuur: 11.95B tihe

Litsents: Apache License 2.0; lubatud. See on üldine sobivushinnang; enne ärilist kasutust kontrolli mudeli litsentsi.

Algne kontekstiaken: 262 144 tokenit

Kvantimine: Q4_0 QAT

Q4 mudelikaalude ligikaudne maht: 7.2 GB

Vaikehinnang: 11.5 GB @ 8192 tokenit

Mudelikaalud / KV-vahemälu / käituskeskkond / varu: 7.2 GB / 1.5 GB / 1.2 GB / 1.5 GB

CPU- ja RAM-põhine varuvariant: Ei ole soovitatav

VRAM: 12 GB vähemalt / 16 GB soovituslik

RAM: 24 GB vähemalt / 32 GB soovituslik

Praegune käitusviis: Sobib hästi GPU-l käitamiseks

Oodatav kogemus: Kiire

Kogu mudeli GPU-le laadimine: Ainult siis, kui mudel ja kontekst mahuvad mällu

Konteksti hoiatus: Suur kontekstiaken vajab endiselt märkimisväärset KV-vahemälu varu.

KontekstKaaludKVKäituskeskkondVaruGPU-mälu hinnang
4K7.2 GB1 GB1.2 GB1.5 GB11 GB
8K7.2 GB1.5 GB1.2 GB1.5 GB11.5 GB
16K7.2 GB2.5 GB1.2 GB1.5 GB12.5 GB
32K7.2 GB5 GB1.2 GB2 GB15.5 GB

Kõigi mäluhinnangute vaatamiseks libista tabelit külgsuunas.

Teabeallikad

Google Gemma model overviewGemma 4 release notesOllama Gemma 4 tags

Andmed kontrollitud: 2026-07-30

Qwen3.5 9B tehnilised detailid

Mudelisari: Qwen3.5

Parameetrite arv: 9B

Struktuur: 9B tihe

Litsents: Apache License 2.0; lubatud. See on üldine sobivushinnang; enne ärilist kasutust kontrolli mudeli litsentsi.

Algne kontekstiaken: 262 144 tokenit

Laiendatud kontekstiaken: 1 010 000 meetodiga YaRN; ei ole vaikimisi sobivuseeldus

Kvantimine: Q4_K_M

Q4 mudelikaalude ligikaudne maht: 6.6 GB

Vaikehinnang: 11 GB @ 8192 tokenit

Mudelikaalud / KV-vahemälu / käituskeskkond / varu: 6.6 GB / 1.5 GB / 1.2 GB / 1.5 GB

CPU- ja RAM-põhine varuvariant: Ei ole soovitatav

VRAM: 8 GB vähemalt / 12 GB soovituslik

RAM: 16 GB vähemalt / 32 GB soovituslik

Praegune käitusviis: Sobib hästi GPU-l käitamiseks

Oodatav kogemus: Kiire

Kogu mudeli GPU-le laadimine: Ainult siis, kui mudel ja kontekst mahuvad mällu

Konteksti hoiatus: Alusta umbes 8K kontekstiga, kuigi mudel toetab märksa pikemat konteksti.

KontekstKaaludKVKäituskeskkondVaruGPU-mälu hinnang
4K6.6 GB1 GB1.2 GB1.5 GB10.5 GB
8K6.6 GB1.5 GB1.2 GB1.5 GB11 GB
16K6.6 GB2.5 GB1.2 GB1.5 GB12 GB
32K6.6 GB5 GB1.2 GB2 GB15 GB

Kõigi mäluhinnangute vaatamiseks libista tabelit külgsuunas.

Teabeallikad

Qwen3.5 9B official model cardOllama Qwen3.5 tags

Andmed kontrollitud: 2026-07-30

Qwen3.6 27B tehnilised detailid

Mudelisari: Qwen3.6

Parameetrite arv: 27B

Struktuur: 27B tihe

Litsents: Apache License 2.0; lubatud. See on üldine sobivushinnang; enne ärilist kasutust kontrolli mudeli litsentsi.

Algne kontekstiaken: 262 144 tokenit

Laiendatud kontekstiaken: 1 010 000 meetodiga YaRN; ei ole vaikimisi sobivuseeldus

Kvantimine: Q4_K_M

Q4 mudelikaalude ligikaudne maht: 17 GB

Vaikehinnang: 23 GB @ 8192 tokenit

Mudelikaalud / KV-vahemälu / käituskeskkond / varu: 17 GB / 2 GB / 1.5 GB / 2.5 GB

CPU- ja RAM-põhine varuvariant: Ei ole soovitatav

VRAM: 24 GB vähemalt / 32 GB soovituslik

RAM: 48 GB vähemalt / 64 GB soovituslik

Praegune käitusviis: Võimalik ainult mudeli osade GPU-le laadimisega

Oodatav kogemus: Väga aeglane

Kogu mudeli GPU-le laadimine: Ainult siis, kui mudel ja kontekst mahuvad mällu

Konteksti hoiatus: Koodihoidla või väga pika dokumendi kontekst võib ületada 24 GB kaardi mugava mahu.

KontekstKaaludKVKäituskeskkondVaruGPU-mälu hinnang
4K17 GB1 GB1.5 GB2.5 GB22 GB
8K17 GB2 GB1.5 GB2.5 GB23 GB
16K17 GB4 GB1.5 GB3 GB25.5 GB
32K17 GB8 GB1.5 GB3.5 GB30 GB

Kõigi mäluhinnangute vaatamiseks libista tabelit külgsuunas.

Teabeallikad

Qwen3.6 27B official model cardOllama Qwen3.6 tags

Andmed kontrollitud: 2026-07-30

Kohaliku tehisaru jõudlus on ligikaudne. Tulemus sõltub kvantimisest, konteksti pikkusest, käitusmootorist, draiveritest ja sellest, kas mudel koos KV-vahemäluga mahub GPU-mällu või Apple'i ühismällu.