LLM ehk suur keelemudel
AI-mudel on andmete põhjal treenitud mudel, mis täidab kindlat ülesannet. LLM on tekstiga töötav suur keelemudel vestluseks, kirjutamiseks, programmeerimiseks, kokkuvõtete tegemiseks ja sarnasteks ülesanneteks.
Korduma kippuvad küsimused
Lihtsad vastused kohaliku tehisaru kasutamiseks sobiva arvuti valimise, piirangute mõistmise ja tellimise kohta.
Alusta siit
Kõige lühem tee, kui võrdled LLMLab.ee kuut põhikomplekti.
Mida tähendab kohalik AI?
Kohalik AI tähendab, et mudel töötab sinu enda arvutis, mitte ainult pilveteenuses. Kohalik vestlus on lihtne näide: suhtled kohaliku AI-mudeliga näiteks Ollama, LM Studio või Open WebUI kaudu.
Kas need PC-d käitavad ChatGPT-d?
Mitte ChatGPT-d ennast. ChatGPT ja Claude on pilveteenused. LLMLab komplektid käitavad kohalikke või avatud mudeleid, mis võivad vestluses, koodis ja dokumentidega töös sarnased tunduda, kuid tulemus sõltub mudelist ja seadetest.
Milliseid mudelisuurusi saan kasutada?
Väiksemad 7B/8B mudelid on kõige lihtsam siht. 13B/14B mudelid vajavad tavaliselt vähemalt 16 GB videomälu või piisavalt Apple'i ühismälu. 30B/34B-klass vajab rohkem varu. 70B-klassi mudelid nõuavad põhjalikku sobivuskontrolli ega ole 16 GB videomäluga GPU puhul tavapärane siht.
Kas hinnapäringu esitamisel võetakse makse?
Ei. Hinnapäring kogub ainult kontaktandmed ja soovid. Seejärel saadame kirjaliku hinnapakkumise, mis sisaldab täpset kogusummat, saadavust, konfiguratsiooni ja järgmist maksesammu.
Miks vajavad mõned tooted kirjalikku pakkumist?
Komponentide hinnad ja saadavus muutuvad kiiresti. Kontrollitud hinnaga toote eest saab tasuda Stripe'is; muude konfiguratsioonide puhul saadame esmalt täpse kogusumma ja kinnitatud saadavusega kirjaliku pakkumise.
Kas saan abi, kui ma tehnilistest näitajatest aru ei saa?
Jah. Alusta sellest, mida tahad teha, mitte konkreetsest GPU mudelist. Kui valik on ebaselge, esita hinnapäring ning kirjelda vajalikke rakendusi, mudeleid, mänge või dokumente.
Tehnilised mõisted lihtsas keeles
Lühikesed selgitused sõnadele, mida näed komplekti lehtedel ja tellimusvormides.
GPU, VRAM ja RAM
GPU teeb suurema osa AI-arvutustest. VRAM on graafikakaardi videomälu. RAM on arvuti süsteemimälu, mida kasutavad rakendused ja andmetöötlus ning kuhu saab vajaduse korral laadida osa mudelist.
CUDA
NVIDIA arvutusplatvorm, mida kasutavad paljud AI-tööriistad. See on üks põhjus, miks NVIDIA GPU-ga arvuti on sageli lihtsaim valik kohaliku tehisaru kasutamiseks.
Mudeli käitamine ehk järeldamine
Juba treenitud mudeli kasutamine vastamiseks, kirjutamiseks, koodi loomiseks, kokkuvõteteks või muu väljundi saamiseks. Enamik kohalikke vestlustöövooge kasutab mudeli järeldamist.
Kvantimine
Mudeli arvulise täpsuse vähendamine, et see vajaks vähem mälu ja oleks kohalikus arvutis praktilisem. Kvantimine võib mõjutada väljundi kvaliteeti või käitamiskiirust.
Kontekstipikkus
Kui palju teksti mudel korraga arvesse võtab. Pikem kontekst kasutab rohkem mälu, seega sama mudel võib lühikese kontekstiga mahtuda ja pikaga mitte.
RAG
Otsinguga täiendatud genereerimine: rakendus otsib sinu dokumentidest asjakohased lõigud ja annab need mudelile. See ei ole mudeli püsiv treenimine.
Peenhäälestus, LoRA ja QLoRA
Peenhäälestus kohandab mudelit näidete järgi. LoRA ja QLoRA on väiksema ressursikuluga adaptermeetodid. Model Tuning PC on mõeldud nende kasutamiseks, mitte uue alusmudeli nullist treenimiseks.
Ühismälu ja eGPU
Apple'i ühismälu on CPU ja GPU ühine mälu, kuid see ei ole sama mis eraldiseisev videomälu. eGPU on väline GPU; Maci ja eGPU-ga lahendus on eksperimentaalne AI-arvutuslahendus, mitte tavaline macOS-i graafikakiirendus.
Kirjalik hinnapakkumine, komponentide kogusumma, kokkupanek ja seadistus
Hinnapäringu esitamisel makset ei võeta. Komponentide kogusumma on osade hinnanguline maksumus; kokkupanek ja seadistus hõlmavad arvuti ehitamist, seadistamist, testimist ja üleandmist.
Komplekti valimine
Mis vahe on Local Chat PC ja Model Tuning PC vahel?
Local Chat PC on igapäevaseks privaatseks vestluseks, programmeerimisabilisteks ja väikesteks RAG-projektideks. Model Tuning PC lisab 32 GB Radeon AI PRO GPU Linuxi ja ROCm-i Pythoni-töövoogude, andmestike, kontrollpunktide ning adapteripõhiste häälestuskatsete jaoks; täpne tarkvarakomplekt kontrollitakse enne pakkumist.
Mis vahe on AI + Gaming PC ja Pro AI Workstation vahel?
AI + Gaming PC ühendab mängud, loomerakendused ja kohaliku AI ühes võimsas arvutis. Pro AI Workstation sobib suuremate projektide, nõudlikuma loome- ja renderdustöö ning suuremat mälu vajavate töövoogude jaoks.
Kas peaksin valima PC või Maci kohaliku AI jaoks?
Vali PC, kui CUDA-tööriistad, NVIDIA videomälu, uuendatavus või AI-tarkvara lai ühilduvus on tähtsad. Vali AI-Ready Mac, kui eelistad macOS-i, vaikset tööd, MLX-i ja Metali töövooge ning lihtsat kohalikku vestlust Apple'i ühismälu piires.
Kas saan komplekti muuta?
Jah. Komplekti lehed on lähtepunktid. Hinnapäringus saad küsida rohkem salvestusruumi või RAM-i, vaiksemat jahutust, teist korpust või kindlat tarkvaraseadistust.
Kohaliku AI põhitõed
Miks kasutada AI-d kohalikult, mitte ainult ChatGPT-d või Claude'i?
Kohalik AI võib parandada privaatsust, võimaldada võrguühenduseta kasutamist ja aidata korduva töö kulusid kontrollida. Pilvetööriistad võivad paljudes ülesannetes endiselt võimekamad olla. Paljud kasutavad mõlemat.
Mis on kohalik vestlus?
Kohalik vestlus on ChatGPT-laadne liides, mis kasutab sinu arvutis töötavat mudelit. Vastuse kvaliteet sõltub mudelist, juhisest, kvantimisest, kontekstipikkusest ja tarkvarast.
Mis on mudeli järeldamine?
Mudeli järeldamine tähendab juba treenitud mudeli kasutamist. Vestlus, koodiabi, kokkuvõtete tegemine ning dokumentide kohta küsimine on kõik mudeli järeldamise töövood.
Mudelid ja jõudlus
Miks mudeli suurus, kvantimine ja kontekstipikkus loevad?
Mudeli suurus mõjutab mälukasutust ja võimekust. Kvantimine vähendab mälukulu. Kontekstipikkus määrab, kui palju teksti mudel korraga arvesse võtab. Mudel, mis mahub mällu lühikese kontekstiga, ei pruugi pika kontekstiga mahtuda või võib töötada aeglasemalt.
Kas mudelisoovitused tagavad kindla jõudluse?
Ei. Need on konservatiivsed planeerimisjuhised. Tegelik jõudlus sõltub mudeli versioonist, kvantimisest, kontekstist, tarkvarast, draiveritest, töötemperatuurist ja seadetest.
Kuidas LLMLab hindab, kas komplekt sobib?
Kontroll algab mälusobivusest. Seejärel vaatame GPU-tuge, süsteemimälu, salvestusruumi, jahutust, toidet, tarkvara küpsust ja seda, kas konfiguratsioon vajab enne ostu käsitsi ülevaatust.
Mängimine ja loometöö
Kas AI + Gaming PC mängib ka hästi?
Jah, see on selle komplekti mõte. See on võimas mängu- ja loomearvuti, mis sobib ka kohalike AI-töövoogude jaoks. Jõudlus sõltub siiski mängust, eraldusvõimest, seadetest ja draiveritest.
Kas sama PC-d saab kasutada mängimiseks ja AI-ks?
Jah, aga mitte mõlemat korraga täiskoormusel. Nõudlikud AI-tööd ja mängud jagavad GPU-d, videomälu, voolu ja jahutust.
Kas AI-töö vähendab mängujõudlust, kui mõlemad töötavad korraga?
Tavaliselt jah. Kui mudel kasutab GPU-d ja videomälu, jääb mängule vähem varu. Planeeri pikemad mudeli käitamise, pildiloome või häälestamise tööd ajale, mil sa ei mängi.
Kas Pro AI Workstation sobib renderduseks või loometööks?
Tihti jah. Suure videomäluga NVIDIA tööjaamakomplektid võivad kiirendada renderdamist ning 3D-, video- ja loometööd, kuid täpne kasu sõltub rakendusest ja renderdusmootorist.
Mac ja eGPU
Kas Macid käitavad kohalikku AI-d?
Jah. AI-Ready Maci süsteemid saavad käitada kohalikku AI-d Apple'i tööriistadega, nagu MLX, Metal, Core ML, Ollama ja LM Studio. Võimekust piiravad ühismälu maht ja tarkvaratugi.
Kas Mac käitab CUDA-töövooge?
Ei. Apple Siliconiga Macid ei käita CUDA-töövooge. Kui sinu töövoog vajab CUDA-t, on NVIDIA GPU-ga arvuti tavaliselt praktiline valik.
Mis on ühismälu?
Ühismälu on Apple'i mälu, mida CPU ja GPU jagavad. See võib olla kohaliku tehisaru kasutamisel kasulik, kuid ei ole sama mis NVIDIA videomälu ning neid ei tasu üks ühele võrrelda.
Miks on Maci ja eGPU-ga lahendus eksperimentaalne?
Sest see on AI-arvutuseks mõeldud erilahendus, millega kaasneb täiendav ühilduvusrisk. Enne hinnapakkumist tuleb kontrollida konkreetset tarkvara ja käituskeskkonda.
Tellimused, hinnad, tarne ja tugi
Mida tähendab müük hinnapakkumise alusel?
Hinnapakkumise alusel müüdava komplekti päring ei kogu makse- ega kaardiandmeid. Kontrollime hinda, saadavust, ühilduvust, tellimuse suurust ja töökoormuse sobivust ning saadame kirjaliku pakkumise.
Mis juhtub pärast hinnapäringu esitamist?
Saad e-postiga kinnituse ja makset ei võeta. Vaatame päringu üle ning vastame küsimuste või kirjaliku pakkumisega, mis sisaldab täpset kogusummat, saadavust ja võimalikke muudatusi.
Kas hilisemaid uuendusi toetatakse?
Jah, kui platvorm seda võimaldab. GPU, RAM, salvestus, jahutus ja toiteplokk on lauaarvutites lihtsamini planeeritavad kui Macides.
Kas AI-tarkvara paigaldatakse?
Praktiline algseadistus võib kokkuleppel kuuluda tellimusse või pakkumisse. Tarkvara ökosüsteem muutub kiiresti, seega võivad mudelite või tööriistade hilisemad uuendused vajada järelabi.
Mida tugi hõlmab?
Tugi hõlmab kokkulepitud komplekti, üleandmisjuhiseid ja algset tarkvarakomplekti. Hilisemad mudelimuudatused, kohandatud andmestikud ja töövoogude arendus võivad vajada eraldi järelteenust.
Valikuabi
Kas vajad valimisel abi?
Soovituste juhend laaditakse, kui selleni jõuad.