VRAM-i ja mudelimahu planeerimine

Miks parameetrite arv üksi ei piisa

Mudeli kaalude ligikaudne mälumaht sõltub parameetrite arvust ja bittide arvust kaalu kohta, kuid tegelik käitamine vajab lisaks käituskeskkonna, vahemälude, konteksti ja ajutiste tensorite ruumi. Seetõttu ei ole väide „mudel mahub täpselt X GB-sse” ilma täpse mudeli, kvantimise ja kontekstita usaldusväärne.

• Kontrolli alati mudeli täpset varianti ja failimahtu.
• Arvesta KV-vahemälu kasvu koos konteksti ja samaaegsete päringutega.
• Jäta GPU-mällu varu käituskeskkonnale ja mitte ainult kaaludele.

Kvantimine ja jõudlus

Madalam bitisügavus vähendab kaalude mälumahtu, kuid võib muuta kvaliteeti, kiirust ja toetatud tööriistu. Sama nimetusega Q4 failid võivad kasutada eri kvantimismeetodeid ning käituda erinevalt.

• Vali kvantimine koos kvaliteedi- ja kiirusnõudega.
• Kontrolli, kas valitud käituskeskkond toetab mudeli arhitektuuri ja kvantimist.
• Võrdle tegelikku töövoogu, mitte ainult ühe lühikese prompti kiirust.

GPU- ja süsteemimälu

Kui kogu mudel ei mahu GPU-mällu, saab osa kihte mõnes käituskeskkonnas süsteemimällu laadida. See võib teha mudeli kasutatavaks, kuid tavaliselt vähendab kiirust ja muudab tulemuse tundlikuks mälu läbilaskevõimele.

• GPU-mälu määrab kiireima täielikult GPU-l töötava tee.
• Süsteemimälu peab mahutama operatsioonisüsteemi, rakendused, andmed ja võimaliku offload'i.
• Apple Siliconi ühismälu ei ole üks-ühele võrreldav eraldi GPU VRAM-iga; osa mälust vajavad macOS ja rakendused.

Praktiline kontroll enne ostu

• Pane kirja täpne mudel, kvantimine, soovitud kontekst ja samaaegsete kasutajate arv.
• Määra, kas prioriteet on vestluskiirus, pikk kontekst, kood, dokumentide töötlemine või mudeli kohandamine.
• Kontrolli sobivust valitud käituskeskkonnaga ning jäta mälumahtu varuks.
• Käsitle LLMLab.ee lehel näidatud mudeliklasse lähtehinnanguna; kirjalik pakkumine kinnitab täpse konfiguratsiooni.