Privaatne kohapealne AI organisatsioonidele

Mida LLMLab.ee tarnib

Töö algab kasutusvajaduse, mudelite, andmemahu, kasutajate arvu ja olemasoleva IT-keskkonna täpsustamisest. Seejärel valime riistvara, paneme süsteemi kokku, seadistame kokkulepitud kohaliku AI tarkvara ning kontrollime põhifunktsioonid enne üleandmist.

• Riistvara ja mälumahu valik kokkulepitud töövoo järgi.
• Arvuti kokkupanek, operatsioonisüsteemi ja kokkulepitud kohalike tööriistade seadistus.
• Sobivuse, töö ulatuse, tarne ja lõpliku hinna kinnitamine kirjalikus pakkumises.
• Üleandmisel kokkulepitud kontrollnimekiri ja piirangute selgitus.

Andmepiir ja privaatsus

Kohalikult käitatav mudel võib töödelda sisendit organisatsiooni enda riistvaras, ilma et töövoog eeldaks avalikku AI-teenust. Tegelik andmevoog sõltub siiski valitud mudelist, tarkvarast, uuendustest, integratsioonidest ja võrguseadistusest ning see vaadatakse enne üleandmist eraldi läbi.

• LLMLab.ee ei nimeta süsteemi õhuvahega, sertifitseeritud või kindlale regulatsioonile vastavaks ilma eraldi tõendatud töö ulatuseta.
• Mudelite litsentsid, kasutusõigused ja organisatsiooni andmete klassifitseerimine jäävad kliendiga kooskõlastatavaks.
• Hinnapäringu kontaktandmeid käsitletakse privaatsustingimuste järgi; neid ei kasutata mudeli treenimiseks.

Sobivad töövood ja piirangud

Tüüpilised lähtekohad on privaatne vestlus, dokumentide kohta küsimine, kohalik programmeerimisabi ja väiksemate mudelite adapteripõhine kohandamine. Täpne mudel, konteksti pikkus, kasutajate arv ja jõudlus kontrollitakse enne pakkumist.

• Väga suured, mitme GPU-ga või paljude samaaegsete kasutajatega süsteemid vajavad individuaalset arhitektuuri- ja elektri/jahutuse kontrolli.
• Täismudeli nullist treenimist ei käsitleta väikese tööjaama tavapärase võimekusena.
• Maci, CUDA ja eksperimentaalsete eGPU tööteede piiranguid ei käsitleta omavahel samaväärsena.

Hinnapakkumise protsess

• Kirjelda töövoogu, mudeliklassi, kasutajate arvu, andmemahtu ja olemasolevat keskkonda.
• LLMLab.ee vastab täpsustavate küsimuste ja sobiva süsteemitee ettepanekuga.
• Kirjalik pakkumine kinnitab täpse konfiguratsiooni, saadavuse, töö ulatuse, koguhinna ja tarne.
• Makse või riistvara tellimine toimub alles pärast kirjaliku pakkumise kinnitamist.