Privaatne kohapealne AI organisatsioonidele

Mida LLMLab.ee tarnib

Täpsustame kasutusvajaduse, mudelid, andmemahu, kasutajate arvu ja IT-keskkonna. Seejärel valime riistvara, seadistame tarkvara ja kontrollime süsteemi enne üleandmist.

• Riistvara ja mälumahu valik töövoo järgi.
• Arvuti kokkupanek ning operatsioonisüsteemi ja kohalike tööriistade seadistus.
• Kirjalik pakkumine ja üleandmise kontrollnimekiri koos teadaolevate piirangutega.

Andmepiir ja privaatsus

Kohalik mudel võib töödelda sisendit organisatsiooni enda riistvaras. Tegelik andmevoog sõltub tarkvarast, integratsioonidest ja võrguseadistusest ning vaadatakse enne üleandmist läbi.

• Õhuvahega, sertifitseeritud või regulatsioonile vastavat süsteemi lubame ainult eraldi tõendatud töö ulatuses.
• Mudelite litsentsid, kasutusõigused ja andmete klassifitseerimine kooskõlastatakse kliendiga.
• Hinnapäringu andmeid ei kasutata mudeli treenimiseks.

Sobivad töövood ja piirangud

Tüüpilised töövood on privaatne vestlus, dokumendiküsimused, programmeerimisabi ja väiksemate mudelite adapteripõhine kohandamine. Mudel, kontekst, kasutajate arv ja jõudlus kontrollitakse enne pakkumist.

• Mitme GPU või paljude kasutajatega süsteem vajab eraldi arhitektuuri-, elektri- ja jahutuskontrolli.
• Väike tööjaam ei ole mõeldud täismudeli nullist treenimiseks.
• Maci, CUDA ja eksperimentaalse eGPU piirangud on erinevad.

Hinnapakkumise protsess

• Kirjelda töövoogu, mudeliklassi, kasutajaid, andmemahtu ja keskkonda.
• Täpsustame vajaduse ja saadame konfiguratsiooni, saadavuse, töö ulatuse, hinna ning tarnega pakkumise.
• Makse ja riistvara tellimine järgnevad pakkumise kinnitamisele.