oyd@lab:~$ ./boot --on-your-device
[ ok ] gpu ....... 4× RTX 3090 · 3× DGX Spark
[ ok ] weights ... on local disk
[ ok ] network ... no cloud required
[ ok ] privacy ... data never leaves your device
On Your Device Super Intelligence
Parenkame įrangą, įdiegiame ir suderiname kalbos modelius, kurie veikia jūsų infrastruktūroje. Duomenys lieka įmonėje, o už kiekvieną užklausą mokėti nereikia.
oyd@lab:~$
oyd@lab:~cat services.md
Galite užsakyti visą kelią arba atskirą dalį.
Palyginame GPU serverius, NVIDIA DGX Spark ir Apple Silicon kompiuterius su jūsų užduotimis ir modeliais. Išmatuojame greitį, konteksto ilgį ir kokybę, kad pirktumėte tai, ko iš tikrųjų reikia.
Paruošiame serverį ar Mac kompiuterį, įdiegiame modelių serverį su OpenAI suderinamu API, sukonfigūruojame prieigas, automatinį paleidimą ir stebėseną.
Parenkame atvirą modelį jūsų užduočiai ir išspaudžiame iš įrangos daugiau: kvantizacija, spekuliacinis dekodavimas, ilgas kontekstas, vaizdų atpažinimas.
Lokalų modelį sujungiame su tuo, ką komanda jau naudoja: paieška įmonės dokumentuose, pokalbių ar programavimo asistentas, integracijos per API.
oyd@lab:~oyd bench --list
Skaičiai iš mūsų pačių sistemų. Tokius pat matavimus atliekame su jūsų užduotimis prieš siūlydami sprendimą.
> 0 results
> Pirmieji matavimai ruošiami
> Čia skelbsime tik tai, ką patys išmatavome savo įrangoje: modelį, nustatymus ir rezultatą. Kol kas paruošta įranga.
oyd@lab:~lsdev --lab
| qty | device | mem | status |
|---|---|---|---|
| 4× | NVIDIA RTX 3090 | 24 GB | veikia |
| 3× | NVIDIA DGX Spark | 128 GB | veikia |
| 1× | Mac Studio M5 Ultra | — | atvyksta |
| 1× | NVIDIA RTX 2080 Ti | 11 GB | veikia |
| 1× | NVIDIA RTX 3060 | 12 GB | veikia |
| 2× | AMD RX 480 | 8 GB | veikia |
| 2× | Mac (Apple Silicon) | — | veikia |
oyd@lab:~cat process.txt
Išsiaiškiname, kokius darbus DI turi atlikti, su kokiais duomenimis ir kokie privatumo reikalavimai.
Išbandome kelis modelius ir įrangą su jūsų užduotimis: greitį, kokybę ir konteksto ilgį. Sprendžiame pagal skaičius.
Sukonfigūruojame įrangą, modelius, API ir prieigas jūsų tinkle. Sistema pati pasileidžia po perkrovimo.
Stebime, kaip sistema veikia, ir išbandome naujus modelius. Atnaujiname tik tada, kai matavimai rodo naudą.
oyd@lab:~man local-ai
Sutartys, klientų duomenys ar kodas lieka jūsų tinkle. Nereikia derinti, ką galima siųsti išoriniam paslaugų teikėjui.
Išlaidos priklauso nuo įrangos ir elektros, o ne nuo to, kiek darbuotojai naudojasi sistema.
Modelis nepasikeis ir neišnyks be jūsų sprendimo. Galite jį pakeisti, kai pasirodo geresnis.
Didžiausi debesų modeliai kai kuriose užduotyse vis dar stipresni. Jei jūsų atveju lokalus sprendimas neapsimoka, pasakysime tai po matavimų.
oyd@lab:~oyd --faq
Priklauso nuo užduoties ir modelio dydžio. Mažesniems modeliams užtenka vieno gero GPU ar Apple Silicon kompiuterio, didesniems reikia daugiau atminties arba kelių įrenginių. Tai išsiaiškiname matavimais, prieš jums perkant.
Kai kuriose užduotyse taip, kai kuriose ne. Todėl pradedame nuo bandymų su jūsų tikromis užduotimis ir parodome rezultatus prieš priimant sprendimą.
Modelis veikia jūsų įrangoje ir jūsų tinkle. Jei kuriai nors daliai, pavyzdžiui, atnaujinimams, reikia interneto, tai aiškiai aprašome, ir tą ryšį galima išjungti.
Taip. Išmatuojame, ką ji pajėgia, ir pasakome, kokius modelius ir užduotis su ja realu vykdyti.
oyd@lab:~mail info@webedge.dev
Parašykite, kokius darbus norite atlikti ir kokią įrangą turite ar planuojate. Pasiūlysime, ką išmatuoti pirmiausia.
info@webedge.devVilnius, Lietuva · dirbame visoje ES · LT / EN / RU