oyd@lab:~oyd bench --list --verbose

Matavimai

Lokalių kalbos modelių greitis mūsų įrangoje: kokia įranga, koks modelis, kokie nustatymai ir koks rezultatas. Sąrašas pildomas po kiekvieno naujo bandymo.

stdout

> 0 results

> Pirmieji matavimai ruošiami

> Čia skelbsime tik tai, ką patys išmatavome savo įrangoje: modelį, nustatymus ir rezultatą. Kol kas paruošta įranga.

> lsdev --lab ↓

oyd@lab:~lsdev --lab --all

Mūsų įranga

Matuojame savo įrangoje: nuo vienos vartotojiškos vaizdo plokštės iki kelių NVIDIA DGX Spark ir Apple Silicon kompiuterių.

qty	device	mem	status	note
4×	NVIDIA RTX 3090	24 GB	veikia	Viena veikia kaip eGPU serveris. Turime 4 lizdų NVLink tiltelį.
3×	NVIDIA DGX Spark	128 GB	veikia	Sujungti per ConnectX-7. Matuojame, kaip modeliai keičiasi nuo 1 iki 4 įrenginių.
1×	Mac Studio M5 Ultra	—	atvyksta
1×	NVIDIA RTX 2080 Ti	11 GB	veikia	Planuojame atminties praplėtimą iki 22 GB ir dviejų plokščių 44 GB stendą.
1×	NVIDIA RTX 3060	12 GB	veikia
2×	AMD RX 480	8 GB	veikia
2×	Mac (Apple Silicon)	—	veikia	Du Mac, sujungti per Thunderbolt RDMA.
2×	X99 (Intel)	—	veikia
1×	X299 (Intel)	—	atvyksta

oyd@lab:~cat METHOD.md

Kaip matuojame

[1] Matuojame savo įrangoje, su tais pačiais modeliais ir nustatymais, kurie aprašyti prie rezultato.
[2] Skelbiame tik tai, ką išmatavome patys. Gamintojų skaičių neperpasakojame.
[3] Kur buvo derinimas, rodome rezultatą prieš ir po jo.