AI інфраструктура

Обчислювальні потужності

Кластер лабораторії поєднує віртуалізацію, контейнерну інфраструктуру, GPU-сервери для інференсу та вузли для паралельних і розподілених обчислень.

Серверна лабораторії технологій штучного інтелекту ЛНУ
Серверна інфраструктура лабораторії ШІ ЛНУ: віртуалізація, GPU inference-вузли та кластерні сервіси для навчання і досліджень.
01

Proxmox cluster

Базовий шар віртуалізації для навчальних і дослідницьких сервісів, ізольованих середовищ, GPU-вузлів та швидкого розгортання віртуальних машин.

25 серверів з віртуальними машинами
02

Rocks Cluster

Окремий кластер для задач паралельних і розподілених обчислень, моделювання, пакетної обробки даних та навчальних HPC-практик.

8 вузлів для HPC-задач
03

Kubernetes

Контейнерна оркестрація для сервісів лабораторії, експериментальних API, навчальних стендів і масштабованого запуску прикладних рішень.

оркестрація сервісів та API
04

Docker ecosystem

Єдиний підхід до відтворюваних середовищ: контейнери для Python, ML-стеків, баз даних, черг, вебсервісів і студентських проєктів.

відтворювані середовища
05

AI inference servers

GPU-сервери для запуску моделей комп’ютерного зору, NLP, генеративного ШІ та прикладних inference-сценаріїв у навчанні й дослідженнях.

10 окремих inference-серверів
Схема інфраструктури

Топологія кластера

Стисле операційне представлення віртуалізації, GPU inference, HPC-вузлів та контейнерних сервісів лабораторії.

AI інфраструктура 43 вузли
Proxmox 25 серверів
AI inference 10 окремих серверів
Rocks 8 HPC вузлів
Kubernetes service orchestration
Docker ecosystem AI inference servers University AI infrastructure
Ресурси кластера

Моніторинг ресурсів

25 Proxmox серверів

віртуалізація, навчальні VM, GPU-вузли

8 Rocks вузлів

паралельні та розподілені обчислення

10 Inference серверів

окремі сервери для запуску AI-моделей

198 CPU-ядер

округлена сумарна обчислювальна потужність

490 GB RAM

орієнтовний сумарний обсяг оперативної пам’яті

1% CPU

198 ядер

сукупна CPU-потужність
41% Пам’ять

201 GB / 490 GB

використано
16% Сховище

895.77 GiB / 5.34 TiB

використано

Proxmox

25 online
pxm-01 online

GPU inference

CPU + GPU
18 VM 42%
RTX 3080 Ti
pxm-02 online

GPU training

CPU + GPU
14 VM 57%
2x RTX 3080
pxm-03 online

Virtualization

CPU
12 VM 34%
pxm-04 online

Legacy GPU

CPU + GPU
9 VM 36%
GTX 1080 Ti
pxm-05 online

Virtualization

CPU
16 VM 31%
pxm-06 online

Virtualization

CPU
11 VM 28%
pxm-07 online

Virtualization

CPU
13 VM 33%
pxm-08 online

Virtualization

CPU
10 VM 21%
pxm-09 online

Virtualization

CPU
15 VM 39%
pxm-10 online

Virtualization

CPU
8 VM 18%
pxm-11 online

Virtualization

CPU
12 VM 25%
pxm-12 online

Virtualization

CPU
17 VM 44%
pxm-13 online

Virtualization

CPU
7 VM 19%
pxm-14 online

Virtualization

CPU
10 VM 23%
pxm-15 online

Virtualization

CPU
9 VM 20%
pxm-16 online

Virtualization

CPU
3 VM 27%
pxm-17 online

Virtualization

CPU
2 VM 30%
pxm-18 online

Virtualization

CPU
1 VM 16%
pxm-19 online

Virtualization

CPU
3 VM 35%
pxm-20 online

Virtualization

CPU
0 VM 14%
pxm-21 online

Virtualization

CPU
2 VM 29%
pxm-22 online

Virtualization

CPU
1 VM 22%
pxm-23 online

Virtualization

CPU
3 VM 26%
pxm-24 online

Virtualization

CPU
0 VM 17%
pxm-25 online

Virtualization

CPU
2 VM 24%

Rocks Cluster

8 online
rocks-01 Head node
rocks-02 Compute node
rocks-03 Compute node
rocks-04 Compute node
rocks-05 Compute node
rocks-06 Compute node
rocks-07 Compute node
rocks-08 Compute node

AI inference

10 online
inf-01 AI inference
inf-02 Model API
inf-03 Computer vision
inf-04 NLP inference
inf-05 Batch inference
inf-06 Student workloads
inf-07 Demo services
inf-08 GPU services
inf-09 Data services
inf-10 Reserve inference