Komputery Dużej Mocy (KDM)

Dział Usług Obliczeniowych zajmuje się utrzymaniem i rozbudową KDM. Zasoby obliczeniowe Centrum połączone są siecią wewnętrzną WCSS i podłączone do Wrocławskiej Akademickiej Sieci Komputerowej (WASK).

W 2024 roku uruchomiono klaster Lem, najnowszą maszynę obliczeniową Centrum, która w czerwcu 2024 r. znalazła się na 80. miejscu listy TOP500 najszybszych komputerów świata.

Infrastruktura superkomputera Lem łączy maszyny obliczeniowe CPU oraz GPU. Partycja CPU składa się z 188 węzłów, 23 808 rdzeni oraz 279 TB pamięci RAM. Partycja GPU to 76 węzłów wyposażonych w 304 akceleratory NVIDIA H100 połączonych technologią NVLink z 96 GB pamięci podręcznej na akcelerator.

Ponadto klaster wyposażony jest w 64 węzły usługowe, w tym: 40 węzłów GPU (NVIDIA A30), 24 węzły CPU (48 rdzeni per węzeł). Węzły obliczeniowe CPU i GPU wyposażone są odpowiednio w 1,5 TB oraz 1 TB pamięci RAM. Sieć oparta jest między innymi o interfejsy InfiniBand 4x NDR 200 Gb/s dla węzłów GPU; 2x NDR 200 Gb/s dla węzłów CPU i 2x HDR 100 Gb/s dla węzłów usługowych. Sumaryczna moc obliczeniowa systemu wynosi 21 Pflops.

Storage klastra:

• Dyski udostępniane przy użyciu protokołu sieciowego NFS, HTTP(s), CIFS – 2 PB przestrzeni, przepustowość 6 GB/s,
• Dyski udostępniane przy użyciu protokołu sieciowego LUSTRE – łącznie 2 PB przestrzeni (trwałej oraz tymczasowej), przepustowość 100 Gb/s,
• Przestrzeń obiektowa S3 – 6 PB, przepustowość 200 Gb/s,
• Lokalna przestrzeń tymczasowa węzłów superkomputera– łącznie 1 PB NVME.

Klaster powstał m.in. dzięki finansowaniu ze środków projektu EuroHPC PL.

Od czerwca 2021 r. udostępniony do użytkowania jest też klaster Bem 2, maszyna obliczeniowa Centrum o następujących parametrach:

• węzeł dostępowy dla użytkowników lokalnych KDM WCSS: ui.wcss.pl
• moc obliczeniowa: 2,2 PFLOPS
• system operacyjny: Alma Linux
• mikroarchitektura: Cascade Lake
• rdzenie CPU: 24 288
• pamięć RAM: 141 TB
• przestrzeń tymczasowa: 750 TB Lustre
• 506 węzłów obliczeniowych:
  •  277 węzłów HUAWEI CH121L V5 złożonych z:
    • CPU: 2 x Intel Xeon Platinum 8268 (24 rdzenie, 2,9 GHz)
    • RAM: 192 GB 2933 MHz ECC DDR4
    • karta sieciowa Infiniband EDR 100 Gbps
  • 229 węzłów HUAWEI CH121L V5 złożonych z:
    • CPU: 2 x Intel Xeon Platinum 8268 (24 rdzenie, 2,9 GHz)
    • RAM: 384 GB 2933 MHz ECC DDR4
    • karta sieciowa Infiniband EDR 100 Gbps

• sieć obliczeniowa: Interconnect Infiniband EDR, przepustowość do 100 Gbps, o ultra niskich opóźnieniach (rzędu mikrosekund)
• oprogramowanie dostępne na klastrze Bem 2.

Oprogramowanie naukowe wykorzystywane w pracy z klastrami to m.in. Gaussian, Quantum ESPRESSO, system kolejkowy SLURM. Zespół KDM zapewnia wsparcie naukowcom w zakresie przygotowania i uruchomienia obliczeń, kompilacji oprogramowania i optymalizacji aplikacji.

Korzystanie z komputerów dużej mocy w WCSS jest nieodpłatne, odbywa się na zasadach opisanych w zakładce Lista usług - Przetwarzanie danych na superkomputerze. Wnioski o dostęp do zasobów obliczeniowych przyjmowane są w trybie ciągłym.