Jesteś tutaj

Klaster obliczeniowy Blueocean

Aktualności

31.08.2021

UWAGA! Zmiana systemu kolejkowego na klastrze BlueOcean!

Wraz z końcem września w dniach 28-29.09.2021 planujemy prace modernizacyjne i w tym czasie klaster BlueOcean będzie niedostępny. Planowane prace zostaną zwieńczone oddaniem do użytku w dniu 30.09.2021 nowej odsłony klastra posiadającej nowy system kolejkowy SLURM. Dla większości z Państwa nie będzie to żadna nowość ponieważ system ten jest podstawowym systemem kolejkowym we wszystkich centrach obliczeniowych infrastruktury PL-GRID. Warto zauważyć, że z punktu widzenia użytkownika korzystającego z klastra wyłącznie interaktywnie poprzez interfejs Jupytera zmiana będzie praktycznie niezauważalna. Zmianie ulegnie oczywiście obsługa zadań w kolejce.

Jednocześnie informujemy, że stara odsłona klastra z systemem kolejkowym SGE zostanie z dniem 28.09.2021 wyłączona a jej węzły obliczeniowe wygaszone - nie będzie również możliwe korzystanie ze 'starych' sesji interaktywnych Jupytera wykorzystujących system SGE. Prosimy o rozważne dodawanie zadań tak aby obliczenia zakończyły się do wyznaczonego terminu.

23.3.2020
Zmiany w polityce przydziału zasobów obliczeniowych klastra
Chcąc ciągle podnosić wydajność klastra obliczeniowego zaplanowaliśmy szereg zmian. Pierwsza z nich to zmiana polityki przydziału zasobów obliczeniowych. Postanowiliśmy wprowadzić jedna zunifikowana kolejka dla wszystkich klasycznych zadań obliczeniowych - boqueue. Więcej na stronie Pytania i odpowiedzi (faq)

9.07.2019
Aktualizacja oprogramowania Ansys do wersji 19.2. Szczegóły dotyczące aktualizacji i możliwości wykorzystania nowej wersji dostepne sa na stronie ansys_19.2

24.06.2019
Aktualizacja regulaminu klastra, aktualizacja dotyczy dołączenia informacji o instalacji/wdrożeniu nowego oprogramowania w zasobach klastra Blueocean

12.06.2019
Wdrożenie i udostepnienie oprogramowania CHAMP w środowisku klastra. Więcej informacji o oprogramowaniu i wdrożeniu w zasobach klastra Bluecoean można odczytać pod adresem: CHAMP

13.05.2019
Wdrożenie i udostepnienie oprogramowania LAMMPS w środowisku klastra. Więcej informacji o oprogramowaniu i wdrożeniu w zasobach klastra Bluecoean można odczytać pod adresem: lammps page

Czytaj dalej

Opis usługi

Usługa HPC realizowana w Uczelniane Centrum Informatyczne Politechniki Łódzkiej pełni rolę narzędzia wspierającego naukę oraz dydaktykę. Celem nadrzędnym jest umożliwienie doktorantom oraz pracownikom naukowym rozwoju intelektualnego polegającego na prowadzeniu zaawansowanych obliczeń wsadowych na klastrze komputerowym w wielu równorzędnych środowiskach programistycznych np.: Matlab, Schrodinger, Intel Cluster Studio, Gaussian, Gamess, Ansys, Project R i wiele innych. Uruchomiony do celów dydaktyczno-obliczeniowych klaster komputerowy o nazwie Blueocean pracuje z zainstalowanym system kolejkowy Son of Grid Engine (SoGE), ze zintegrowanym środowiskiem umożliwiającym równoległe wykonywanie obliczeń: Mpich2, OpenMPI.

Dla użytkowników publikujących wyniki otrzymane na klastrze prosimy o zamieszczenie krótkiego tekstu:

Opracowania w języku angielskim:

"The calculations mentioned in this paper are performed using TUL Computing & Information Services Center infrastructure".

Opracowania w języku polskim:

"Wyniki obliczeń zamieszczone w niniejszym opracowaniu uzyskano dzięki infrastrukturze Uczelnianego Centrum Informatycznego Politechniki Łódzkiej"

Jak zacząć?

W celu uzyskania dostępu do klastra obliczeniowego prosimy o kontakt e-mail z administratorem pod adresem: kopl@info.p.lodz.pl

Uruchamianie obliczeń jest możliwe przez łącze szyfrowane za pomocą protokołu ssh lub dla sesji graficznej VNC

Informacje dostepowe (logowanie i wykorzystanie):

Dostęp do klastra (logowanie) realizowany jest w za pośrednictwem dwoch interfejsów dostepowych: tekstowego (sesja ssh) oraz graficznego (sesja VNC). Wykorzystanie zasobów klastra może być prowadzone za pośrednictwem jednego z 3 trybów pracy:

1. Tryb wsadowy tekstowy:
Tryb przeznaczony do obliczeń wsadowych, czyli obliczeń na które użytkownik po uruchomieniu nie ma wpływu. Zaletą tego trybu jest możliwość uruchomienia wielu obliczeń w tym samym momencie przy wcześniej założonym scenariuszu ich działania. Obliczenia są realizowane bez udziału, konieczności pozostawania zalogowanym użytkownika po ich uruchomieniu.

Przykład wykorzystania trybu wsadowego:
1. Rozpoczęcie sesji z klastrem (zalogowanie się):
ssh imię.nazwisko@blueocean.p.lodz.pl
2. Uruchomienie obliczeń:
Uruchomienie obliczeń poprzez wywołanie programu inicjującego zadanie
./plik_uruchamiający_zadanie
Przykład programu uruchamiającego zadanie w trybie wsadowym można odczytać logując się do klastra i wydając polecenie:
cat /opt/SCRATCH/szkolenie/gaussian/g09r
3. Zakończenie sesji z klastrem (wylogowanie się).
Exit

2. Tryb interaktywny tekstowy:
Tryb przeznaczony do obliczeń, budowania procesów obliczeniowych. W trybie interaktywnym system przydziela zasoby i pozwala pracować na nich z poziomu terminala tekstowego na dedykowanym dla tego celu nodzie obliczeniowym identycznym z nodami wykorzystywanymi w trybie wsadowym tekstowym. W praktyce tryb interaktywny tekstowy służy do testowania wykonania oprogramowania przed jego wsadowym użyciem.

Przykład wykorzystania trybu interaktywnego:
1. Rozpoczęcie sesji z klastrem (zalogowanie się):
ssh imię.nazwisko@blueocean.p.lodz.pl
2. Uruchomienie sesji w trybie interaktywnym wydając polecenie:
qrsh –q interactive
3. Uruchomienie oprogramowania, przeprowadzenie testów obliczeniowych dla przykładu dla oprogramowania Gaussian:
a) Przygotowanie pliku wejściowego, przykład dla oprogramowania Gaussian dostępny jest po zalogowaniu po wydaniu polecenia
cat /opt/SCRATCH/szkolenie/gaussian/wejscie.in
b) Wczytanie zmiennych środowiskowych dla oprogramowania Gaussian9_D_01
module load gaussian9_D_01
c) Uruchomienie obliczenia:
g09
d) Możliwość interakcji z programem
e) Zakończenie pracy z oprgramowaniem Gaussian
ctrl+D

4. Zakończenie sesji z klastrem (wylogowanie się).
Exit

Tryb graficzny:
Tryb przeznaczony do prezentacji prowadzonych obliczeń, udostępnia interfejsy graficzne oprogramowania zainstalowanego w klastrze. W trybie graficznym możliwe jest uruchamianie obliczeń wsadowych tekstowych oraz interaktywnych tekstowym dostępnym w klastrze Bluecoean

Przykład wykorzystania trybu graficznego:
1. Rozpoczęcie sesji graficznej z klastrem (zalogowanie się):
Wykorzystanie oprogramowania TurboVNC, podłączenie się do przekazanego w procesie rejestracji id sesji:
blueocean.p.lodz.pl:id
2. Uruchomienie powłoki graficznej oprogramowania
3. Zakończenie sesji z klastrem (wylogowanie się).
Zamknięcie sesji oprogramowania TurboVNC poprzez zamknięcie okna, wylogowanie się blokuje ponowny dostęp.

Opis techniczny

Klaster Blueocean pracuje pod kontrolą systemu kolejkowego Son of Grid Engine.

Przykładowa specyfikacja pojedynczego serwera obliczeniowego:

Architektura procesora/node: x86_64
Model procesora/node: Intel(R) Xeon(R) Gold 5118 CPU @ 2.30GHz
Ilość procesorów/node: 2
Ilość rdzeni/node: 24
HT (hyper threading): nie
Pamięć RAM/node: 196 GB
Dostęp do Rozproszony System Plikowy w wielkości: ~220 TB

Test wydajnościowy dla pojedynczego noda obliczeniowego wykazał:
CPU frequency:    2.299 GHz
Number of CPUs: 2
Number of cores: 24
Number of threads: 24

Performance Summary (GFlops)
Size   LDA    Align.  Average  Maximal
1000   1000   4       80.2133  113.1775
2000   2000   4       132.6166 133.8677
5000   5008   4       260.1838 271.8074
10000  10000  4       319.9829 320.8904
15000  15000  4       264.1429 264.7988
18000  18008  4       297.1398 298.4032
20000  20016  4       318.7008 321.0133
22000  22008  4       335.3272 335.6897
25000  25000  4       354.6862 355.5636
26000  26000  4       363.4066 366.3471
27000  27000  4       367.5120 367.5120
30000  30000  1       369.8433 369.8433
35000  35000  1       371.5885 371.5885
40000  40000  1       374.1933 374.1933
45000  45000  1       390.0461 390.0461

End of tests

Test wykonany przy użyciu oprogramowania Linpack 10.3.3

Parametry wydajnościowe klastra Blueocean na dzień 11.2019:

Ilość rdzeni [szt.]	Ilość RAM [GB]	Przestrzeń dyskowa [TB]	Moc obliczeniowa [Tflops]
776	3896	219,7	11,46

Podane wielkości mogą ulec zmianie ponieważ planowana jest ciągła rozbudowa klastra o nowe nody obliczeniowe.

Uruchomienie klastra wymagało połączenia w jedną całość szeregu systemów, oprogramowań np.: PXE, SoGE, Active Directory, Moosefs, Docker. Ich wspólne istnienie pozwala na pracę w oparciu o najnowsze rozwiązania informatyczne takie jak:. rozproszona struktura przestrzeni składowania. Pozwala ona na przechowywanie danych logicznie należących do wspólnego systemu ale rozlokowanych w wielu miejscach sieci komputerowej, która realizowana jest dzięki rozproszonemu systemowi plików.

Korzyści i zalety

Zaletą korzystania z usługi HPC jest dostęp 24/7/365 w jednym miejscu do wielu bardzo drogich i zaawansowanych środowisk programistyczno-obliczeniowych. Uruchamianie obliczeń lub plików wsadowych realizowane jest przy pomocy systemu kolejkowego SoGE. System kolejkowy jest narzędziem wspomagającym obliczenia pod względem definiowania zasobów oraz wymagań środowiskowych na których użytkownik chce uruchomić zadanie. Dodatkowo pozwala na uporządkowanie pracy na klastrze. Kolejną zaletą jest wykorzystanie rozproszonego systemu plików, który zabezpiecza klaster przed usterkami poszczególnych nodów obliczeniowych bez ryzyka utraty danych przechowywanych w katalogach domowych użytkowników.