Oprogramowanie | Kto korzysta | Pytania i odpowiedzi | Regulamin usługi | Kontakt | Mapa usługi |
Archiwum |
Aktualności
31.08.2021
UWAGA! Zmiana systemu kolejkowego na klastrze BlueOcean!
Wraz z końcem września w dniach 28-29.09.2021 planujemy prace modernizacyjne i w tym czasie klaster BlueOcean będzie niedostępny. Planowane prace zostaną zwieńczone oddaniem do użytku w dniu 30.09.2021 nowej odsłony klastra posiadającej nowy system kolejkowy SLURM. Dla większości z Państwa nie będzie to żadna nowość ponieważ system ten jest podstawowym systemem kolejkowym we wszystkich centrach obliczeniowych infrastruktury PL-GRID. Warto zauważyć, że z punktu widzenia użytkownika korzystającego z klastra wyłącznie interaktywnie poprzez interfejs Jupytera zmiana będzie praktycznie niezauważalna. Zmianie ulegnie oczywiście obsługa zadań w kolejce.
Jednocześnie informujemy, że stara odsłona klastra z systemem kolejkowym SGE zostanie z dniem 28.09.2021 wyłączona a jej węzły obliczeniowe wygaszone - nie będzie również możliwe korzystanie ze 'starych' sesji interaktywnych Jupytera wykorzystujących system SGE. Prosimy o rozważne dodawanie zadań tak aby obliczenia zakończyły się do wyznaczonego terminu.
23.3.2020
Zmiany w polityce przydziału zasobów obliczeniowych klastra
Chcąc ciągle podnosić wydajność klastra obliczeniowego zaplanowaliśmy szereg zmian. Pierwsza z nich to zmiana polityki przydziału zasobów obliczeniowych. Postanowiliśmy wprowadzić jedna zunifikowana kolejka dla wszystkich klasycznych zadań obliczeniowych - boqueue. Więcej na stronie Pytania i odpowiedzi (faq)
9.07.2019
Aktualizacja oprogramowania Ansys do wersji 19.2. Szczegóły dotyczące aktualizacji i możliwości wykorzystania nowej wersji dostepne sa na stronie ansys_19.2
24.06.2019
Aktualizacja regulaminu klastra, aktualizacja dotyczy dołączenia informacji o instalacji/wdrożeniu nowego oprogramowania w zasobach klastra Blueocean
12.06.2019
Wdrożenie i udostepnienie oprogramowania CHAMP w środowisku klastra. Więcej informacji o oprogramowaniu i wdrożeniu w zasobach klastra Bluecoean można odczytać pod adresem: CHAMP
13.05.2019
Wdrożenie i udostepnienie oprogramowania LAMMPS w środowisku klastra. Więcej informacji o oprogramowaniu i wdrożeniu w zasobach klastra Bluecoean można odczytać pod adresem: lammps page
Opis usługi
Usługa HPC realizowana w Uczelniane Centrum Informatyczne Politechniki Łódzkiej pełni rolę narzędzia wspierającego naukę oraz dydaktykę. Celem nadrzędnym jest umożliwienie doktorantom oraz pracownikom naukowym rozwoju intelektualnego polegającego na prowadzeniu zaawansowanych obliczeń wsadowych na klastrze komputerowym w wielu równorzędnych środowiskach programistycznych np.: Matlab, Schrodinger, Intel Cluster Studio, Gaussian, Gamess, Ansys, Project R i wiele innych. Uruchomiony do celów dydaktyczno-obliczeniowych klaster komputerowy o nazwie Blueocean pracuje z zainstalowanym system kolejkowy Son of Grid Engine (SoGE), ze zintegrowanym środowiskiem umożliwiającym równoległe wykonywanie obliczeń: Mpich2, OpenMPI.
Dla użytkowników publikujących wyniki otrzymane na klastrze prosimy o zamieszczenie krótkiego tekstu:
"The calculations mentioned in this paper are performed using TUL Computing & Information Services Center infrastructure".
"Wyniki obliczeń zamieszczone w niniejszym opracowaniu uzyskano dzięki infrastrukturze Uczelnianego Centrum Informatycznego Politechniki Łódzkiej"
Jak zacząć?
W celu uzyskania dostępu do klastra obliczeniowego prosimy o kontakt e-mail z administratorem pod adresem: kopl@info.p.lodz.pl
Uruchamianie obliczeń jest możliwe przez łącze szyfrowane za pomocą protokołu ssh lub dla sesji graficznej VNC
Informacje dostepowe (logowanie i wykorzystanie):
Dostęp do klastra (logowanie) realizowany jest w za pośrednictwem dwoch interfejsów dostepowych: tekstowego (sesja ssh) oraz graficznego (sesja VNC). Wykorzystanie zasobów klastra może być prowadzone za pośrednictwem jednego z 3 trybów pracy:
1. Tryb wsadowy tekstowy:
Tryb przeznaczony do obliczeń wsadowych, czyli obliczeń na które użytkownik po uruchomieniu nie ma wpływu. Zaletą tego trybu jest możliwość uruchomienia wielu obliczeń w tym samym momencie przy wcześniej założonym scenariuszu ich działania. Obliczenia są realizowane bez udziału, konieczności pozostawania zalogowanym użytkownika po ich uruchomieniu.
Przykład wykorzystania trybu wsadowego:
1. Rozpoczęcie sesji z klastrem (zalogowanie się):
ssh -p 2222 imię.nazwisko@blueocean.p.lodz.pl
2. Uruchomienie obliczeń:
Uruchomienie obliczeń poprzez wywołanie programu inicjującego zadanie
./plik_uruchamiający_zadanie
Przykład programu uruchamiającego zadanie w trybie wsadowym można odczytać logując się do klastra i wydając polecenie:
cat /opt/SCRATCH/szkolenie/gaussian/g09r
3. Zakończenie sesji z klastrem (wylogowanie się).
Exit
2. Tryb interaktywny tekstowy:
Tryb przeznaczony do obliczeń, budowania procesów obliczeniowych. W trybie interaktywnym system przydziela zasoby i pozwala pracować na nich z poziomu terminala tekstowego na dedykowanym dla tego celu nodzie obliczeniowym identycznym z nodami wykorzystywanymi w trybie wsadowym tekstowym. W praktyce tryb interaktywny tekstowy służy do testowania wykonania oprogramowania przed jego wsadowym użyciem.
Przykład wykorzystania trybu interaktywnego:
1. Rozpoczęcie sesji z klastrem (zalogowanie się):
ssh -p 2222 imię.nazwisko@blueocean.p.lodz.pl
2. Uruchomienie sesji w trybie interaktywnym wydając polecenie:
qrsh –q interactive
3. Uruchomienie oprogramowania, przeprowadzenie testów obliczeniowych dla przykładu dla oprogramowania Gaussian:
a) Przygotowanie pliku wejściowego, przykład dla oprogramowania Gaussian dostępny jest po zalogowaniu po wydaniu polecenia
cat /opt/SCRATCH/szkolenie/gaussian/wejscie.in
b) Wczytanie zmiennych środowiskowych dla oprogramowania Gaussian9_D_01
module load gaussian9_D_01
c) Uruchomienie obliczenia:
g09
d) Możliwość interakcji z programem
e) Zakończenie pracy z oprgramowaniem Gaussian
ctrl+D
4. Zakończenie sesji z klastrem (wylogowanie się).
Exit
Tryb graficzny:
Tryb przeznaczony do prezentacji prowadzonych obliczeń, udostępnia interfejsy graficzne oprogramowania zainstalowanego w klastrze. W trybie graficznym możliwe jest uruchamianie obliczeń wsadowych tekstowych oraz interaktywnych tekstowym dostępnym w klastrze Bluecoean
Przykład wykorzystania trybu graficznego:
1. Rozpoczęcie sesji graficznej z klastrem (zalogowanie się):
Wykorzystanie oprogramowania TurboVNC, podłączenie się do przekazanego w procesie rejestracji id sesji:
blueocean.p.lodz.pl:id
2. Uruchomienie powłoki graficznej oprogramowania
3. Zakończenie sesji z klastrem (wylogowanie się).
Zamknięcie sesji oprogramowania TurboVNC poprzez zamknięcie okna, wylogowanie się blokuje ponowny dostęp.
Opis techniczny
Klaster Blueocean pracuje pod kontrolą systemu kolejkowego Son of Grid Engine.
Przykładowa specyfikacja pojedynczego serwera obliczeniowego:
Architektura procesora/node: x86_64
Model procesora/node: Intel(R) Xeon(R) Gold 5118 CPU @ 2.30GHz
Ilość procesorów/node: 2
Ilość rdzeni/node: 24
HT (hyper threading): nie
Pamięć RAM/node: 196 GB
Dostęp do Rozproszony System Plikowy w wielkości: ~220 TB
Test wydajnościowy dla pojedynczego noda obliczeniowego wykazał: CPU frequency: 2.299 GHz Number of CPUs: 2 Number of cores: 24 Number of threads: 24 Performance Summary (GFlops) Size LDA Align. Average Maximal 1000 1000 4 80.2133 113.1775 2000 2000 4 132.6166 133.8677 5000 5008 4 260.1838 271.8074 10000 10000 4 319.9829 320.8904 15000 15000 4 264.1429 264.7988 18000 18008 4 297.1398 298.4032 20000 20016 4 318.7008 321.0133 22000 22008 4 335.3272 335.6897 25000 25000 4 354.6862 355.5636 26000 26000 4 363.4066 366.3471 27000 27000 4 367.5120 367.5120 30000 30000 1 369.8433 369.8433 35000 35000 1 371.5885 371.5885 40000 40000 1 374.1933 374.1933 45000 45000 1 390.0461 390.0461 End of tests
Test wykonany przy użyciu oprogramowania Linpack 10.3.3
Parametry wydajnościowe klastra Blueocean na dzień 11.2019:
Ilość rdzeni
[szt.]
|
Ilość RAM
[GB]
|
Przestrzeń dyskowa
[TB]
|
Moc obliczeniowa
[Tflops]
|
776 | 3896 | 219,7 | 11,46 |
Podane wielkości mogą ulec zmianie ponieważ planowana jest ciągła rozbudowa klastra o nowe nody obliczeniowe.
Uruchomienie klastra wymagało połączenia w jedną całość szeregu systemów, oprogramowań np.: PXE, SoGE, Active Directory, Moosefs, Docker. Ich wspólne istnienie pozwala na pracę w oparciu o najnowsze rozwiązania informatyczne takie jak:. rozproszona struktura przestrzeni składowania. Pozwala ona na przechowywanie danych logicznie należących do wspólnego systemu ale rozlokowanych w wielu miejscach sieci komputerowej, która realizowana jest dzięki rozproszonemu systemowi plików.
Korzyści i zalety
Zaletą korzystania z usługi HPC jest dostęp 24/7/365 w jednym miejscu do wielu bardzo drogich i zaawansowanych środowisk programistyczno-obliczeniowych. Uruchamianie obliczeń lub plików wsadowych realizowane jest przy pomocy systemu kolejkowego SoGE. System kolejkowy jest narzędziem wspomagającym obliczenia pod względem definiowania zasobów oraz wymagań środowiskowych na których użytkownik chce uruchomić zadanie. Dodatkowo pozwala na uporządkowanie pracy na klastrze. Kolejną zaletą jest wykorzystanie rozproszonego systemu plików, który zabezpiecza klaster przed usterkami poszczególnych nodów obliczeniowych bez ryzyka utraty danych przechowywanych w katalogach domowych użytkowników.
Literatura
Gaussian09:
- Strona główna: http://www.gaussian.com/
- Manual On-line: http://www.gaussian.com/g_tech/g_ur/g09help.htm
- Podstawowe informacje: http://www.gaussian.com/g_tech/g_ur/m_running.htm
- Co nowego?: http://www.gaussian.com/g_prod/g09new.htm
Gamess:
- Strona główna: http://www.msg.ameslab.gov/gamess/
Schrodinger:
- Strona główna: http://www.schrodinger.com/
- Opis produktu: http://www.schrodinger.com/products/14/7/
- Broszura: http://www.schrodinger.com/AcrobatFile.php?type=products&type2=brochure&ident=7
Matlab:
- Strona główna: http://www.mathworks.com/
- Matlab akademia: http://www.mathworks.com/academia/index.html
Mpich2:
- Strona główna: http://www.mcs.anl.gov/research/projects/mpich2/
Synchronizacja nodów:
- Strona główna: https://www.rostlab.org/owiki/index.php/Cluster_node_sync-on-boot_technology
Środowisko programistyczne QT
- Strona główna: http://qt.nokia.com/
Ansys
- Strona główna: http://www.ansys.com/
Środowisko obliczeń statystycznych "R"
- Strona domowa projektu: http://www.r-project.org/