Potrzebujesz maszyny, która może wykonać biliony obliczeń zmiennoprzecinkowych w ciągu sekundy? A może potrzebujesz fajnej historii o swoim osobistym superkomputerze, który wyłączył światła w Twojej wiosce? Budowa superkomputera to ciekawe wyzwanie, jeśli jesteś bogatym geniuszem, który ma trochę wolnego czasu. Technicznie rzecz biorąc, superkomputer wieloprocesorowy to sieć komputerów, które współpracują ze sobą, aby rozwiązać problem. W tym artykule pokrótce omówimy każdy etap jego tworzenia, skupiając się na sprzęcie i oprogramowaniu.
Krok
Krok 1. Najpierw dowiedz się, jakich komponentów sprzętowych będziesz potrzebować
Jeden węzeł główny, co najmniej tuzin identycznych węzłów obliczeniowych, przełącznik Ethernet, jednostka dystrybucji zasilania (PDU) i szafa serwerowa. Dowiedz się również o potrzebach związanych z elektrycznością, chłodzeniem i przestrzenią. Określ adres IP sieci prywatnej, nazwy węzłów, pakiety oprogramowania, które chcesz zainstalować oraz technologię, której chcesz użyć, aby wszystkie działały razem w celu wykonywania obliczeń równoległych (więcej na ten temat poniżej).
- Chociaż sprzęt, którego potrzebujesz, jest drogi, oprogramowanie w tym przewodniku jest bezpłatne, a większość z nich to oprogramowanie typu open source.
- Jeśli chcesz zobaczyć, jak szybki będzie Twój superkomputer (teoretycznie), skorzystaj z tego:
Krok 2. Zbuduj węzły obliczeniowe
Możesz samodzielnie złożyć potrzebne węzły obliczeniowe lub skorzystać z gotowego serwera.
- Wybierz platformę serwera komputerowego, która maksymalizuje przestrzeń, chłodzenie i wydajność energetyczną.
- Możesz też użyć około tuzina przestarzałych serwerów. Używane razem są o wiele bardziej przydatne niż używane pojedynczo i można sporo zaoszczędzić. Wszystkie procesory, karty sieciowe i płyty główne muszą być takie same, aby zapewnić płynne działanie systemu. Oczywiście nie zapomnij o pamięci RAM i pojemności dla każdego węzła oraz co najmniej jednym napędzie optycznym dla węzła głównego.
Krok 3. Zamontuj serwer, który masz wbudowany w szafie serwerowej
Zacznij od dołu, aby uniknąć zastrzeżeń na górze. Zaproś znajomego do pomocy, ponieważ zatłoczone zestawy serwerów mogą stać się tak ciężkie, że trudno będzie je zmieścić w szufladach.
Krok 4. Zamontuj przełącznik Ethernet na górze ramy serwera
Skorzystaj z okazji, aby go skonfigurować: nadaj mu rozmiar ramki 9000 bajtów, ustaw adres IP na adres statyczny określony w kroku 1 i wyłącz niepotrzebne protokoły routingu, takie jak SMTP Snooping.
Krok 5. Zainstaluj jednostkę dystrybucji zasilania
Do obliczeń o wysokiej wydajności może być potrzebne 220 woltów, w zależności od tego, ile prądu potrzebuje węzeł przy maksymalnym obciążeniu.
Krok 6. Po zainstalowaniu wszystkiego możesz rozpocząć proces konfiguracji
Linux to obowiązkowy system operacyjny dla klastrów obliczeniowych o wysokiej wydajności, ponieważ oprócz tego, że jest idealny do obliczeń naukowych, jest również w 100% darmowy. Z węzłami, które sięgają setek, a nawet tysięcy, z pewnością będzie to bardzo drogie, jeśli używasz systemu Windows!
- Zacznij od zainstalowania najnowszej wersji systemu BIOS i oprogramowania układowego płyty głównej. Zainstalowana wersja musi być taka sama dla wszystkich węzłów. Rozpocznij od zainstalowania najnowszej wersji systemu BIOS i oprogramowania układowego płyty głównej, które powinny być takie same na wszystkich węzłach.
- Zainstaluj żądaną dystrybucję Linuksa na każdym węźle, z graficznym interfejsem w węźle głównym. Popularne opcje to CentOS, OpenSuse, Scientific Linux, RedHat i SLES.
- Autor zdecydowanie zaleca korzystanie z rozkładu skupisk skał. Rocks natychmiast zainstaluje wszystkie programy potrzebne do działania twojego superkomputera i użyje sprytnego sposobu na „udostępnianie” się wszystkim istniejącym węzłom za pomocą rozruchu PXE Red Hata i procedury „Kick Start”.
Krok 7. Zainstaluj interfejs przesyłania wiadomości, zarządzanie zasobami i inne niezbędne biblioteki oprogramowania
Jeśli nie zainstalowałeś Rocks w poprzednim kroku, będziesz musiał samodzielnie przygotować oprogramowanie potrzebne do zasilania mechanizmu obliczeń równoległych.
- Po pierwsze, będziesz potrzebować przenośnego systemu zarządzania bashem, takiego jak Torque Resource Manager, który zajmie się dzieleniem zadań między maszynami.
- Sparuj Torque z harmonogramem klastra Maui, aby zakończyć konfigurację.
- Następnie należy zainstalować interfejs przesyłania komunikatów, który jest potrzebny do tego, aby oddzielne węzły obliczeniowe współdzieliły te same dane. OpenMP to zdecydowany wybór.
- Nie zapomnij o wielowątkowych bibliotekach matematycznych i kompilatorach do tworzenia programów do obliczeń równoległych, których potrzebujesz. Lub po prostu zainstaluj Rocks, aby było jeszcze łatwiej.
Krok 8. Połącz wszystkie węzły obliczeniowe w sieć
Główny węzeł wyśle zadania obliczeniowe do węzła obliczeniowego, który musi następnie odesłać wyniki podczas wymiany wiadomości ze sobą. Im szybciej tym lepiej.
- Użyj prywatnej sieci Ethernet, aby połączyć wszystkie węzły w swoim klastrze superkomputerów.
- Węzłem podstawowym może być serwer NFS, PXE, DHCP, TFTP i NTP w sieci Ethernet.
- Musisz oddzielić tę sieć od sieci publicznej, aby wysyłane pakiety nie zakłócały pracy innych sieci w Twojej sieci lokalnej.
Krok 9. Przetestuj utworzony superkomputer
Przed użyciem przez inne osoby zalecamy najpierw przetestowanie wydajności superkomputera. HPL (High Performance Linpack) to popularny benchmark do pomiaru szybkości obliczeniowej superkomputerów. Będziesz musiał skompilować ze źródeł, ze wszystkimi opcjami optymalizacji oferowanymi przez kompilator, którego używasz dla wybranej architektury.
- Oczywiście musisz skompilować ze źródeł ze wszystkimi możliwymi opcjami optymalizacji dla swojej platformy. Na przykład, jeśli używasz procesora AMD, skompiluj go przy użyciu Open64 z poziomem optymalizacji -0szybko.
- Porównaj wyniki swoich testów na TOP500.org, aby porównać swój superkomputer z 500 najszybszymi superkomputerami na świecie!
Porady
- Aby uzyskać dużą prędkość sieci, spójrz na interfejs sieciowy InfiniBand. Oczywiście musisz być przygotowany na zapłacenie wyższej ceny.
- IPMI może uprościć administrowanie dużymi klastrami superkomputerów, zapewniając KVM-over-IP, zdalne sterowanie cyklem zasilania i inne funkcje.
- Użyj Ganglia do monitorowania obciążenia obliczeniowego w węzłach.
