facebook LinkedIN LinkedIN - follow
Aktuality -> Podnikové aplikace a služby - 17. 1. 2023 - Ing. Lukáš Grásgruber

Nástroj HyperQueue organizuje a zefektivňuje výpočty na superpočítačích

Vědci z národního superpočítačové­ho centra IT4Innovations v Ostravě vyvinuli nástroj HyperQueue, který efektivně organizuje výpočty pro řešení vědeckých úloh na evrop­ských superpočítačích a pomáhá tak maximálně využít jejich možnosti. Při výpočtech některých typů masivně paralelních úloh totiž může dojít k problémům při jejich spuštění a potenciál nových superpočítačů tak není zcela využit. Právě tomu by měl HyperQueue zabránit.



IT4Innovations je zapojeno do projektu LIGATE, jehož cílem je využití evropských superpočítačů za účelem návrhu léků. Jedná se o počítačový návrh léčiv (Computer-Aided Drug Design, CADD) s využitím špičkových superpočítačů a do budoucna se počítá i s využitím exascalových superpočítačů. Konkrétně se v projektu LIGATE řeší screening obrovského množství molekul, což je typ úloh, pro které je problematické využít potenciál celého výpočetního uzlu. Proto vědci z IT4Innovations, které je součástí VŠB – Technické univerzity Ostrava, vyvinuli řešení v podobě nástroje HyperQueue. Ten umožňuje efektivně a jednoduše spouštět velké množství výpočetních úloh na moderních heterogenních evropských superpočítačích. O co přesně jde?

Moderní superpočítače obsahují velké množství heterogenních zdrojů, které poskytují obrovský výpočetní výkon. Je náročné navrhovat monolitické aplikace, které mohou tento výkonnostní potenciál efektivně využít (např. škálováním na stovky jader); uživatelé HPC často navrhují svá výpočetní workflow jako soubor menších, vzájemně závislých úloh, které využívají pouze zlomek prostředků jednoho uzlu klastru. Přesto může být provádění těchto workflow na HPC klastrech za přítomnosti správce úloh, jako je Torque/PBS nebo Slurm, náročné. Ty mohou stanovit omezení pro souběžné provádění více úloh na jednom uzlu, což brání využití uzlu, a jejich konstrukce obecně není stavěná na obrovské množství menších, na zdroje méně náročných úloh, což může vést k přetížení správce.

HyperQueue představuje framework pro provádění výpočetně náročných úloh, který nabízí řešení tohoto problému. Umožňuje uživatelům zadávat úlohy jednoduchým způsobem mimo výpočetní úlohu. HyperQueue se pak postará o vyžádání výpočetních prostředků od správce úloh a o spuštění úloh na všech dostupných výpočetních uzlech. K vyvážení zátěže úloh používá sofistikovaný plánovač s přihlédnutím ke specifikaci jednotlivých zdrojů a aktuálnímu vytížení uzlů. Případovou studií může být např. triviální definice výpočtu s mnoha úlohami, které využívají malý počet jader, a jeho spuštění na superpočítači s velmi výkonnými uzly (např. se 128 jádry) a dosažení velmi vysokého využití uzlů hned po spuštění.

„Moderní superpočítače se vyznačují tím, že kombinují různé výpočetní architektury a obsahují velké množství heterogenních zdrojů. Jejich efektivní využití pomocí tradičních nástrojů pro zadávání výpočtů, může být složité,“ vysvětluje Jan Martinovič z Laboratoře pro náročné datové analýzy a simulace v IT4Innovations a dodává: „Proto jsme vytvořili nástroj HyperQueue, který zjednodušuje využití superpočítačů s komplexními zdroji a poskytuje jednoduché rozhraní pro zadávání výpočetních úloh. Zároveň však dokáže efektivně využívat dostupné výpočetní zdroje superpočítače.“

Branislav Jansík, ředitel superpočítačových služeb IT4Innovations, doplňuje: „HyperQueue byl úspěšně nasazen a testován na několika superpočítačích s různou hardwarovou architekturou. Patří mezi ně EuroHPC superpočítač Karolina, provozovaný naším superpočítačovým centrem, a evropský nejvýkonnější superpočítač LUMI, provozovaný finským CSC.“

„Nástroj HyperQueue je nesmírně užitečný při rozšiřování stávajících vědeckých workflow, přičemž nevyžaduje téměř žádné změny v jejich kódu. Práce s HyperQueue je velmi jednoduchá a do správce bioinformatických workflow Nextflow jsme dokonce přidali nativní podporu HyperQueue, takže uživatelé mohou využívat HyperQueue při spouštění svých genomických workflow, aniž by se museli HyperQueue naučit. Je příjemné se setkat s nástrojem, který si rozumí se systémovým plánovačem a nemá negativní vliv na stabilitu systému při provádění velmi rozsáhlých workflow,“ říká Henrik Nortamo, specialista na aplikace ve společnosti CSC.

HyperQueue je v rámci projektu LIGATE nasazován i na superpočítačích italského centra CINECA a má potenciál stát se primárním nástrojem pro efektivní plánování obrovského množství úloh, které by nedokázaly jednotlivě využít celou kapacitu výpočetního uzlu superpočítače. „Zjistili jsme, že nástroj HyperQueue se snadno používá, zjednodušuje nasazení na nových superpočítačích a zefektivňuje využití zdrojů pro pracovní zátěže složené z velkého počtu malých úloh. Přesně to je případ virtuální screeningové aplikace, kterou vyvíjíme v rámci projektu LIGATE a která již byla využita v boji proti pandemii COVID-19,“ uvedl Gianluca Palermo z Politecnico di Milano, který je zároveň technickým manažerem projektu LIGATE.


 
  

- PR -

Signys Logistics: Řízení skladů přes mobilní aplikaci efektivně a online!

Moderní logistika vyžaduje efektivní a spolehlivé řešení pro řízení skladů a sledování zásob. S aplikací Signys Logistics a modu­lem řízených skladů WMS Signys máte na dosah ruky nástroje, které vám umožní zvýšit efektivitu vašich logistických operací a dosáhnout tak co nejvíce optimálního využití zdrojů.

  

- PR -

7 vlastností ERP systému, které dělají uživatelům radost

Kdy je ovládání ERP systému poho­dl­né? Když mohou jeho uživatelé snadno a efektivně pracovat s potřebnými funkcemi a informacemi bez zbytečných obtíží. Tím se zvýší produktivita jejich práce, omezí se chybovost a firma poroste.