IT4Innovations je zapojeno do projektu LIGATE, jehož cílem je využití evropských superpočítačů za účelem návrhu léků. Jedná se o počítačový návrh léčiv (Computer-Aided Drug Design, CADD) s využitím špičkových superpočítačů a do budoucna se počítá i s využitím exascalových superpočítačů. Konkrétně se v projektu LIGATE řeší screening obrovského množství molekul, což je typ úloh, pro které je problematické využít potenciál celého výpočetního uzlu. Proto vědci z IT4Innovations, které je součástí VŠB – Technické univerzity Ostrava, vyvinuli řešení v podobě nástroje HyperQueue. Ten umožňuje efektivně a jednoduše spouštět velké množství výpočetních úloh na moderních heterogenních evropských superpočítačích. O co přesně jde?

HyperQueue představuje framework pro provádění výpočetně náročných úloh, který nabízí řešení tohoto problému. Umožňuje uživatelům zadávat úlohy jednoduchým způsobem mimo výpočetní úlohu. HyperQueue se pak postará o vyžádání výpočetních prostředků od správce úloh a o spuštění úloh na všech dostupných výpočetních uzlech. K vyvážení zátěže úloh používá sofistikovaný plánovač s přihlédnutím ke specifikaci jednotlivých zdrojů a aktuálnímu vytížení uzlů. Případovou studií může být např. triviální definice výpočtu s mnoha úlohami, které využívají malý počet jader, a jeho spuštění na superpočítači s velmi výkonnými uzly (např. se 128 jádry) a dosažení velmi vysokého využití uzlů hned po spuštění.

„Moderní superpočítače se vyznačují tím, že kombinují různé výpočetní architektury a obsahují velké množství heterogenních zdrojů. Jejich efektivní využití pomocí tradičních nástrojů pro zadávání výpočtů, může být složité,“ vysvětluje Jan Martinovič z Laboratoře pro náročné datové analýzy a simulace v IT4Innovations a dodává: „Proto jsme vytvořili nástroj HyperQueue, který zjednodušuje využití superpočítačů s komplexními zdroji a poskytuje jednoduché rozhraní pro zadávání výpočetních úloh. Zároveň však dokáže efektivně využívat dostupné výpočetní zdroje superpočítače.“

Branislav Jansík, ředitel superpočítačových služeb IT4Innovations, doplňuje: „HyperQueue byl úspěšně nasazen a testován na několika superpočítačích s různou hardwarovou architekturou. Patří mezi ně EuroHPC superpočítač Karolina, provozovaný naším superpočítačovým centrem, a evropský nejvýkonnější superpočítač LUMI, provozovaný finským CSC.“

„Nástroj HyperQueue je nesmírně užitečný při rozšiřování stávajících vědeckých workflow, přičemž nevyžaduje téměř žádné změny v jejich kódu. Práce s HyperQueue je velmi jednoduchá a do správce bioinformatických workflow Nextflow jsme dokonce přidali nativní podporu HyperQueue, takže uživatelé mohou využívat HyperQueue při spouštění svých genomických workflow, aniž by se museli HyperQueue naučit. Je příjemné se setkat s nástrojem, který si rozumí se systémovým plánovačem a nemá negativní vliv na stabilitu systému při provádění velmi rozsáhlých workflow,“ říká Henrik Nortamo, specialista na aplikace ve společnosti CSC.

HyperQueue je v rámci projektu LIGATE nasazován i na superpočítačích italského centra CINECA a má potenciál stát se primárním nástrojem pro efektivní plánování obrovského množství úloh, které by nedokázaly jednotlivě využít celou kapacitu výpočetního uzlu superpočítače. „Zjistili jsme, že nástroj HyperQueue se snadno používá, zjednodušuje nasazení na nových superpočítačích a zefektivňuje využití zdrojů pro pracovní zátěže složené z velkého počtu malých úloh. Přesně to je případ virtuální screeningové aplikace, kterou vyvíjíme v rámci projektu LIGATE a která již byla využita v boji proti pandemii COVID-19,“ uvedl Gianluca Palermo z Politecnico di Milano, který je zároveň technickým manažerem projektu LIGATE.