Opravila, odvisnosti in visokoprepustno računanje
Po tem uvodu boste znali opisati opravilo z njegovimi vhodi in izhodi, narisati odvisnost med dvema opraviloma ter prepoznati delo, ki bi lahko potekalo hkrati.
Zakaj avtomatizirati delovni tok?
Denimo, da morate isti program zagnati za deset izbir parametrov in nato zbrati rezultate. Vsak ukaz lahko vnesete v terminal, vendar morate ob tem spremljati, kateri zagoni so končani, kje so njihovi izhodi in kdaj lahko začnete zbirati rezultate.
Delovni tok (workflow) te povezave opiše izrecno. Opravilo (task) je konkreten korak, na primer zagon programa za eno izbiro parametrov. Če opravilo B potrebuje datoteko, ki jo ustvari opravilo A, je B odvisno od A. Če B zaženemo, preden A ustvari to datoteko, ne moremo dobiti predvidenega rezultata.
Pred izbiro programske opreme si zastavimo tri vprašanja:
- Kakšen končni rezultat želim?
- Katera opravila ga ustvarijo in kaj vsako opravilo bere ter zapisuje?
- Kateri izhodi morajo obstajati, preden se lahko začne drugo opravilo?
HTC in HPC
Visokoprepustno računanje (high-throughput computing, HTC) poudarja izvedbo velike količine računskega dela v daljšem obdobju. Pogost primer je množica neodvisnih zagonov za različne vhode ali parametre. Visokozmogljivo računanje (high-performance computing, HPC) pogosto poudarja skrajšanje časa zahtevnega izračuna, na primer z uporabo številnih procesov, ki med seboj komunicirajo. To sta uporabna poudarka, ne izključujoči se vrsti računalnikov: delovni tok HTC lahko izvajamo na gruči HPC, posamezno opravilo pa je lahko tudi vzporedni program. Vidik prepustnosti obravnava uvod v HTC projekta HTCondor.
Začnemo s preprostejšim primerom: več opravil lahko izvajamo neodvisno, vsako pa porabi malo virov. To neodvisnost moramo najprej prepoznati. Več jeder samo po sebi ne odpravi odvisnosti med opraviloma.
Preprost primer
V repozitoriju SnakeMake.intro program app.py počaka tri sekunde in izpiše eno naključno celo število med 0 in 99. Pozneje ga bomo zagnali desetkrat in vsak rezultat shranili posebej. Zaradi čakanja lažje opazimo sočasno izvajanje; primer ne predstavlja računsko zahtevnega programa.
Posamezen zagon se lahko konča, ne da bi prebral izhod drugega zagona. Zagoni so torej neodvisni z vidika razporejanja, če zapisujejo v ločene datoteke. S tem ne trdimo ničesar o statistični neodvisnosti zaporedij naključnih števil.
V spodnjem diagramu si predstavljajmo tri takšne zagone in dodatno opravilo, ki njihove izhode zbere v tabelo. Zbiranje rezultatov je učna razširitev za ponazoritev odvisnosti; ustrezne skripte v uvodnem repozitoriju ni.
zagon A → rezultat A ─┐
zagon B → rezultat B ─┼→ zbiranje rezultatov → tabela
zagon C → rezultat C ─┘
Zagoni A, B in C lahko potekajo hkrati, če je na voljo dovolj virov. Zbiranje mora počakati na vse tri rezultate. Puščice pomenijo »ustvari podatke, ki jih potrebuje naslednji korak«, ne pa »je zapisano prej v skripti«.
Kaj opisuje Snakemake?
Snakemake s pravili (rules) opiše, kako ustvarimo datoteke. Pravilo določa vhode, izhode in operacijo, ki jih povezuje. Posel (job) je konkretna uporaba pravila za določene datoteke. Definicijo delovnega toka običajno shranimo v datoteko Snakefile. Snakemake lahko iz zahtevanih izhodnih datotek določi posle in odvisnosti, potrebne za njihovo izdelavo. Glejte uradno uvodno vadnico.
Za določeno množico poslov lahko odvisnosti narišemo kot usmerjeni aciklični graf (DAG):
- usmerjeni: vsaka puščica kaže od predpogoja proti delu, ki ga potrebuje;
- aciklični: puščice ne tvorijo kroga, v katerem bi opravila neskončno čakala drugo na drugo.
Neodvisne veje se lahko izvajajo hkrati v okviru razpoložljivih virov. Pozneje bomo ločili to odločitev na ravni delovnega toka od naloge razporejevalnika na gruči, ki dodeljuje vire. Ločili bomo tudi sočasno izvajanje več opravil od vzporednega izvajanja programa znotraj enega opravila.
Od preprostega primera do znanstvene analize
Drugi repozitorij, SnakeMake.main, vsebuje tri stopnje: prileganje podatkom korelacijskih funkcij, zbiranje izbranih energijskih rezultatov ter prileganje in risanje disperzijske zveze. Fizike za zdaj ni treba poznati. Najprej prepoznajte vmesnike: katere datoteke zapustijo eno stopnjo in vstopijo v naslednjo?
Postopek načrtovanja je enak kot pri preprostem primeru:
- Določimo cilj.
- Prepoznamo opravila.
- Določimo njihove odvisnosti.
- Opišemo vhodne in izhodne datoteke.
- Narišemo delovni tok.
- Preizkusimo majhen primer in pregledamo rezultat.
- Izvedemo načrtovano računsko delo.
Avtomatizacija pomaga pri ponovljivem izvajanju, vendar preverjanje uspešnega zaključka delovnega toka ni isto kot preverjanje njegovih znanstvenih sklepov. Za ponovljivost so pomembni tudi podatki, različice programske opreme, parametri in nastavitve naključnih števil. Mölder in sodelavci obravnavajo ponovljivost, prilagodljivost in preglednost v članku Sustainable data analysis with Snakemake, različica 2 (2021).
Nadaljujte z namestitvijo, nato pa razumevanje preverite z nalogami.