
Uvod v visokoprepustno računanje z orodjem Snakemake
Luka Leskovec
Univerza v Ljubljani, Fakulteta za matematiko in fiziko
Raziskovalni izračun pogosto sestavlja več manjših opravil: pripravimo vhode, zaženemo program za več izbir parametrov, zberemo rezultate in narišemo graf. Nekatera opravila lahko potekajo hkrati, druga morajo počakati na predhodne rezultate. Na delavnici se bomo naučili prepoznati te odvisnosti in jih zapisati kot delovni tok, ki ga lahko izvede Snakemake.
Začnemo s programom v Pythonu, ki generira naključna števila, nato pa obravnavamo znanstveno analizo z več koraki. Na koncu spoznamo izvajanje znotraj dodeljenih virov na gruči in oddajanje poslov prek razporejevalnika.
Udeleženci in predznanje
Delavnica je namenjena začetnikom in srednje izkušenim uporabnikom, ki želijo avtomatizirati računska opravila. Zaželeno je, da znate:
- prehajati med imeniki in izvajati ukaze v terminalu na Linuxu ali macOS;
- prebrati kratek program v Pythonu in razumeti zanko;
- razlikovati med programom, njegovimi vhodnimi in izhodnimi datotekami.
Predhodno poznavanje orodja Snakemake ni potrebno. Znanstveni primer nam služi kot konkreten delovni tok; za prepoznavanje njegovih opravil in odvisnosti ni potrebno predznanje fizike na mreži.
Pridobljena znanja
Ob koncu delavnice boste znali:
- Razdeliti izračun na opravila z jasno določenimi vhodi in izhodi.
- Prepoznati opravila, ki lahko potekajo hkrati, in tista, ki morajo počakati na podatke.
- Zapisati manjši delovni tok s pravili in nadomestnimi vzorci (wildcards) v orodju Snakemake.
- Preveriti načrt izvajanja in pregledati rezultate.
- Pojasniti razliko med izvajanjem znotraj ene dodelitve virov na gruči in oddajanjem poslov prek razporejevalnika.
Potek delavnice
| Del | Vsebina |
|---|---|
| Uvod in namestitev | Pojmi, okolje in preizkus namestitve |
| Prvi delovni tok | Zaporedni Python, zanka v lupini in neodvisna opravila |
| Pravila in nadomestni vzorci | Cilji, zbiranje in ponovni zagoni |
| Načrt znanstvenega toka | Podatkovni vmesniki in odvisnosti |
| Izvedba znanstvenega toka | Celoten graf in eno prilagajanje; celoten zagon kot dodatna naloga |
| Izvajanje na gruči | Ena dodelitev virov in izvajalnik Slurm |
| Povzetek | Prenos v lastno delo in vprašanja |
Python 3, venv in Git naj bodo nameščeni vnaprej. Znanstvene pakete po možnosti pripravite pred srečanjem. Predavatelj naj celotno analizo pripravi pred srečanjem; osnovno poglavje izvede eno prilagajanje in načrtuje celoten graf, celoten zagon pa je dodatna naloga. Oddajanje poslov na gruči je odvisno od dostopa; pregled profila in lokalni poskusni zagon zadoščata za osnovni del poglavja.
Gradiva
Uporabljamo dva repozitorija:
- SnakeMake.intro: kratek primer z naključnimi števili.
- SnakeMake.main: znanstveni delovni tok. Imenik
program/je izhodišče za nalogo,program.solution/pa vsebuje referenčni delovni tok.
V navodilih za namestitev je opisano, kako pridobite oba. Imenika z nalogo in rešitvijo ohranite ločena, da lahko najprej sestavite svoj delovni tok in ga nato primerjate z referenčnim.
Začnite z uvodom, nato opravite namestitev in rešite naloge.