Skoči na vsebino

EuroCC in SLING

Uvod v visokoprepustno računanje z orodjem Snakemake

Luka Leskovec
Univerza v Ljubljani, Fakulteta za matematiko in fiziko

Raziskovalni izračun pogosto sestavlja več manjših opravil: pripravimo vhode, zaženemo program za več izbir parametrov, zberemo rezultate in narišemo graf. Nekatera opravila lahko potekajo hkrati, druga morajo počakati na predhodne rezultate. Na delavnici se bomo naučili prepoznati te odvisnosti in jih zapisati kot delovni tok, ki ga lahko izvede Snakemake.

Začnemo s programom v Pythonu, ki generira naključna števila, nato pa obravnavamo znanstveno analizo z več koraki. Na koncu spoznamo izvajanje znotraj dodeljenih virov na gruči in oddajanje poslov prek razporejevalnika.

Udeleženci in predznanje

Delavnica je namenjena začetnikom in srednje izkušenim uporabnikom, ki želijo avtomatizirati računska opravila. Zaželeno je, da znate:

  • prehajati med imeniki in izvajati ukaze v terminalu na Linuxu ali macOS;
  • prebrati kratek program v Pythonu in razumeti zanko;
  • razlikovati med programom, njegovimi vhodnimi in izhodnimi datotekami.

Predhodno poznavanje orodja Snakemake ni potrebno. Znanstveni primer nam služi kot konkreten delovni tok; za prepoznavanje njegovih opravil in odvisnosti ni potrebno predznanje fizike na mreži.

Pridobljena znanja

Ob koncu delavnice boste znali:

  1. Razdeliti izračun na opravila z jasno določenimi vhodi in izhodi.
  2. Prepoznati opravila, ki lahko potekajo hkrati, in tista, ki morajo počakati na podatke.
  3. Zapisati manjši delovni tok s pravili in nadomestnimi vzorci (wildcards) v orodju Snakemake.
  4. Preveriti načrt izvajanja in pregledati rezultate.
  5. Pojasniti razliko med izvajanjem znotraj ene dodelitve virov na gruči in oddajanjem poslov prek razporejevalnika.

Potek delavnice

Del Vsebina
Uvod in namestitev Pojmi, okolje in preizkus namestitve
Prvi delovni tok Zaporedni Python, zanka v lupini in neodvisna opravila
Pravila in nadomestni vzorci Cilji, zbiranje in ponovni zagoni
Načrt znanstvenega toka Podatkovni vmesniki in odvisnosti
Izvedba znanstvenega toka Celoten graf in eno prilagajanje; celoten zagon kot dodatna naloga
Izvajanje na gruči Ena dodelitev virov in izvajalnik Slurm
Povzetek Prenos v lastno delo in vprašanja

Python 3, venv in Git naj bodo nameščeni vnaprej. Znanstvene pakete po možnosti pripravite pred srečanjem. Predavatelj naj celotno analizo pripravi pred srečanjem; osnovno poglavje izvede eno prilagajanje in načrtuje celoten graf, celoten zagon pa je dodatna naloga. Oddajanje poslov na gruči je odvisno od dostopa; pregled profila in lokalni poskusni zagon zadoščata za osnovni del poglavja.

Gradiva

Uporabljamo dva repozitorija:

  • SnakeMake.intro: kratek primer z naključnimi števili.
  • SnakeMake.main: znanstveni delovni tok. Imenik program/ je izhodišče za nalogo, program.solution/ pa vsebuje referenčni delovni tok.

V navodilih za namestitev je opisano, kako pridobite oba. Imenika z nalogo in rešitvijo ohranite ločena, da lahko najprej sestavite svoj delovni tok in ga nato primerjate z referenčnim.

Začnite z uvodom, nato opravite namestitev in rešite naloge.