Prenesite znanje na svoj potek
Preverite razumevanje in izberite naslednji korak. Na delavnici smo obravnavali naslednje teme: neodvisne naloge z zakasnitvijo, pravila in cilji, graf znanstvenega poteka, nato dva načina izvajanja s Slurmom.
Kaj naj bi znali pokazati
| Znanje | Dokaz iz delavnice |
|---|---|
| Pretvorba neodvisnih nalog v opravila | Deset datotek results/output_*.txt iz enega pravila z nadomestnim vzorcem |
| Zahteva po rezultatu in razlaga odvisnosti | summary.tsv potrebuje vse izhode z naključnimi števili |
| Razlikovanje načrtovanja in izvajanja | Razložite suhi zagon, izvedete potek in opazujete nespremenjeno ponovitev |
| Popravljanje le prizadetega dela | V začasni kopiji vaje odstranite en izhod in napoveste potrebna opravila |
| Načrtovanje vmesnikov analize | Sledite poti surovi HDF5 → kandidati energij → izbrane energije → disperzijski graf |
| Sledenje dejanskim rezultatom | Prepoznate prave izhodne datoteke in se ne zanesete le na oznako uspeha |
| Izbira načina izvajanja | Pojasnite eno dodelitev in ločeno oddajanje opravil Slurmu |
| Spremljanje izvajanja | Poiščete identifikatorje opravil, dnevnike in pričakovane izhodne datoteke |
Za vrstice, ki jih še ne znate razložiti, ponovite prvi potek, vaje s pravili, znanstveno načrtovanje, izvedbo in vaje za gručo.
Preden svoj potek označite za ponovljivega
- Poimenujte končni cilj ter zapišite vhode, izhode in delovni imenik vsakega programa.
- Skripte, nastavitve in podatke, ki dejansko vplivajo na rezultat, navedite kot odvisnosti. Poskrbite, da neodvisna opravila ne pišejo na iste poti.
- Začnite z majhnim naborom podatkov. V začasni kopiji preverite čist zagon, nespremenjeno ponovitev, ponovno izdelavo manjkajočega izhoda in namerno napako programa.
- Zabeležite različice programske opreme, izvor vhodov in parametre. Pri naključnosti določite, ali potrebujete povsem enako ponovitev in kako shranjujete semena; izvirni generator v tej delavnici nima nastavljenega semena.
- Ocenite in nato izmerite potrebe po CPU-jih, pomnilniku in času. Račun in particijo gruče hranite v profilu. Pred povečanjem obsega preverite okolje na računskih vozliščih.
- Zapišite navodila za pripravo okolja, zagon poteka in preverjanje pričakovanih izhodov.
Izvirna imenika program/ in program.solution/ ohranite kot izvorno gradivo, svoje spremembe pa v ločeni delovni kopiji.
Koristna naslednja vaja
Izberite majhno analizo, ki jo trenutno zaganjate ročno. Narišite graf s tremi do petimi koraki. Za vsako puščico poimenujte datoteko, ki prenaša podatke; za vsak okvir napišite ukaz in delovni imenik. Najprej izvedite končni cilj in eno pravilo. Kolega naj poskusi ponoviti postopek po vaših pisnih navodilih za pripravo, preden dodate preostale korake.
Za naslednjo izvedbo delavnice zabeležite neuspeli korak, točen ukaz, različice programske opreme in ustrezni dnevnik. Tako nastane uporabno poročilo o napaki, ki pomaga razlikovati med težavo namestitve, odvisnosti poteka in izvajanja posameznega programa.
Nadaljnje branje
- Priročnik ukazne vrstice Snakemake: suhi zagoni, ponovitve, profili in viri.
- Uradna dokumentacija izvajalnika Slurm: trenutne nastavitve vtičnika; pred spreminjanjem okolja jih primerjajte z določeno različico.
- Priročnik paketne oddaje Slurm: zahteve opravil in delovanje paketnih skriptov.
- Navodila NERSC za Snakemake: primer izvajanja na gruči NERSC. Njegovi računi, čakalne vrste in navodila za okolje veljajo za NERSC, ne samodejno za vašo gručo.
Izvorne datoteke, profile in zapiske preverjanja hranite skupaj, da lahko vaše delo ponovi še kdo drug.