Prvi delovni tok: deset neodvisnih opravil
V tem delu boste isti majhen izračun zagnali z zanko v Pythonu, zanko v lupini in delovnim tokom Snakemake. Razlikovali boste med pravilom (receptom) in opravilom (uporabo recepta za določen izhod), pregledali načrt izvajanja in obnovili manjkajoči rezultat.
Pripravite delovno mapo
Najprej dokončajte namestitev. Uporabite isti terminal z aktiviranim okoljem .venv. Začnite v mapi snakemake-workshop, ki vsebuje .venv, SnakeMake.intro in SnakeMake.main. Če ste namestitev končali v mapi installation-check, se najprej vrnite z cd ...
Prenesite workshop-support.zip, ga shranite v snakemake-workshop in tam razširite:
python -m zipfile -e workshop-support.zip .
ls workshop-support
mkdir work-intro
cp SnakeMake.intro/app.py SnakeMake.intro/app_v0.py work-intro/
cp workshop-support/first-workflow/Snakefile work-intro/
cd work-intro
Razširjena mapa vsebuje first-workflow, rules, science in cluster. Delamo v work-intro; izvorna repozitorija ostaneta na voljo za primerjavo. Če mapa obstaja že od prejšnjega poskusa, za ta del dosledno uporabite novo ime mape.
1. Zaporedni program v Pythonu
Oglejte si app_v0.py:
cat app_v0.py
python app_v0.py
Zanka desetkrat počaka tri sekunde in izpiše celo število od 0 do 99. Pričakujte deset vrstic te oblike z vrednostmi, ki jih izbere program:
result: 42
Zaporedni program zaženite enkrat. Zahteva deset zaporednih trisekundnih čakanj, zato traja približno 30 sekund in nekaj dodatnega časa. Generator naključnih števil nima nastavljenega semena: vrednosti niso referenčni odgovor in se lahko ponovijo. Zakasnitev ponazori razporejanje opravil; ne predstavlja računsko zahtevnega dela procesorja.
2. Ponavljanje prenesite v lupino
app.py vsebuje eno ponovitev izračuna. Naslednja zanka v lupini ga desetkrat zapored zažene in vsak izhod shrani v svojo datoteko:
mkdir shell-results
for i in {0..9}; do
python app.py > "shell-results/output_${i}.txt"
done
ls shell-results
cat shell-results/output_0.txt
Lupina pred nadaljevanjem počaka na vsak proces python. Ločene izhodne datoteke same po sebi še ne pomenijo vzporednega izvajanja. Vsaka mora vsebovati eno vrstico result: N. Uporabljamo indekse 0–9, skladno s Pythonovim range(10) in izvirno datoteko Snakefile. Izvirni script/script.sh uporablja 1–10; v učni kopiji smo indekse izrecno poenotili.
3. Opišite želene datoteke
Odprite Snakefile. Celotna učna različica je:
RESULTS = expand("output_{i}.txt", i=range(10))
rule all:
input:
RESULTS
rule run_app:
input:
script="app.py"
output:
"output_{i}.txt"
threads: 1
resources:
mem_mb=256,
runtime=5
shell:
"python {input.script:q} > {output:q}"
RESULTS je konkreten seznam output_0.txt, …, output_9.txt. Prvo pravilo all zahteva te datoteke; nima ukaza za izvajanje. Ime all je dogovor. Privzeti cilj tega delovnega toka je zato, ker je na prvem mestu.
run_app je recept za en izhod. Pri output_3.txt nadomestni vzorec oziroma wildcard {i} dobi vrednost 3. Deset zahtevanih imen datotek iz tega pravila ustvari deset neodvisnih opravil. Program ne uporablja vhodne podatkovne datoteke, vendar je tudi njegova izvorna koda odvisnost: app.py navedemo pod input. Poimenovani vhod script naredi ukaz preglednejši. Dodatek :q po potrebi ustrezno obdela narekovaje v poteh za lupino.
Vsako opravilo deklarira eno nit. Zahtevi za pomnilnik in čas sta učni nastavitvi za poznejši del o gruči: 256 MB in pet minut na opravilo. To niso izmerjene potrebe in lokalnemu izvajanju ne postavijo časovne omejitve. Polja pravil, ujemanje nadomestnih vzorcev in pomen virov opisuje uradna dokumentacija pravil.
4. Preglejte načrt in zaženite
Še vedno v work-intro:
snakemake --cores 2 --scheduler greedy --dry-run
snakemake --cores 2 --scheduler greedy
ls output_*.txt
cat output_0.txt
Pred prvim izvajanjem mora načrt vsebovati deset opravil run_app in ciljno pravilo all. Suhi zagon ne požene Pythona in ne ustvari rezultatov. Dejanski zagon dovoli največ dve enonitni opravili hkrati. Datoteke iz zanke v lupini so v shell-results/, zato ne izpolnjujejo novih ciljev v trenutni mapi.
Uspeh pomeni, da obstajajo datoteke output_0.txt do output_9.txt, vsaka z enim celim številom od 0 do 99 za result:. Vrstni red zaključevanja in vrednosti se lahko razlikujejo. Iz čakanj ne sklepajte na izmerjeno pohitritev ali skaliranje procesorskega dela.
5. Ponovna uporaba in obnova rezultatov
Ponovite isti ukaz:
snakemake --cores 2 --scheduler greedy
Ob nespremenjenih vhodih, ukazih in izhodih mora Snakemake sporočiti, da ni treba ničesar narediti. Sam ponovni klic ne ustvari novih naključnih števil.
Zdaj v work-intro odstranite eno ustvarjeno datoteko in preglejte načrt:
rm output_3.txt
snakemake --cores 2 --scheduler greedy --dry-run
snakemake --cores 2 --scheduler greedy
cat output_3.txt
Manjkajoči rezultat zahteva eno opravilo run_app. Preostalih devet datotek se uporabi ponovno. Nova naključna vrednost je lahko drugačna, po naključju pa tudi enaka. Če se k lekciji vrnete pozneje, vstopite v snakemake-workshop, aktivirajte .venv in nato izvedite cd work-intro.
Nadaljujte z vajami, nato s pravili in nadomestnimi vzorci.