Pravila, cilji in nadomestni vzorci
Deset neodvisnih opravil bomo povezali z drugim izračunom: zbiranjem rezultatov v tabelo. Od cilja boste sledili odvisnostim nazaj, pojasnili expand in nadomestne vzorce ter napovedali, katera opravila se izvedejo po spremembi.
1. Začnite ločen delovni tok
Začnite v snakemake-workshop z aktivnim okoljem .venv in že razširjenim arhivom podpornih datotek. Če ste v work-intro, najprej izvedite cd ...
mkdir work-rules
cp SnakeMake.intro/app.py work-rules/
cp workshop-support/rules/Snakefile workshop-support/rules/collect_results.py work-rules/
cd work-rules
Želeni rezultat je summary.tsv, tabela s tabulatorji kot ločili, glavo in desetimi podatkovnimi vrsticami. Stolpca sta file in value. Datoteke results/output_0.txt do results/output_9.txt bo navedla v tem izrecno določenem vrstnem redu, ne glede na vrstni red zaključevanja opravil.
2. Preberite graf odvisnosti
Delovni tok ima tri pravila:
app.py ──> results/output_0.txt ──┐
──> results/output_1.txt ──┤
... ├──> summary.tsv ──> all
──> results/output_9.txt ──┘ ↑
collect_results.py
Puščice kažejo odvisnosti med datotekami, ne vrstnega reda pravil v datoteki. all določa zahtevani končni cilj; ne ustvari datoteke z imenom all. Vsak rezultat lahko nastane neodvisno. Zbiranje mora počakati na vseh deset.
Celotna datoteka Snakefile je:
RESULTS = expand("results/output_{i}.txt", i=range(10))
rule all:
input:
"summary.tsv"
rule run_app:
input:
script="app.py"
output:
"results/output_{i}.txt"
threads: 1
resources:
mem_mb=256,
runtime=5
shell:
"python {input.script:q} > {output:q}"
rule collect:
input:
script="collect_results.py",
values=RESULTS
output:
"summary.tsv"
threads: 1
resources:
mem_mb=256,
runtime=5
shell:
"python {input.script:q} {output:q} {input.values:q}"
input.values je seznam desetih rezultatov; input.script je program za zbiranje. Z ločenima imenoma se izognemo temu, da bi skript pomotoma podali tudi kot podatkovno datoteko. Snakemake ustvari nadrejene mape deklariranih izhodov, zato dodatnega pravila za izdelavo results/ ne potrebujemo. Obe izvedljivi pravili zahtevata eno nit, 256 MB in pet minut za poznejši primer na gruči; to so ponazoritvene zahteve, ne izmerjene potrebe.
3. Različni pomeni zavitih oklepajev
Primerjajte izraze:
| Izraz | Pomen v tem delovnem toku |
|---|---|
expand("results/output_{i}.txt", i=range(10)) |
Izdelava desetih konkretnih imen datotek v Pythonu pred izvajanjem opravil |
"results/output_{i}.txt" pod output |
Vzorec pravila; vrednost nadomestnega vzorca izhaja iz zahtevanega imena datoteke |
{input.script:q}, {output:q} v shell |
Vstavljanje dejanskih imen datotek opravila v ukaz za lupino |
Pri zahtevi za results/output_7.txt izhodni vzorec določi i = "7". To je niz, dobljen iz imena datoteke, ne spremenljivka Pythonove zanke. expand ne izvaja opravil: poda imena datotek, zaradi katerih potrebujemo ustrezna opravila. Pravilo z nadomestnim vzorcem opisuje možne izhode tudi zunaj privzetega seznama ciljev; vzorcu bi ustrezala tudi izrecna zahteva za results/output_12.txt.
Usmerjeni aciklični graf (DAG) opisuje opravila in njihove odvisnosti. »Usmerjeni« pomeni, da izhodi napajajo vhode naslednjih korakov. »Aciklični« pomeni, da nobeno opravilo ni neposredno ali posredno odvisno od lastnega izhoda. Z razmislekom nazaj ugotovimo, kaj potrebujemo, nato pa pred porabniki izvedemo opravila, ki jim pripravijo vhode. Uradni osnovni vodič ponazori povezavo med imeni datotek in odvisnostmi.
4. Preglejte zbiranje in zaženite
cat collect_results.py
snakemake --cores 2 --scheduler greedy --dry-run
snakemake --cores 2 --scheduler greedy
cat summary.tsv
Pred prvim zagonom pričakujte deset opravil run_app, eno opravilo collect in all. Skript za zbiranje prebere urejeni seznam, podan z input.values. Za vsak vhod zahteva natanko eno vrstico result: N s celim številom od 0 do 99; neveljavna vsebina povzroči napako. Vse vrstice preveri pred pisanjem tabele. S tem preverimo obliko učnega primera, ne statističnih lastnosti naključnih števil.
Izhod se začne z file in value, ločenima s tabulatorjem. Skupaj mora imeti enajst vrstic. Preverite obliko in vrstni red:
python - <<'PYCODE'
import csv
from pathlib import Path
with Path("summary.tsv").open() as stream:
table = csv.DictReader(stream, delimiter="\t")
assert table.fieldnames == ["file", "value"]
rows = list(table)
assert [row["file"] for row in rows] == [f"results/output_{i}.txt" for i in range(10)]
assert all(0 <= int(row["value"]) <= 99 for row in rows)
print("Ten ordered results: OK")
PYCODE
5. Napovejte ponovitve iz odvisnosti
Najprej ponovite privzeti klic:
snakemake --cores 2 --scheduler greedy
Ob nespremenjenem stanju ni treba ničesar narediti. Zdaj odstranite ustvarjeno datoteko predhodnega koraka:
rm results/output_4.txt
snakemake --cores 2 --scheduler greedy --dry-run
Privzeta zahteva lahko še vedno sporoči, da ni dela: summary.tsv obstaja, manjkajoči vmesni rezultat pa sam ni zahtevani cilj. Snakemake ne obnovi samodejno vseh preteklih vmesnih datotek. Če želimo ohraniti tako vmesni rezultat kot tabelo, izrecno zahtevamo oba:
snakemake --cores 2 --scheduler greedy --dry-run results/output_4.txt summary.tsv
snakemake --cores 2 --scheduler greedy results/output_4.txt summary.tsv
Zdaj eno generatorsko opravilo obnovi manjkajočo datoteko. Ponovi se tudi zbiranje, saj je njegov zahtevani izhod odvisen od vhoda, ki se ustvarja na novo. Preostalih devet generatorskih izhodov se uporabi ponovno. Spet preglejte summary.tsv: število in vrstni red vrstic ostaneta enaka, tudi če je nova vrednost po naključju enaka stari.
Kaj pa sprememba samo collect_results.py? Ta skript je vhod pravila collect, ne pa run_app. Ustrezna sprememba zato zahteva ponovno zbiranje, ne desetih novih naključnih števil. Sprememba app.py pa vpliva na vsa generatorska opravila in nato na zbiranje. Privzeto preverjanje ponovitev v Snakemake upošteva tudi shranjeno kodo, parametre in druge podatke o prejšnjem izvajanju; pri razmisleku o odvisnostih predpostavljamo, da drugih spremljanih sprememb ni. Glejte pravila in odvisnosti.
Nadaljujte z vajami, nato z zasnovo znanstvenega delovnega toka.