Implementacija in zagon znanstvenega delovnega toka
Obstoječe programe bomo povezali z eno datoteko Snakefile, pregledali celoten načrt in izvedli eno prilagajanje. Celotna analiza je dodatna naloga ali vnaprej pripravljena demonstracija predavatelja. Najprej predelajte načrtovanje.
1. Pripravimo ločeno kopijo analize
Začnite v snakemake-workshop z aktivnim okoljem .venv. Potrebujete oba klonirana repozitorija in imenik workshop-support iz poglavja o prvem delovnem toku.
python -m pip install -r workshop-support/science/requirements-science.txt
python -m pip check
python workshop-support/science/prepare_science.py SnakeMake.main work-science
cd work-science/program
Namestitev se mora končati brez napak, pip check pa ne sme sporočiti nezdružljivih odvisnosti. Pomožni program ustvari nov imenik work-science; obstoječega cilja ne prepiše. Prekopira izvirne numerične programe, surove podatke in referenčne nastavitve INI ter doda učni Snakefile in ovoj za risanje. Nobenega repozitorija ne spremeni.
work-science/
├── data/
│ ├── raw_data/pion_lambda.h5
│ ├── energy_fits/ (kandidatne energije)
│ └── dispersion_data/ (izbrane/preoblikovane energije)
└── program/ ← tukaj zaženemo Snakemake
├── Snakefile
├── correlators/inis/
├── energies/
└── dispersion/
Zahteve določajo različice neposrednih paketov in orodja Snakemake, uporabljenih na delavnici. Ovoj za risanje omogoča izdelavo grafov brez zunanje namestitve LaTeX.
2. Pravilo kot dogovor o datotekah
Referenčna dokumentacija pravil Snakemake pojasnjuje vhodne funkcije, expand, dnevnike in deklaracije niti.
V urejevalniku odprite Snakefile. Prvo pravilo all zahteva vse kandidatne energije, vse izbrane energije, diagnostični PDF izbire in končni PDF disperzije. Vmesne podatke izrecno ohranimo kot cilje delavnice, da se manjkajoči kandidat obnovi tudi ob že obstoječih PDF. To odločitev primerjajte z nalogo o manjkajočem vmesnem izhodu v prejšnjem delovnem toku. Pravilo fit_correlator kot vhode navede surove podatke, nastavitev in program. Njegov izhodni vzorec opisuje vse štiri datoteke gibalnih količin iz enega prilagajanja.
Ključni del izbire nastavitve je:
config=lambda wildcards: FIT_CONFIGS[wildcards.fit],
Slovar FIT_CONFIGS preslika oznako izhoda, kot je tmin10-tmax22_model1exp, v pot do INI. Kratka funkcija poišče nastavitev za konkretno opravilo. Med branjem delovnega toka ne izvaja prilagajanja. Branje obstoječih datotek INI določi množico kandidatov; podvojene oznake izhodov se izvajajo samo enkrat.
V izrazu za izhode:
expand("../data/energy_fits/d{momentum}_energy_{{fit}}.jack", momentum=MOMENTA)
expand takoj razreši štiri oznake gibalnih količin. Dvojni zaviti oklepaji ohranijo {fit} kot nadomestni vzorec za poznejše ujemanje opravil. Vsako opravilo ima torej štiri izhode; ne ustvarimo štirih opravil, ki bi tekmovala za izvedbo istega prilagajanja.
Ukaz preide v correlators, ker izvirni program od tam razlaga poti v INI. Vhodi in izhodi v pravilih Snakemake ostanejo relativni glede na work-science/program; sprememba imenika v ukazu lupine teh deklaracij ne spremeni. Ločeni dnevniki hranijo izpis vsakega prilagajanja. Prilagoditev omeji tudi število niti numeričnih knjižnic na eno nit na opravilo, skladno z threads: 1.
Ohranimo določeno množico kandidatov
Izvirni izbirni program pregleduje vhodni imenik. V data/energy_fits hranite samo kandidate tega primera. Če nastavitve spremenite ali odstranite, pripravite novo delovno kopijo: stare datoteke iz prejšnje množice bi lahko vplivale na izbiro, čeprav jih v trenutnem grafu odvisnosti ni.
3. Sledimo celotnemu grafu
combine_fits navede vse kandidatne datoteke kot vhode. Zapiše štiri izbrane energijske datoteke in svoj PDF. fit_dispersion navede te štiri datoteke, file.list, oba programa za disperzijo in ovoj za izris. Snakemake tako vidi celotno verigo odvisnosti v enem grafu.
Učni Snakefile nadomesti zgodovinske vgnezdene zagone orodja Snakemake in odvisnosti prek označevalnih datotek. Ohrani dejanske programe za analizo in priloženo množico kandidatov. Zgodovinskega program.solution/Snakefile v tem postopku ne izvajamo.
4. Osnovna naloga: načrtujmo vse, izvedimo eno prilagajanje
Vse ukaze tega razdelka izvajamo iz work-science/program:
snakemake --cores 2 --scheduler greedy --dry-run
Za svež imenik in zabeleženi posnetek repozitorija pričakujemo 17 opravil fit_correlator, eno combine_fits, eno fit_dispersion in eno all: 20 opravil skupaj s ciljnim pravilom. Če se števila razlikujejo, pred izvajanjem preverite revizijo repozitorija in nastavitve INI.
Zdaj izvedimo samo eno prilagajanje z eno eksponentno funkcijo, tako da zahtevamo enega od njegovih izhodov:
snakemake --cores 2 --scheduler greedy ../data/energy_fits/d000_energy_tmin10-tmax22_model1exp.jack
head -n 3 ../data/energy_fits/d000_energy_tmin10-tmax22_model1exp.jack
snakemake --cores 2 --scheduler greedy ../data/energy_fits/d000_energy_tmin10-tmax22_model1exp.jack
Eno opravilo izdela vse štiri datoteke gibalnih količin za to nastavitev. Prikazana glava naj se začne s 400, številom vrstic replik; naslednje vrstice vsebujejo polje z indeksom in energijsko vrednost. Druga enaka zahteva naj ne opravi nobenega dela. Izvedli ste pravi program za prilagajanje brez čakanja na vsa prilagajanja. Rešite nalogi 1 in 3, nato nadaljujte s poglavjem o gruči ali z dodatno nalogo spodaj.
5. Dodatna naloga: dokončajmo in preglejmo analizo
Surovi podatki vsebujejo 400 replik v vsakem od štirih kanalov. Predavatelj naj celoten zagon za razpravo pripravi pred srečanjem.
Za dokončanje lastne analize ostanite v work-science/program in izvedite:
snakemake --cores 2 --scheduler greedy
Veje prilagajanj lahko tečejo sočasno, izbira pa počaka na vse. Čas izvajanja je odvisen od računalnika in numeričnih knjižnic; spremljajte napredek, namesto da bi pričakovali vnaprej določen čas.
Po uspešnem zaključku preglejte datoteke in dnevnik:
python - <<'PY'
from pathlib import Path
for directory in ("../data/energy_fits", "../data/dispersion_data"):
print(directory, len(list(Path(directory).glob("*.jack"))))
for filename in ("energies/energies_chosen.pdf", "dispersion/dispersion_pion.pdf"):
print(filename, Path(filename).stat().st_size, "bytes")
PY
cat logs/dispersion.log
snakemake --cores 2 --scheduler greedy
Pričakujemo 68 kandidatnih datotek, 4 izbrane datoteke in dva neprazna PDF. Oba PDF odprite s pregledovalnikom. Preverite oznake in očitno manjkajočo vsebino. Zadnji ukaz mora ob nespremenjenih vhodih in izhodih sporočiti, da ni dela.
Nadaljujte z nalogami, nato z izvajanjem na gruči.