Od prenosnika do Slurma
Cilj je izbrati način izvajanja, povezati vire pravil z zahtevami razporejevalniku in pripraviti nastavitve za svojo gručo. Dejansko izvajanje zahteva dostop in navodila upravljavca; lokalno delavnico lahko zaključimo s pregledom in suhimi zagoni.
Uporabite mali potek work-rules iz poglavja pravila in cilji: deset opravil run_app ustvari results/output_0.txt do results/output_9.txt, nato collect ustvari summary.tsv. Obe izvedljivi pravili zahtevata threads: 1, mem_mb=256 in runtime=5. To so učne zahteve, ne izmerjene potrebe znanstvenih prilagajanj.
Dva načina izvajanja
| Ena dodelitev virov | Eno opravilo na gruči za vsako opravilo poteka | |
|---|---|---|
| Kdo oddaja opravila? | Vi oddate en paketni skript | Opravila oddaja Snakemakov izvajalnik Slurm |
| Kje teče Snakemake? | Znotraj dodeljenih virov | Na gostitelju, ki ga za vodenje poteka dovoljuje upravljavec |
| Kaj omejuje sočasnost? | Dodeljeni CPU-ji in lokalni proračuni virov | --jobs, odvisnosti in pravila gruče |
| Glavni kompromis | Vse delo mora ustrezati dodelitvi | Vsako opravilo ima strošek razporejanja |
Za naše kratke naloge z zakasnitvijo je običajno smiselnejši prikaz z eno dodelitvijo. Ločeno oddajanje je koristno, kadar posamezni koraki upravičijo strošek razporejanja ali potrebujejo različne vire. Noben način ne ponuja neomejene zmogljivosti: še vedno veljajo kvote računa, omejitve particije, obremenitev čakalne vrste in časovne omejitve.
Pred uporabo prave gruče
Imenik snakemake-workshop/, vhodi in okolje naj bodo na shrambi, vidni krmilnemu in računskim vozliščem na istih poteh. Okolje .venv ustvarite na gruči z okoljem Python, opisanim v navodilih za namestitev; virtualnega okolja z macOS ne kopirajte na Linux. Ponovite namestitev in prenesite pripravljene datoteke poteka. Iz navodil svoje gruče pridobite račun, particijo, dovoljeno mesto za vodenje poteka, nastavitev Pythona/modulov ter morebitno rezervacijo ali QoS.
Začnite v imeniku snakemake-workshop na gruči. Če ste v work-science/program, se vrnite z cd ../... Arhiv podpornih datotek mora biti tu že razpakiran kot workshop-support/.
Za načina A in B pripravite ločena delovna imenika. Prekopirajte samo programe in delovni tok, tako da vsak način začne brez rezultatov ali metapodatkov prejšnjih zagonov. Če imenika že obstajata od prejšnjega poskusa, izberite novi imeni in ju dosledno uporabljajte v nadaljevanju.
source .venv/bin/activate
mkdir work-cluster-a work-cluster-b
for directory in work-cluster-a work-cluster-b; do
cp SnakeMake.intro/app.py "$directory/"
cp workshop-support/rules/Snakefile workshop-support/rules/collect_results.py "$directory/"
done
cd work-cluster-a
python --version
snakemake --version
snakemake --cores 1 --scheduler greedy --dry-run
V svežem imeniku pričakujemo deset opravil run_app, eno opravilo collect in cilj all: 12 opravil v načrtu. Suhi zagon ne ustvari rezultatov. Zdaj ste v work-cluster-a; imenik work-cluster-b ostane nedotaknjen za način B.
Po zaključku poteka nespremenjeni suhi zagon sporoči, da ni dela. Če želite ponovno pregledati celoten načrt, dodajte --forceall:
snakemake --cores 1 --scheduler greedy --dry-run --forceall
A. Lokalno izvajanje znotraj ene dodelitve
Preberite run-in-allocation.sh. Naslednji ukaz se izvede znotraj paketnega skripta; ne zaganjajte ga ločeno v terminalu. Skript oddajte s spodnjim ukazom sbatch:
snakemake --executor local --scheduler greedy \
--cores "$SLURM_CPUS_PER_TASK" --resources mem_mb=1024 --printshellcmds
Oddajo izvedite iz dejanskega imenika snakemake-workshop/work-cluster-a: SLURM_SUBMIT_DIR beleži imenik, iz katerega ste poklicali sbatch. Samo možnost sbatch --chdir te spremenljivke ne spremeni.
Skript preide v SLURM_SUBMIT_DIR, aktivira ../.venv, omeji pogoste knjižnice za numerično računanje na eno nit in ob napaki lupine prekine izvajanje. Število CPU-jev dobi od Slurma, namesto da bi uporabil vse CPU-je, vidne na vozlišču. Lokalni proračun 1024 MB dovoli največ štiri opravila z zahtevo 256 MB; to je ocena za razporejanje, ne meritev ali omejitev pomnilnika na ravni operacijskega sistema. Od Slurma zahtevamo 2 GB, da ostane prostor za Snakemake in spremljevalne procese.
Predloga za oddajo na določeni gruči
Zamenjajte REPLACE_WITH_ACCOUNT in REPLACE_WITH_PARTITION po navodilih svoje gruče. Preverite, da so predlagani CPU-ji, pomnilnik in čas dovoljeni. Ukaz odda pravo opravilo; izvedite ga le med odobreno vajo na gruči. Skripta ne zaganjajte neposredno na prijavnem vozlišču.
sbatch --account=REPLACE_WITH_ACCOUNT --partition=REPLACE_WITH_PARTITION \
--nodes=1 --ntasks=1 --cpus-per-task=4 --mem=2G --time=00:10:00 \
../workshop-support/cluster/run-in-allocation.sh
Zahteva rezervira eno nalogo na enem vozlišču s štirimi CPU-ji. Če sbatch vrne identifikator opravila, je uspela oddaja; potek še ni nujno končan. Privzeta skupna datoteka izpisa je slurm-JOBID.out. Slurm vhodnih datotek ne prenese samodejno. Podrobnosti so v uradnem priročniku sbatch.
Opravilo spremljajte z identifikatorjem, ki ga izpiše sbatch (zamenjajte JOBID):
squeue -u "$USER"
sacct -j JOBID --format=JobID,State,Elapsed,ExitCode
tail -f slurm-JOBID.out
squeue izpiše vaša čakajoča (PD) in tekoča (R) opravila; ko se opravilo konča, s seznama izgine. sacct nato pokaže njegovo končno stanje. Če ima glavna vrstica (brez pripone .batch ali .extern) stanje COMPLETED in izhodno kodo 0:0, sta se paketni skript in z njim Snakemake uspešno končala. Pri stanju FAILED, TIMEOUT ali OUT_OF_MEMORY preberite dnevnik. Ukaz tail -f prekinete s Ctrl+C; opravila s tem ne prekinete.
Ko sacct pokaže COMPLETED, preglejte dnevnik in summary.tsv (glava in deset podatkovnih vrstic). Nespremenjeni lokalni suhi zagon ne sme zahtevati računanja. Rezultate pustite v work-cluster-a; način B uporablja svoj svež imenik.
B. Opravila oddaja izvajalnik Slurm
Vrnite se v snakemake-workshop (iz work-cluster-a izvedite cd ..). Uporabite ločeno okolje Slurm iz dodatnega koraka namestitve. Če ga še niste ustvarili, ta korak izvedite na gruči; tudi ta se konča v snakemake-workshop. Okolje in Python morata biti računskim vozliščem dostopna na istih poteh.
Vstopite v svež imenik za način B, aktivirajte okolje Slurm in pripravite profil:
cd work-cluster-b
source ../.venv-slurm/bin/activate
export OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1
export MKL_NUM_THREADS=1 NUMEXPR_NUM_THREADS=1
mkdir -p profiles/slurm
cp ../workshop-support/cluster/profile/config.yaml profiles/slurm/config.yaml
Uredite profiles/slurm/config.yaml in zamenjajte obe nadomestni vrednosti za gručo:
executor: slurm
scheduler: greedy
jobs: 4
printshellcmds: true
slurm-keep-successful-logs: true
default-resources:
slurm_account: REPLACE_WITH_ACCOUNT
slurm_partition: REPLACE_WITH_PARTITION
mem_mb: 256
runtime: 5
set-resources:
run_app:
mem_mb: 1024
collect:
mem_mb: 1024
Profil je datoteka YAML z nastavitvami Snakemakove ukazne vrstice. Izbire za gručo hranimo v profilu, da potek ostane prenosljiv. runtime je časovna omejitev v minutah na opravilo, mem_mb je pomnilnik na opravilo, threads: 1 iz posameznega pravila pa določa zahtevo za CPU. Izrecno navedeni viri pravila imajo prednost pred privzetimi; set-resources preglasi te zahteve pravil. Profil zato v načinu B za vsako izvedljivo opravilo zahteva 1024 MB, medtem ko način A ohrani lokalne ocene za razporejanje po 256 MB. Vsako ločeno opravilo na gruči zažene tudi Snakemake in programsko opremo za izvedbo koraka opravila, zato mora načrtovanje virov upoštevati tudi ta strošek. Vrednost 1024 MB je delovala pri našem preizkusu na gruči; gre za izbiro za določeno gručo, ne splošno najmanjšo zahtevo. jobs: 4 omejuje število oddanih, še nedokončanih opravil poteka; ne dodeli štirih CPU-jev in ne zagotavlja štirih sočasno tekočih opravil. Preslikave virov opisuje dokumentacija izvajalnika Slurm, zapis profilov pa dokumentacija Snakemakove ukazne vrstice.
Izvožene omejitve niti omejijo pogoste numerične knjižnice na eno nit v krmilnem procesu in oddanih opravilih.
Najprej preglejte načrt, vključno z viri. Tudi svež imenik work-cluster-b mora načrtovati deset opravil run_app, eno opravilo collect in all, ne glede na to, ali je način A že končan:
snakemake --profile profiles/slurm --dry-run --forceall
Ukaz ne odda opravil in ne dokazuje, da račun, particija, datotečni sistem ali okolje računskih vozlišč delujejo. Ko izvajalec delavnice oziroma upravljavec preveri nastavitve, naslednji ukaz opravi dejansko oddajo z dovoljenega krmilnega gostitelja:
snakemake --profile profiles/slurm
Ta krmilni proces zaženite zunaj obstoječe dodelitve Slurm, kot pri našem uspešnem preizkusu: vtičnik ob zagonu znotraj paketnega opravila opozori na podedovane nastavitve Slurma. Krmilni proces naj teče do konca poteka. Upoštevajte politiko gruče za dolgotrajne krmilne procese; ne predpostavite, da so dovoljeni na prijavnem vozlišču. Vtičnik shranjuje dnevnike opravil pod .snakemake/slurm_logs/; ta profil ohrani tudi dnevnike uspešnih opravil. Prikazane identifikatorje uporabite pri orodjih za spremljanje gruče. Pred ponovitvijo neuspelega opravila preberite Snakemakovo napako in Slurmov dnevnik.
Za znanstveni potek ali način A znova aktivirajte ../.venv/bin/activate. Tukaj uporabljeni mali potek ne uvaža NumPy; izvajanje znanstvenih prilagajanj z novim naborom odvisnosti bi zahtevalo novo preverjanje.
Rezultati tega načina so v work-cluster-b. Preverite, da summary.tsv vsebuje glavo in deset podatkovnih vrstic, nato izvedite snakemake --profile profiles/slurm --dry-run brez --forceall: sporočiti mora, da ni dela.
Nadaljujte z vajami.