Skip to content

EuroCC in SLING

Superračunalništvo bolj zares12

Uroš Lotrič, Davor Sluga, Timotej Lazar
Univerza v Ljubljani, Fakulteta za računalništvo in informatiko

Raziskovalci se pogosto spopadajo z izzivi, ki zahtevajo veliko računske moči, na primer pri analizi velikih podatkov, fizikalnih simulacijah, računski kemiji, računski biologiji, napovedovanju vremena, simulacijah dinamike tekočin. Za reševanje mnogih problemov je pogosto na voljo ustrezna programska oprema, ki jo je potrebno ustrezno prilagoditi za izvajanje na izbranem superračunalniku.

Pogledali si bomo nekaj tipičnih načinov uporabe lupine bash za avtomatizirano zaganjanje poslov in porazdelitev dela med strojne vire. Na primeru enostavnih programov v jeziku python bomo spoznali, kako učinkovito porazdeliti delo med procesorska jedra, grafične pospeševalnike in različna vozlišča. Spoznali se bomo z različnimi načini nalaganja programske opreme: v domačo mapo, preko okoljskih modulov in vsebnikov.

Danes je na voljo veliko programskih orodij v obliki vsebnikov (lahke virtualizacije). Spoznali se bomo s konceptom virtualnih strojev ter vsebnikov in razlikami med zasnovo vsebnikov Docker in Singularity. Naučili se bomo uporabiti že pripravljene vsebnike Docker in Singularity. Na praktičnih primerih bomo spoznali, kako graditi vsebnike Singularity in jih zagnati v okolju HPC na različne načine: samo na procesorskih jedrih, na grafičnih procesnih enotah in na več vozliščih.

Delavnica bo praktično usmerjena, vaje bomo izvajali na modernem sistemu HPC.

Potek

Delavnico bomo izvedli v treh popoldnevih. Prvi dan se bomo spoznali z vmesno programsko opremo Slurm in okoljskimi moduli, drugi in tretji dan pa se bomo ukvarjali z vsebniki: uporabljali obstoječe, zgradili svoje in jih nadgradili za učinkovito delo na superračunalniku.

Materiali

Sestavni del delavnice so materiali, objavljeni na repozitoriju. Vsebino repozitorija lahko prenesete na svoj računalnik z ukazom

git clone https://repo.sling.si/dsluga/advanced-supercomputing.git

Udeleženci

Delavnica je namenjena raziskovalcem, inženirjem, študentom in drugim, ki ste spoznali, da potrebujete več računskih virov, kot vam jih ponujajo običajni računalniki.

Zaželena predznanja

  • opravljena delavnica Osnove superračunalništva,
  • razumevanje zgradbe računalniške gruče,
  • delo preko odjemalca SSH (ukazna vrstica, prenašanje datotek),
  • osnovno poznavanje vmesne programske opreme Slurm,
  • osnovno znanje operacijskega sistema Linux in lupine Bash,
  • osnovno poznavanje programskega jezika Python.

Pridobljena znanja

  • poznavanje vmesne programske opreme Slurm,
  • razumevanje okoljskih modulov in vsebnikov,
  • pripravljanje kompleksnih izvajalnih skript za okoljske module in vsebnike,
  • uporaba obstoječih vsebnikov Docker in Singularity,
  • gradnja lastnih vsebnikov Singularity za izvajanje izbranih programov na superračunalniški gruči,
  • raba različnih računskih virov v okoljskih modulih in vsebnikih (procesorska jedra, grafični pospeševalniki, vozlišča).

  1. Gradivo je objavljeno pod licenco Creative Commons Priznanje avtorstva-Nekomercialno-Deljenje pod enakimi pogoji 4.0 Mednarodna. ↩

  2. Delavnica je pripravljena pod okriljem evropskega projekta EuroCC, ki je namenjen vzpostavitvi nacionalnih kompetenčnih centrov za superračunalništvo. Več o projektu EuroCC najdete na spletnih straneh SLING. EuroCC in SLING ↩