Skoči na vsebino

Upravljanje podatkov

Upravljanje s podatki

Gruče uporabljajo različne lokacije za podatke:

  • Uporabniški prostor na prijavenem vozlišču (user home, omejen s kvoto)
  • Podatkovni prostor na lokalnem diskovju (po dogovoru)
  • Začasni prostor za vhodno/izhodne datoteke poslov ARC (lokalno diskovje)
  • Vmesna shramba (cache) ARC za vhodne podatke
  • Podatki, dostopni preko ARC RTE
  • Kratko/srednjeročna shramba na strežniku SMR/dCACHE (dcache.arnes.si)

ARC podpira še številne protokole za dostop do podatkov in shranjevanje: ftp, gsiftp, http, https, httpg, dav, davs, ldap, srm, root, rucio, s3.

ARC uporablja vmesni pomnilnik (cache) in optimizira prenose (ponovni zagon prenosov, enkratni prenos iste datoteke za več poslov ipd.)

Shranjevanje podatkov na oddaljenem strežniku dCache

  • Arnes vzdržuje strežnik dCache, ki je na voljo uprabnikom SLING preko gen.vo.sing.si in drugih VO.
  • 100TB je na voljo za vhodno-izhodne podatke nalog.
  • Člani istega VO-ja lahko berejo datoteke v dodeljenem poolu, strežnik tako ni primeren za zaupne podatke. Če že, najboljše, da so šifrirani.
  • Varnostne kopije za podatke na strežniku dCache se ne izvajajo.

Na spletnih straneh SLING so na voljo osnovna navodila za uporabo Arnes dCache.

Odjemalec ARC omogoča neposredno upravljanje s podatki, ki so lahko tudi vhodne ali izhodne datoteke za posle.

  • arcls seznam vsebine oddaljenega imenika
  • arccp kopiranje datotek
  • arcrm brisanje datotek
  • arcmkdir nov imenik
  • arcrename preimenovanje datotek

Primer arcls:

$ arcls srm://dcache.arnes.si/data/arnes.si/gen.vo.sling.si/project_name/

centos7.sif
gmp\_test.c
gmp\_test.sh
gmp\_test.xrsl
...

Za gsiftp morajo biti certifikati posodobljeni vsak dan z ukazom fetch-crl, priporočljivo pa je to dodati v super user cronjob. Primer arccp:

arccp test.txt gsiftp://dcache.arnes.si/data/arnes.si/gen.vo.sling.si/proj_name

Primer arcrm:

arcrm srm://dcache.arnes.si/data/arnes.si/gen.vo.sling.si/proj_name/test

Primer arcmkdir:

arcmkdir srm://dcache.arnes.si/data/arnes.si/gen.vo.sling.si/proj_name/test