sistema emma farm su grid enea introduzione all'utilizzo del sistema emma/farm su grid enea...
TRANSCRIPT
![Page 1: Sistema EmMa Farm su GRID ENEA Introduzione all'utilizzo del sistema EmMa/Farm su GRID Enea Gino Briganti – ENEA Andrea Cappelletti – ENEA Pietro Marri](https://reader035.vdocumenti.com/reader035/viewer/2022062303/5542eb76497959361e8e09fa/html5/thumbnails/1.jpg)
Sistema EmMa Farm su GRID ENEA
Introduzione all'utilizzo del sistema EmMa/Farm su GRID Enea
Gino Briganti – ENEAAndrea Cappelletti – ENEAPietro Marri - ENEA Progetto MINNIRiunione plenaria 4-5 marzo 2010
![Page 2: Sistema EmMa Farm su GRID ENEA Introduzione all'utilizzo del sistema EmMa/Farm su GRID Enea Gino Briganti – ENEA Andrea Cappelletti – ENEA Pietro Marri](https://reader035.vdocumenti.com/reader035/viewer/2022062303/5542eb76497959361e8e09fa/html5/thumbnails/2.jpg)
Introduzione
Obiettivi
Illustrare sinteticamente il filesystem e gli scripts EmMa/Farm su GRID Dare uno schema per la preparazione di un nuovo caso Fornire info su spazi e tempi cpu
![Page 3: Sistema EmMa Farm su GRID ENEA Introduzione all'utilizzo del sistema EmMa/Farm su GRID Enea Gino Briganti – ENEA Andrea Cappelletti – ENEA Pietro Marri](https://reader035.vdocumenti.com/reader035/viewer/2022062303/5542eb76497959361e8e09fa/html5/thumbnails/3.jpg)
Filesystem
Qualsiasi nome
![Page 4: Sistema EmMa Farm su GRID ENEA Introduzione all'utilizzo del sistema EmMa/Farm su GRID Enea Gino Briganti – ENEA Andrea Cappelletti – ENEA Pietro Marri](https://reader035.vdocumenti.com/reader035/viewer/2022062303/5542eb76497959361e8e09fa/html5/thumbnails/4.jpg)
Filesystem
La disposizione delle directory è rigida
NOTA BENE: La data nel netcdf deve corrispondere alla dir “anno”
farm/inp
IT0
2005
2005010
2005002
diffemi_IT0_2005002.bin
![Page 5: Sistema EmMa Farm su GRID ENEA Introduzione all'utilizzo del sistema EmMa/Farm su GRID Enea Gino Briganti – ENEA Andrea Cappelletti – ENEA Pietro Marri](https://reader035.vdocumenti.com/reader035/viewer/2022062303/5542eb76497959361e8e09fa/html5/thumbnails/5.jpg)
Gli scripts
Gli scripts sono nidificati, chiamano a loro volta altri scripts che però, per motivi particolari, possono essere lanciati anche individualmente
hanno più opzioni
sono predisposti per sottomettere dei jobs alle code della GRID ma possono essere utilizzati anche per esegure i calcoli in interattivo
Hanno un piccolo help in linea
![Page 6: Sistema EmMa Farm su GRID ENEA Introduzione all'utilizzo del sistema EmMa/Farm su GRID Enea Gino Briganti – ENEA Andrea Cappelletti – ENEA Pietro Marri](https://reader035.vdocumenti.com/reader035/viewer/2022062303/5542eb76497959361e8e09fa/html5/thumbnails/6.jpg)
EmMa
paths setting (indica la root)
pulizia ..../script_emma/emma.grid.bash clean [zone] [year]
preprocessing..../script_emma/emma.grid.bash preproc [zone] [year]
modulazione temporale.../script_emma/emma.grid.bash decad [zone] [year] [decads]
copia dei files su AFS (eventuale).../script_emma/emma.copy.bash [zone] [year] [decads]
![Page 7: Sistema EmMa Farm su GRID ENEA Introduzione all'utilizzo del sistema EmMa/Farm su GRID Enea Gino Briganti – ENEA Andrea Cappelletti – ENEA Pietro Marri](https://reader035.vdocumenti.com/reader035/viewer/2022062303/5542eb76497959361e8e09fa/html5/thumbnails/7.jpg)
Farm
paths setting e creazione dell'albero in farm/out
tree.bash [zone] [year] [root dir]
creazione dei file di inizializzazione farm.NxN.loop_ini_files.bash [zone] [year] [decads] (N=4,20)
lancio sotto LSF su base mensile farm.bsub.bash [zone] [year] [months]
copia su AFS (eventuale)copy.bash [year] [julian start] [julian end] [from dir] [to dir]
![Page 8: Sistema EmMa Farm su GRID ENEA Introduzione all'utilizzo del sistema EmMa/Farm su GRID Enea Gino Briganti – ENEA Andrea Cappelletti – ENEA Pietro Marri](https://reader035.vdocumenti.com/reader035/viewer/2022062303/5542eb76497959361e8e09fa/html5/thumbnails/8.jpg)
Nesting
Calcolo delle B.C. dal un caso 20x20
farm.4x4.BC.bsub.bash [zones] [years] [months]
Concatenazione dei file BC creati in modo che contengano record dalle ore 00 alle 24
farm.4x4.BC.concatenate.bash [zones] [year]
Creazione delle I.C. dal caso 20x20
farm.4x4.IC.bash [zones] [year]
![Page 9: Sistema EmMa Farm su GRID ENEA Introduzione all'utilizzo del sistema EmMa/Farm su GRID Enea Gino Briganti – ENEA Andrea Cappelletti – ENEA Pietro Marri](https://reader035.vdocumenti.com/reader035/viewer/2022062303/5542eb76497959361e8e09fa/html5/thumbnails/9.jpg)
Nuovo casoCreare un nuovo ramo
/afs/enea.it/project/minnifarm
Copiare l'intero albero
meteo TEST 2005
farm/inp TEST 2005
meteo IT0 2005
farm/inp IT0 2005/PFS/por/cappelle/test
![Page 10: Sistema EmMa Farm su GRID ENEA Introduzione all'utilizzo del sistema EmMa/Farm su GRID Enea Gino Briganti – ENEA Andrea Cappelletti – ENEA Pietro Marri](https://reader035.vdocumenti.com/reader035/viewer/2022062303/5542eb76497959361e8e09fa/html5/thumbnails/10.jpg)
Documentation
In /PFS/por/cappelle
mihaela
soft
farm
meteo
emi
bound
inp
out
IT0 CI0 1 mese
In ..../soft/soft_ARIANET/script_[emma,farm] ci sono dei readme files ove sono spiegate più in dettaglio l'uso degli scripts
In /afs/enea.it/project/minnifarm/readmeci sono i log files degli updates eseguiti
![Page 11: Sistema EmMa Farm su GRID ENEA Introduzione all'utilizzo del sistema EmMa/Farm su GRID Enea Gino Briganti – ENEA Andrea Cappelletti – ENEA Pietro Marri](https://reader035.vdocumenti.com/reader035/viewer/2022062303/5542eb76497959361e8e09fa/html5/thumbnails/11.jpg)
Scenari di Riferimento
XXX=IT0,NI0,SI0,SA0,SC0,CI0
YYYY=1999,2005
EMISSIONI /PFS/por/cappelle/minnifarm/farm/inp/XXX/YYYY
CONCENTRAZIONIDEPOSIZIONI
/PFS/por/briganti/minnifarm/farm/out/XXX/2005
/afs/enea.it/project/minnifarm/farm/out/XXX/1999
![Page 12: Sistema EmMa Farm su GRID ENEA Introduzione all'utilizzo del sistema EmMa/Farm su GRID Enea Gino Briganti – ENEA Andrea Cappelletti – ENEA Pietro Marri](https://reader035.vdocumenti.com/reader035/viewer/2022062303/5542eb76497959361e8e09fa/html5/thumbnails/12.jpg)
ATM
SS=25,50 PPP=PM10,NOx,SO2,NH3,VOC RRR=LAZ,LOMYYYY=2005 (emis) ZZZZ=2005 (meteo)
EMISSIONI
/PFS/por/cappelle/minnifarm/ATM/inp/SS/PPP/RRR/YYYY
CONCENTRAZIONIDEPOSIZIONI
/PFS/por/briganti/minnifarm/ATM/farm/out/YYYY/ZZZZ/SS/PPP/RRR
![Page 13: Sistema EmMa Farm su GRID ENEA Introduzione all'utilizzo del sistema EmMa/Farm su GRID Enea Gino Briganti – ENEA Andrea Cappelletti – ENEA Pietro Marri](https://reader035.vdocumenti.com/reader035/viewer/2022062303/5542eb76497959361e8e09fa/html5/thumbnails/13.jpg)
SPAZIO & TEMPO CPU
Simulazioni di 1 mese
SpazioGB
CPU time h
IT0Italy 20x20 25 16
CI0Centro Italia 4x4
60 100