opendata for aquila
DESCRIPTION
l'economia della conoscenza: open data tra filosofia e praticaTRANSCRIPT
open data
for Aquila
l’economiadella conoscenza
dati aperti
senza copyrighte disponibiliper il riuso
i n s i d e o u t 1 0lunedì 5 maggio 14
la presentazione è estratta dai contributi open pubblicati in internet e dalla partecipazione diretta all’opendataday e all’opengeodata, corso di formazione PA, in Roma. In particolare: . Formez, Gianfranco Andriola . Comune Firenze, Emanuele Geri . Open Knowledge Foundation, Maurizio Napolitano . Lombardia Informatica, Daniele Crespi supporto grafico: mary heilmann art - europaconcorsi (ponti, incroci, infrastruttura)
lunedì 5 maggio 14
gli Open Data sono: dati leggibili dalle macchine
Open Definition di Open Knowledge Foundation
«un contenuto o un dato si definisce aperto se chiunque è in grado di utilizzarlo, ri-utilizzarlo e ridistribuirlo, soggetto, al massimo, alla richiesta di attribuzione e condivisione allo stesso modo»
La Open Knowledge Foundation è‘Fondazione per la conoscenza aperta’ è una Organizzazione non profit con lo scopo di promuovere l'apertura dei contenuti e i dati aperti. Fu fondata il 24 maggio 2004 a Cambridge (Regno Unito). La fondazione ha pubblicato la definizione di Conoscenza aperta e partecipa a diversi progetti come il: Comprehensive Knowledge Archive Network e supporta lo sviluppo della Open Database Licensehttp://opendatamanual.org/ - Documento redatto dall’Open Knowledge Foundation
il responsabile per l’Italia della Knowledge foundation èMaurizio Napolitano - Fondazione Bruno Kessler
filosofiaepraticaopen
lunedì 5 maggio 14
"Un giorno le macchine risolveranno tutti i problemi,ma mai nessuna di esse riuscirà a formularne uno"
A. Einstein
HREF: fondazione per la qualità dell’informazionees.. il Data journalism
http://www.innovatoripa.it
lunedì 5 maggio 14
open data: categorie
dati cartografici
scientifici, medici, bioscienze
genetica, chimica ...
dati anagrafici
dati governativi
dati territoriali
attivazione, verifica\impatto e monitoraggio politiche sociali
gestione del territorio
i tag più diffusi portaledati.gov.it:
popolazioneterritorio2012\2013ambiente
cartografiastatistica
2006\2011turismoelezioni
commercio
La PA da sempre raccoglie e archivia informazioni sulle tematiche più disparate. Oggi la PA ha la possibilità di restituire il patrimonio informativo accumulato e aggiornato alla comunità e agli operatori economici di settore. FORMEZ Pa
lunedì 5 maggio 14
L'open data si richiama alla più ampia disciplina dell’open government:tutte le attività dei Governi e delle Amministrazioni dello Stato devono essere aperte e disponibili per favorire azioni efficaci e garantire un controllo diffuso sulla gestione della cosa pubblica.
trasparenza partecipazione collaborazione
open data: la legislazione italianaCodice dell'Amministrazione Digitale (D. Lgs. n. 82/2005) prevede il principio di “disponibilità dei dati pubblici” (enunciato all’art. 2, comma 1, e declinato dall’art. 50, comma1) consiste nella possibilità, per soggetti pubblici e privati, “di accedere ai dati senza restrizioni non riconducibili a esplicite norme di legge ”(art.1, lett. o)
(art. 11, D. Lgs. n.150/2009)"accessibilità totale (...) delle informazioni concernenti ogni aspetto dell’organizzazione, degli indicatori relativi agli andamenti gestionali e all’utilizzo delle risorse per il perseguimento delle funzioni istituzionali, dei risultati dell’attività di misurazione e valutazione ”
obiettivi di (art. 12, D. Lgs. n. 82/2005).efficienza, efficacia, economicità, imparzialità, trasparenza, semplificazione e partecipazione”
lunedì 5 maggio 14
quando un dato è aperto?
scegliere il proprio piano pensionistico in USA
prospetto ad hoc
dati da
enti pubblici che rilasciano propri dati in formato open
•Department of Labor•Securities and Exchange Commission
•U.S. Census Bureau•Equal Employment Opportunity Commission
•Bureau of Labor Statistic
economia
BrightScope 3 ml in 2012previsti 10 nel 2013 Utenti: prospetto ad hoc
a costo vantaggioso (da 700 a 80 dollari)
lunedì 5 maggio 14
se uno Stato realizza un’infrastrutturasiamo poi noi utenti e operatori a dareil valore a quel bene secondo domande e opportunità di mercato, o per erogare servizi di pubblica utilità.
open data : economia della conoscenza
infrastruttura stradale : economia tradizionale
lunedì 5 maggio 14
rimane da risolvere socialmente la perdita e la riconversione dell’attuale
struttura di erogazione di servizi
lunedì 5 maggio 14
i dati come il carburante nella II Rivoluzione Industriale
La terza RivoluzioneIndustriale
I Carbone II Petrolio III Dati
altre correnti, mondo dei makers, terza rivoluzione industrialeriferendosi alla stampa 3D/4D
«Mentre i "nativi digitali" erano concentrati su quello che potevano fare in modo nuovo con le tecnologie, i "nativi dei dati" sono soprattutto interessati a quello che le nuove tecnologie possono fare per loro» Monica Rogati
nativi digitali nativi dei dati
lunedì 5 maggio 14
essere guidati dalla domanda
file non strutturati in formati immagine come .gif, .jpg, .png, o in formati proprietari come Microsoft Word o Adobe Pdf
inserire i dati nel contesto
supportareconversazioni intorno ai dati
creare capacitàcompetenze e
network
collaboraresui dati come
una risorsa comune
dati strutturati ma codificati con un formato proprietario (es. in formato Microsoft Excel)
dati strutturati e codificati in un formato non proprietario (es. in formato .csv)
dati strutturati e codificati in un formato non proprietario e dotati di un URI che li rende indirizzabili sulla rete e quindi utilizzabili direttamente online
Linked Open Data (LOD), ovvero dati aperti (classificati a quattro stelle) che hanno collegamenti mediante link ad altri dataset
ascolto richiestee risposta con dati
aggiornamentomanuali - analisi
struttura scelte supporto
descrizione dati formato - qualità
permessi commenti contatti per domande
discussioni off line
link per lavorare guida analisi
interesse esternoalla comunità
feedback per migliorare datasets API nuove risorse
connessioni datasetsriuso
http://www.w3.org/2012/06/pmod/pmod2012_submission_5.pdfTim DavisTim Berners Lee
the five stars of Open Data engagement
obiettivicreare comunità
intorno ai datie passare dagli
ingredienti di una pietanza almomento in cui
la si mangia
4
5
3
2
1
4
5
3
2
1
lunedì 5 maggio 14
Prodotto del più ampio progetto delle Linee guida per i siti web della PA, strutturato in due parti principali:
• Parte I - PA e dati aperti, introduce il concetto di Open Government, la prassi dell'Open Data e presenta un approfondito quadro normativo sui due temi. Questa prima parte si articola nei seguenti quattro capitoli: 1. Open Government; 2.Open Data; 3.Quadro Normativo; 4.Come avviare il processo di apertura dei dati
• Parte II – Come procedere per aprire i dati della PA, contiene la descrizione degli aspetti tecnici, organizzativi e giuridici da affrontare prima di rendere disponibili i dati dell’Amministrazione. La seconda parte si articola nei seguenti cinque capitoli: 5.Organizzarsi per l’apertura dei dati; 6.Identificazione dei dati; 7. Analisi dei dataset; 8.Pubblicazione del Dataset; 9.Diffusione del Dataset
Vademecum su Open Data
Licenza italiana per i dati aperti Progettata per permettere a tutte le pubbliche amministrazioni italiane di diffondere i propri dati, la licenza I è stata sviluppata da Formez PA e ha lo scopo di promuovere la “liberazione” e valorizzazione dei dati pubblici secondo la linea già tracciata dal Ministero per la pubblica amministrazione e l'innovazione con la pubblicazione del nuovo Codice dell’amministrazione digitale, che all’Articolo 52 pone in primo piano la responsabilità delle pubbliche amministrazioni nel rendere disponibili i propri dati in modalità digitale.
italian Open Data License (IODL)www.formez.it/iodl
Fonte portale dati.gov
Discussione onlinePer alimentare la discussione online sul Portale Dati.gov.ti, sulla Licenza IODL e più in generale sul tema open data è stato creato un gruppo su Innovatori PA, community promossa da Formez PA e Forum PA che raccoglie più di 4000 operatori del settore pubblico. Su Innovatori PA vengono inoltre segnalate iniziative, convegni, seminari online dedicati ai temi dell’open data e dell’open government.http://www.innovatoripa.it/groups/open-governmenthttp://www.spaghettiopendata.org
• Creative Commons by• internet CCO• autocertificazione Open Data Istitutehttps://certificates.theodi.org/
Altre Licenze
lunedì 5 maggio 14
NAME identificativo univocoTITLE titolo dataset (lo legge utente )THEME area tematica associata (Eurovoc 1)DESCRIPTION descrizione estesa datasetCREATOR/name nome produttore datasetM BOX e-mailPUBLISHER nome di chi pubblicaM BOX MANTEINER responsabile pubblicazioneISSUED/CREATED data di creazione e rilascioMODIFIED data di modificaLICENZA formato licenzaLANDING PAGE URL dove è descritto (.. può scaricare)THEME (groups) insieme al quale è associato (Eurovoc 2)SPATIAL copertura spazialeDISTRIBUTION (resources) forme in cui il dataset è disp. (API ..)TITLE nome della risorsaFORMAT formato della risorsa (estensione)ACCES/DOWNLOAD link download o API o end point spqrlCREATED data creazione risorsaMODIFIED data modifica risorsa
metadati per cataloghi open data - CKANcampi descrittivi definiti da Agenzia Italia Digitale
lunedì 5 maggio 14
infograficadistribuzione dataset open
in Italia
lunedì 5 maggio 14
2 esempi in Italia di open-geo-dataFirenze
Lombardia
http://www.opengeodata.it
i dati
• statici(biblioteche, musei ..)
• variabili(semafori, rastrelliere bici ..)
• dinamici(eventi nei luoghi)
• in tempo reale(posti nei parcheggi, sensori ..)
lunedì 5 maggio 14
Piattaforma Tecnologica - open data
piattaforma di pubblicazione degli open data sviluppata e promossa dalla Open Knowledge Foundation utilizzata per il catalogo nazionale di molti paesi (USA, UK, Brasile, Parlamento Europeo…)
CKAN
è un software open source che permette di catalogare i dataset e descriverli traverso una serie di metadati che da un lato aiutano gli utenti a navigare tra le informazioni e dall’altro favoriscono l’indicizzazione degli stessi dataset sui motori di ricerca.
CKAN
è costruito con Python per il backend e Javascript per quello che riguarda il frontend. Il suo motore di database è PostgreSQL e la sua ricerca è alimentato da SOLR. CKAN ha una architettura modulare che permette estensioni da sviluppare per fornire funzionalità aggiuntive. Il sistema di catalogazione utilizza il proprio modello interno per archiviare i metadati sui diversi record, e li presenta in una interfaccia web che permette agli utenti di selezionare e cercare tra i metadati
CKAN
la peculiarità principale è Harvesting, cioè permette l’importazione automatica dei dataset pubblicati dagli altri data store tramite APICKAN
lunedì 5 maggio 14
le interfacce di accesso ai contenuti cataloghi dataset
è un framework che può generare animazioni bidimensionali o tridimensionali d’altissimo livello su qualunque device o sistema operativo.
famo.us d3js.orglibreria javascript per la visualizzazione dati .. numerici
lunedì 5 maggio 14
UN ESEMPIOdi Programma/Progetto per la creazione di dataset open da un sistema
di rilevamento effettuato tramite sensori disposti sul territorio
esiste in Italia dal 2008 ISPRA: Istituto Superiore per la Protezione e Ricerca Ambientale
dal quale dipende il Servizio Mareografico Nazionale.Il SMN fornisce dati, pareri e consulenze a chiunque ne faccia richiesta e supporta gli
enti locali e gli altri enti pubblici e di diritto pubblico.
lunedì 5 maggio 14
by sciamlab e insideout10
MAREOGRAFICO
maresensoriventoidrometricamareografosondaacquaondeanomaleinformazionivelapescasolebarometroultrasuonispiaggiamaresensoriventoidrometricamareografosondaacquaondeanomaleinformazionivelapescasolebarometroultrasuonispiaggiamareog
maresensoriventoidrometricamareografosondaacquaondeanomaleinformazionivelapescasolebarometroultrasuonispiaggiamareventopesceacquaqualitài
for open data
maresensoriventoidrometricamareografosondaacquaondeanomaleinformazionivelapescasolebarometroultrasuonispiaggiamareventopesceacquaqualitàpressionevlbrezzavelamaretrotaondepression
lunedì 5 maggio 14
for open data
mareografico
data opendata
linkedopendata
oggidata 6/12
mesiopen data
6/18 mesi
linked open data
PR
OG
RA
MM
A
Step I° Step II°
- portale open L(O)D
by sciamlab e insideout10lunedì 5 maggio 14
benefit open data = rendere leggibili i dati alle macchine
by sciamlab e insideout10for open data
mareografico
gli Open Data aiutano a prendere
decisioni migliori nella nostra vita, e
consentono di essere più attivi nella
società.
rendere open data strutturaledistinguere in categorie i dataset1. STATICI - es. ubicazione2. VARIABILI - sensori3. DINAMICI - eventi4. IN TEMPO REALE
API di publisching per dataset variabili
perchè•Trasparenza e controllo
democratico•partecipazione•Aumento possibilità di scelta•Prodotti e servizi privati, nuovi o
migliorati• Innovazione•Miglioramento e maggiore
efficienza dei servizi pubblici•Misurazione dell'impatto delle
politiche•Nuove conoscenze da fonti di dati
combinati e modelli di grandi volumi di dati
Open data ha una grande valenza economica. Diversi studi hanno stimato il valore economico dei dati aperti a diverse decine di miliardi di euro
ogni anno nella sola Unione europea .
Nuove combinazioni di dati possono creare nuove conoscenze e intuizioni, e nuovi campi di applicazione . Abbiamo visto come nella Londra del 19 ° secolo, il
dottor Snow scoprì la relazione tra l’inquinamento dell'acqua potabile e il colera, combinando i dati su morti di colera con la posizione dei pozzi d'acqua .
BIG DATAOPEN DATA
LINKEDOPEN DATA
smart citiessensori
businessintelligence
open gov
community corporate
data
lunedì 5 maggio 14
by sciamlab e insideout10for open data
mareografico
dati grezzigrezzi e subito perché i dati scadono, e perché
sappiamo gestirli anche se non rifiniti e certificati
Gratis perché gli introiti che una PA ottiene dalla vendita di tali dati è minima rispetto agli introiti di
fiscalità generale
dati grezzi
L(O)Di dati isolati hanno poco valore
nella cloud L(O)D possono essere incrociati nuovi servizi
Riuso: creazione valore aggiuntoparteciapazione attivalinked open data
open data benefit interoperabilità
• per i Cittadini e Imprese opportunità - conoscenza - business
• per le Organizzazioni pubbliche distribuire il proprio valore e conoscenze
open data
reti di misura
• mareografico• qualità acqua• onde anomale• altre reti di misura
lunedì 5 maggio 14
by sciamlab e insideout10for open data
mareografico
Tutte le stazioni sono dotate di un sistema locale di gestione e memorizzazione dei dati e di un apparato di trasmissione (UMTS) in tempo reale alla sede centrale del SMN a Roma. Inoltre in 9 stazioni strategiche per la misura di fenomeni particolari (onde anomale) è presente un secondo sistema di trasmissione dati via satellite con tecnologia IRIDIUM che garantisce il collegamento anche in presenza di situazioni di black-out del sistema UMTS.Da quando la nuova Rete Mareografica Nazionale è pienamente operativa, il SMN mette a disposizione degli utenti informazioni aggiornate relative a serie storiche, osservazioni in tempo reale, previsione dei dati di marea astronomica, analisi dei dati a fini progettuali e scientifici.I dati mareografici e le costanti di marea locali aggiornate sono disponibili, il SMN ha inoltre provveduto ad effettuare un’operazione di recupero e riorganizzazione dei dati storici della rete preesistente, in forma digitale, in modo da poter affiancare alle osservazioni storiche quelle rilevate dalla nuova rete nazionale. La Rete Mareografica Nazionale utilizza esclusivamente stazioni di monitoraggio alimentate da energia prodotta con pannelli fotovoltaici.
sir
SMN
Compito del SMN è quello di provvedere al r i l i e v o e d a l l a e laborazione del le grandezze relative al clima marittimo, allo stato dei litorali ed ai livelli marini, pubblicare gli elementi osservati ed elaborati, predisporre criteri, metodi e standard di raccolta, analisi e consultazione dei dati raccoltigestire la rete ondametrica nazionaleIl SMN fornisce dati, pareri e consulenze a chiunque ne faccia richiesta e supporta gli enti locali e gli altri ent i pubb l i c i e d i diritto pubblico
•CONFRONTO TRA STAZIONI
•PREVISIONI MAREA•ARCHIVIO DATI
RETI DI MISURA STAZIONISENSORI
MAREOGRAFICO
QUALITA’ ACQUA
ONDE ANOMALE
36
ASTA IDROMETRICA
IDROMETRO A GALLEGGIANTE
MAREOGRAFO A ULTRASUONI
SCENARIO
SENSORE BAROMETRICO
SONDA MULTIPARAMETRICA
DIREZIONE VENTO
LIVELLO PIEZOMETRICO
LIVELLO RADAR
TEMPERATURA ACQUA
TEMPERATURA ARIA E RH %
VELOCITA’ VENTO
lunedì 5 maggio 14
by sciamlab e insideout10for open data
mareografico
• piattafforma informatica in uso• sistemi di acquisizione e
trasmissione dati dai sensori• sistemi di parametrizzazione e
salvataggio dati• qualità dataset esistenti e
definizione attività e tecnologie per la trasformazione in open data 3 stelle e successivamente in LOD
• quantità dataset e loro relazioni• thesauri e ontologie base di
settore (ambiente) e della organizzazione pubblica (Eurovoc)
• possibili relazioni gerarchiche e associative tra i termini e studio modellazione ontologie
• predisposizioni e ambiti di riuso• competitors e potenziali sviluppi
della piattaforma e service API
analisi
open data for
individuazione necessità e definizione contratto di licenze - riuso dei dati
• IODL - Italian Open Data License http://www.dati.gov.it/iodl/2.0/
• Creative Commons by• internet CCO• autocertificazione Open
Data Istitute https://certificates.theodi.org/
• .. others
licenze
• tecnico• piattaforma open data
• CKAN + Tools (API)• Redlink API’s• trasformazione
dataset• industrializzazione
metadati associati• thesauri - ontologie
• comunicazione• disegno interfacce per
categoria utenza• individuazione canali di
disseminazione
• sviluppo• progetto della cloud:
rilievo dei dati marini• individuazione e
colegamento reti terze• predisposizione
sviluppo API (imprese)• inserimento nella cloud
L(O)D• collegamento con altri
dataset: “Ambiente”, “mare, costa, difesa del suolo”, “mare, inquinamento ”.
progetto
lunedì 5 maggio 14
Disseminate ExploitIntegrateAsses
on my open data
Nella prima fase vengono valutati i potenziali dataset secondo diversi parametri: la disponibilità dei dati; la frequenza di aggiornamento; la loro ‘pulizia’. I dati vengono valutati anche contro i casi di uso comune. Al termine di questa fase gli use cases, i dataset e le attività di integrazione sono chiaramente definite.
Nella fase di integrazione i dati vengono arricchiti per raggiungere la qualità a 5stelle, e renderli conformi al sistema di valutazione della cloud LOD. I dati vengono poi trasformati in un dataset di dati collegati per mezzo di procedure personalizzate, ripetute periodicamente al fine di mantenere sincronizzati i dataset con le risorse originali. Durante il processo di arricchimento, i dati possono essere ulteriormente integrati con i dati provenienti dal LOD creando connessioni significative e aumentando esponenzialmente il valore di dati. Al termine di questa fase una serie di ‘set di dati’ viene pubblicato e collegato con gli standard Open Data.
Nella fase di valorizzazione i dati pubblicati sono utilizzati per soddisfare i casi d'uso originali, il riuso dei dataset con il flusso di lavoro editoriale, tagging dei contenuti, migliorando la SEO col significativo supporto di schema.org e fornendo campioni di mashup per i widget interattivi. Il risultato di questa fase è lo sfruttamento della cloud LOD nel flusso di lavoro esistente.
Durante la fase di disseminazione dei risultati il progetto sarà promosso al fine di aumentare la propria visibilità, coinvolgere la comunità nel suo sfruttamento e raccogliere prezioso feedback.
cloud LOD
by sciamlab e insideout10for open data
lunedì 5 maggio 14
architettura by sciamlab e insideout10for open data
input
output
CK
AN
RED
LINK
IIIIIIIIII
IIIIIIIIIIIIIIIIIIIIIIIIIIIII
open
sour
ce c
atalo
g framew
ork semantico
Content analisys
Linked data Publishing
Sparql end point
layer di pubblicazione catalogo - API commerce
IIIIII
reti ISPRA altre reti
layer di elaborazione e confronto parametri
interfacciaEnti
interfacciacittadini interfaccia
operatori
connettori
open data repository
open data service
ricerca
dati
portale
sens
ori
cmsrepository metadati
motore di ricercaindice metadati
data storeAPI - Sparql
Semantic search
API-service--alert-
harvesting metadata - ontology
lunedì 5 maggio 14
for Mareografico
Siamo due aziende, Sciamlab e Insideout10, specializzate in tecnologie open e framework semantici che hanno già molta esperienza: nella creazione di open data; nella trasformazione di dataset open in L(O)D; nei progetti di riuso dei dati realizzando connessioni tra reti ed API. La metodologia sviluppata nell’ambito delle tecnologie open data è arrivata ad un livello di maturazione tale da permetterci di affrontare e risolvere qualsiasi complessità derivata dai sistemi legacy; mentre preferiamo ancora adattare professionalmente le tecnologie semantiche modellando linguaggi e ontologie. Le applicazioni realizzate in quest’ambito sono quelle su cui si basa ad esempio, il portale nazionale http://www.dati.gov.it: per la creazione, gestione e pubblicazione di archivi di dataset open; e il framework di tecnologie semantiche www.redlink.co per l’arricchimento dei contenuti e la trasformazione in L(O)D.
chi siamo - cosa
by sciamlab e insideout10for open data
lunedì 5 maggio 14
by sciamlab e insideout10for open data
come con chi .. for mareografico
74 65 982 3STEP STEP
SAPIENZA INNOVAZIONE‘n
3
2
1
ACQUISIZIONE STATO DELL’ARTE:dalla trasmissione in frequenza alle reti
digitali al dataset open LOD
• sensori: tecnologie in uso per la rilevazione dei dati e loro trasmissione
• semantica: domini informativi e ontologie modellazione su: ambiente, mare, alert\sicurezza
• ambiti d’uso e progetto esecutivo piattaforma
PIAT
TAFO
RM
A T
ECN
OLO
GIC
AC
ATA
LOG
O D
ATA
SET
SEN
SOR
I
PIAT
TAFO
RM
A T
ECN
OLO
GIC
ASE
MA
NT
ICA
DAT
ASE
Tsciamlab srl
6 9
PIAT
TAFO
RM
A I
NT
ERFA
CC
ET
EST
PIAT
TAFO
RM
A A
PIsi
cure
zza
ALE
RTse
rvic
e ‘M
AR
EOG
RA
FIC
O’
insideout10 srl3 96
RETE SAILORNET
DES
IGN
NEW
MA
RK
ETM
AN
UT
ENZ
ION
E EV
OLU
TIV
A
RETE MAREOGRAFICO
ALTRE RETI MONITORAGGIO
AMBIENTALE
9
lunedì 5 maggio 14
GRAZIE
i n s i d e o u t 1 0
mausa out
lunedì 5 maggio 14