il percorso di ricerca valutativa
TRANSCRIPT
LA VALUTAZIONE DEL “PROGETTO
VIA PADOVA”27 aprile 2012
Ugo De Ambrogio ([email protected]) e Carla Dessi ([email protected] )
1
� MODULO I: La costruzione partecipata del disegno di valutazione
IL PERCORSO DI RICERCA VALUTATIVA
valutazione�MODULO II: La realizzazione della ricerca valutativa
2
PRESENTAZIONE DEL PERCORSO
La metodologia che proponiamo si definisce intorno alla costruzione di un disegno partecipato di
valutazione che rappresenta l’elemento centrale su cui si basa il rigore della valutazione, la catena di senso, la si basa il rigore della valutazione, la catena di senso, la strada che conduce all’espressione e alla declinazione del giudizio valutativo e all’individuazione di strategie
migliorative possibili
3
La definizione del disegno di valutazione, è un passaggio che è importante che sia realizzato in modo
partecipato insieme ai referenti del Progetto che sono portatori di conoscenza diretta della mission, dei
principi fondanti del servizio e quindi consentono di principi fondanti del servizio e quindi consentono di mettere meglio a fuoco criteri di valore realmente
centrali per la valutazione
4
E’ composto da:� I referenti del Consiglio di zona,
Codici, Comin, Terrenuove, Tempo per
IL GRUPPO DI VALUTAZIONE
Codici, Comin, Terrenuove, Tempo per l’infanzia, Parrocchia di S. Giovanni Crisostomo e ricercatori Irs (esperti di valutazione)
5
GLI ATTORI DELLA VALUTAZIONE
COMMITTENTE
6
GLI ATTORI DELLA VALUTAZIONE
COMMITTENTE: il Comune
7
�Resta inteso che la responsabilità dei giudizi valutativi finali rimane di Irs; il vantaggio è che la valutazione sarà
I RUOLI DELLA VALUTAZIONE
il vantaggio è che la valutazione sarà realizzata all’interno di un quadro di criteri ed indicatori riconosciuti e condivisi dagli attori dei 3 ruoli in campo
8
LE AZIONI PREVISTE
MODULO I:
� 3 incontri con il gruppo di valutazione � Lavoro di back office per l’elaborazione del disegno di � Lavoro di back office per l’elaborazione del disegno di
valutazione � Elaborazione degli strumenti per la rilevazione � Redazione del documento “Disegno di valutazione del
progetto Via Padova”
9
LE AZIONI PREVISTE
MODULO II:
� Coordinamento della Rilevazione sul campo limitatamente alla dimensione costruzione della rete limitatamente alla dimensione costruzione della rete
� Conduzione di focus group � Analisi di dati ed informazioni � Redazione del rapporto valutativo finale
10
�è un’espressione di giudizio rispetto ad azioni di interesse collettivo
�con l’intento di migliorare le azioni pubbliche
�viene svolta attraverso attività di ricerca realizzate con metodi rigorosi e VALUTA-VALUTA-
QUALCHE DEFINIZIONE …
realizzate con metodi rigorosi e codificabili
�valorizzando gli aspetti inattesi e contraddittori
�deve essere comunicata a terzi in modo esplicito e trasparente
�all’interno di un processo nel quale valutazione e progettazione sono percorsi integrati
VALUTA-ZIONE VALUTA-ZIONE
L’OTTICA PROGETTUALE E STRATEGICA
NELLA VALUTAZIONE DEL SOCIALE
PROGETTAZIONE PROGETTAZIONE
INTERVENTO INTERVENTO VALUTAZIONE VALUTAZIONE
12
Valutare significa garantire senso alle azioni intraprese, avviare processi di riflessione e
consapevolezza
CHE COSA SI INTENDE PER VALUTAZIONE NEI SERVIZI SOCIALI
Individuare obiettivi precisi, predisporre strumenti di valutazione dei risultati, coinvolge in un processo di
crescita, preserva dai vissuti di impotenza e di onnipotenza, permette di valorizzare i singoli
piccoli passi, di riconoscerli come successi. In tal senso è una
costruzione di significato 13
Letta in questa chiave la valutazione nel sociale risponde ad entrambe le funzioni che la letteratura assegna alla valutazione delle politiche pubbliche:
Accountability(rendicontazione)
FUNZIONI DELLA VALUTAZIONE DEGLI INTERVENTI E DELLE POLITICHE SOCIALI
(rendicontazione)Learning (apprendimento)
In un contesto nel quale riteniamo che
il learning è prioritario e propedeutico al l’accountability 14
VALUTAZIONE
ACCOUNTABILITYBILITY
15
LEARNING
VALUTAZIONE NEL SOCIALE
ACCOUNTA-BILITY
16
LA DIMENSIONE RELAZIONALE
DELLA VALUTAZIONE
17
ESERCITAZIONE INDIVIDUALE
�Come ci si sente nella posizione del valutatore?
�Come ci si sente nella posizione del
18
�Come ci si sente nella posizione del valutato?
ESITI ESERCITAZIONE INDIVIDUALE
VALUTATORE
o Fatica a scindere il momento della valutazione dalla relazione con il ragazzo. La valutazione potrebbe non essere oggettiva. Poi aiutato da una griglia che l’ha resa più “fredda”
VALUTATO
o Senso di inadeguatezza, pregiudizio sul valutatore che ha messo in crisi il processo
o Necessità di modificare dei comportamenti per stare nella situazione
“fredda”
o Difficoltà a trasformare gli aspetti qualitativi in quantitativi. trovare criteri oggettivi mantenendo la distanza e gli elementi importanti dell’aspetto qualitativo
o Il valutatore ha aiutato il distacco emotivo e a ridimensionare l’onnipotenza: ottica migliorativa della valutazione
19
ESITI ESERCITAZIONE INDIVIDUALE
VALUTATORE
o Inadeguatezza e eccessiva responsabilità nel dover valutare le competenze di una persona
o Difficoltà di rimanere legati al dato oggettivo. Difficoltà nello stare in equilibrio tra le
VALUTATO
o Sentirsi impreparati rispetto al compito di rendicontazione: dover usare strumenti sempre diversi di cui a volte non si capisce il senso
o Senso di inadeguatezza. Esigenza di mettermi nei panni stare in equilibrio tra le
diverse funzioni professionali. Pregiudizio da parte degli altri e vissuto come controllo
o Difficoltà ad attribuire significato a dei dati quantitativi. Non mi sento nel ruolo di valutatore perché poi sono a mia volta valutata. Più livello esecutivo
Esigenza di mettermi nei panni del valutatore per valutarlo. In quel momento sono valutato ma potrei diventare valutatore
20
Probabilmente, molti di noi hanno "introiettato" il modello "scolastico
tradizionale" di valutazione: la valutazione finalizzata a stabilire i valutazione finalizzata a stabilire i promossi e i bocciati; chi vale va
avanti secondo le previsioni e chi vale meno ripete l'anno
21
LA VALUTAZIONE DEGLI INTERVENTI E DELLE
POLITICHE SOCIALI È UN'ALTRA COSA!
La finalità non è di stabilire chi sono i promossi e i bocciati, né i buoni e i cattivi, è di
raccogliere e analizzare informazioni, per dare giudizi, al fine di giudizi, al fine di
MIGLIORARE LE POLITICHE
22
CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE
�Un processo di valutazione può essere inteso anche come un sistema relazionaleall’interno del quale vengono agite una all’interno del quale vengono agite una pluralità di interazioni
�L’efficacia della valutazione dipende pertanto anche dalla relazione che si instaura fra i soggetti in campo
23
CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE
�Presenza di soggetti valutatori e di soggetti valutati, rischio di asimmetria nella relazione fra i soggetti
24
CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE
� Sentirsi intrusivo in “casa d’altri”
� Sentirsi preso per un giudice sanzionatore
� Trovarsi di fronte a Possibili vissuti � Trovarsi di fronte a qualcuno che vuole nascondere qualcosa
� Sentirsi un controllore� sentirsi un operatore o nel posto e nel luogo sbagliato
Possibili vissuti difensivi del valutatore
25
CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE
� Sentirsi giudicato come professionista
� Sentirsi giudicato come personapossibili vissuti persona
� Trovarsi di fronte a un giudice sanzionatore
� Sentirsi controllato
possibili vissuti difensividel valutato
26
RISCHI RELAZIONALI NEL CASO CHE PREVALGANO VISSUTI DIFENSIVI
Si farà strada per entrambi la convinzione che
se lui vince io perdo se lui vince io perdo oppure
se io vinco, lui perdeIn questo caso la
comunicazione diverrà difficile e provocherà disagi 27
RISCHI RELAZIONALI NEL CASO CHE PREVALGANO VISSUTI DIFENSIVI
Non ci sarà apertura né disponibilità ad intraprendere insieme percorsi di intraprendere insieme percorsi di ricerca, bensì ci sarà chiusura,
occultamento delle informazioni, diffidenza, boicottaggio dell’altro
ecc .
28
RISCHI RELAZIONALI NEL CASO CHE PREVALGANO VISSUTI DIFENSIVI
In questi casi il processo di valutazione appare destinato a divenire semplice controllo, percepito in modo simile al voto scolastico, e, paradossalmente modo simile al voto scolastico, e, paradossalmente
sia il valutatore che il valutato finiranno per svalutarsi l’uno l’altro e svalutare il processo
valutativo generale.
29
LA SVALUTAZIONE
“Un processo mentale inconsapevole che consiste
nell’ignorare o sminuire delle informazioni pertinenti alla informazioni pertinenti alla soluzione di un problema”.A. W. Shiff e J.L. Shiff
30
LA SVALUTAZIONE
Svalutare, nell’accezione proposta, significa non
considerare e stravolgere i dati di realtà, non riconoscere le di realtà, non riconoscere le
risorse personali e materiali, far prevalere i propri pregiudizi, non prendere sul serio sé, l’altro e il
problema, non vedere e boicottare le possibilità di
cambiamento31
“La misura del successo della valutazione può essere
rappresentata dall’ampiezza deicambiamenti intervenuti nel cambiamenti intervenuti nel
comportamento degli attori dell’intervento, servizio o politica
valutata” (Dente, 2000)
32
VALUTAZIONE E SVALUTAZIONE
Appare pertanto evidente rilevare che una buona valutazione non può
essere realizzata da soggetti svalutanti, perché non si possono svalutanti, perché non si possono promuovere cambiamenti con chi disconferma la rilevanza, le possibilità e le capacità stesse di
cambiamento.
33
STRATEGIE PER EVITARE CHE LA VALUTAZIONE DIVENGA “SVALUTAZIONE”
E’ opportuno che la componente di contenuto della comunicazione contenuto della comunicazione
(“siamo qui a valutarci per migliorare”)sia in accordo con la componente di relazione (il nostro è un incontro fra
professionisti,
è un incontro fra pari che si riconoscono in un obiettivo comune, in un quadro di fiducia
e stima reciproci )34
NE CONSEGUE CHE DURANTE LA RICERCA VALUTATIVA È
OPPORTUNO CHE NON SI INSTAURI UNA RELAZIONE NELLA
QUALE “UNO VINCE E L’ALTRO PERDE”, BENSÌ UNA
RELAZIONE GENERATIVA, IN CUI POSSONO VINCERE
ENTRAMBI, PERCHÉ ENTRAMBI PERSEGUONO IL MEDESIMO
OBIETTIVO
35
ALL’INTERNO DIUNA RELAZIONE
GENERATIVA AVREMO:
�accoglienzaapertura
ALL’INTERNO DIUNA RELAZIONE
COMPETITIVA AVREMO:
�rifiuto�apertura�atteggiamento
ricercante�atteggiamento
collaborativo
�chiusura�atteggiamento
giudicante�atteggiamento
difensivo36
ATTENZIONI METODOLOGICHE PER LA
VALUTAZIONE DEL SOCIALE
37
1. PRINCIPIO DI AUTOVALUTAZIONE
ogni soggetto interessato dalla
valutazione è responsabile e responsabile e
primo utilizzatore della
propria valutazione
38
2. PRINCIPIO DEI DIVERSI LIVELLI DIVALUTAZIONE
Il processo di valutazione
interessa tutti i livelli istituzionali livelli istituzionali
coinvolti nell’ erogazione di un
intervento
39
3. PRINCIPIO DI NON AUTOREFERENZIALITÀ
Per quanto possibile la valutazione deve essere basata su essere basata su riscontri oggettivi e comunque esterni al soggetto valutatore
40
ATTENZIONI DI PROCESSO
Consideriamo l’attenzione al coinvolgimento e alla partecipazione degli stakeholder alla valutazione efficace per interventi sociali
in quanto è un settore in cui si produce in quanto è un settore in cui si produce benessere, autonomia, soddisfazione, questi elementi non sono valutabili esclusivamente
con indicatori oggettivi ma attraverso la messa in comune di diverse soggettività
confrontate con riscontri oggettivi
41
4. PRINCIPIO DI CONFRONTABILITÀ
Le valutazioni devono essere condotte sulla
base di criteri di base di criteri di giudizio e metodi
omogenei e permettere
confronti nel corso del tempo,
anche fra più esperienze
42
5. PRINCIPIO DI TRASPARENZA
Le valutazioni devono essere condotte sulla
base di criteri di trasparenza ovvero attraverso attività attraverso attività chiare, esplicite e documentate per i
diversi livelli e soggetti coinvolti (chi ha diritto di sapere e chi è utile che sappia)
43
I PASSAGGI PRINCIPALI: IL DISEGNO DELLA
VALUTAZIONE
1. Individuazione della finalità della valutazione2. Identificazione dello scopo/mission dell’oggetto di valutazione3. Identificazione delle dimensioni di valutazione4. Identificazione dei criteri
5. Identificazione degli indicatori
6. Identificazione degli strumenti e delle fonti informative6. Identificazione degli strumenti e delle fonti informative
7. Rilevazione sul campo.---------------------------------------------------------------------------8. Analisi dei dati e delle informazioni raccolte 9. Valutazione vera e propria (espressione di un giudizio).10. Individuazione delle strategie di miglioramento
11. Restituzione dei risultati della valutazione agli stakeholder 44
•AA.VV. ,”Valutare i progetti nel sociale”, in Prospettive Sociali e Sanitarie, n.20, 2009•AA.VV. ,”Regioni e valutazione delle politiche sociali”, in Prospettive sociali e sanitarie, n. 15, 2009•C. Bezzi, Il nuovo disegno della ricerca valutativa, Franco Angeli , 2009•F. Ciucci, Valutazione delle politiche e dei servizi sociali, Franco
BIBLIOGRAFIA BASE SULLA VALUTAZIONE DELLE
POLITICHE SOCIALI E SOCIOSANITARIE
•F. Ciucci, Valutazione delle politiche e dei servizi sociali, Franco Angeli, 2008•U. De Ambrogio, Valutare gli interventi e le politiche sociali, CarocciFaber, 2003•U. De Ambrogio, T. Bertotti, F. Merlini , L’assistente sociale e la valutazione, Carocci Faber, 2007•U. De Ambrogio, “La valutazione partecipata della qualità come processo relazionale generativo”, in Prospettive Sociali e Sanitarie, n. 14, 2004•U. De Ambrogio, “Domande e contratti di valutazione nel settore sociale”, Rassegna Italiana di Valutazione, n.36, 2007•E. Ranci Ortigosa (a cura di), La valutazione di qualità dell’intervento sanitario , Franco Angeli, 2000
45