Vaikuttavuuden arviointi alkaa tarpeen tarkasta määrittelystä

21.09.2018

Teksti: Kati Savela

Toiminnan vaikuttavuuden arviointi ei ole vain isoille palveluntuottajajärjestöille, vaan myös pienten toimijoiden kannattaa luoda omia vaikuttavuuden arvioinnin tapoja. Apuna voi käyttää erilaisia ohjeita, henkilökohtaista opastusta tai vertaissparrausta.

Vaikuttavuuden arvioija ja mentori Saila Tykkyläinen antaa perusohjeen arviointityön aloittamiseksi: määritelkää yksi tarve tai ongelma, johon järjestön toiminnalla halutaan vastata. Seuraavaksi kannattaa rajata kohderyhmät, joita tarve koskee.

- Esimerkiksi työttömyyden vähentäminen on sellaisenaan liian laaja tavoite. Miettikää, keiden tilanteeseen työttömien joukossa haluatte vaikuttaa, Tykkyläinen pohjustaa arvioinnin aloittamista.

Kun tarve on määritelty, mietitään yksi tai pari olennaista tavoitetta. Sitten tarkennetaan sitä/niitä aikarajauksella: haetaanko vaikutuksia kuuden kuukauden, vuoden vai kolmen vuoden sisällä? Luotettava vaikuttavuuden arviointi pohjustetaan tässä vaiheessa.

Minkä kaiken on muututtava?

Tykkyläisen johtama Vaikuttava Yritys on yhteiskunnallinen yritys. Sen tavoite on mm. kehittää yhteiskunnallisten vaikutusten arviointiosaamista Suomessa ja rohkaista pieniäkin organisaatioita tekemään vaikuttavuuden arviointia.

Arvioinnin vaiheet voi havainnollistaa vaikutusmalliksi monin tavoin. Malli selkiyttää arvioitavan palvelun, sen toteuttamiseksi tehtävien toimenpiteiden sekä eri aikajänteillä tapahtuvien muutosten hahmottamista. Malli ei useinkaan tule valmiiksi kerralla.

- Toimintatapoja voi joutua muuttamaan, kun huomaa, että jokin ei toimi suunnitellusti eikä tavoiteltuja muutoksia saada aikaan, Tykkyläinen sanoo.

Hän kertoo esimerkin Oulun kaupungista, jossa etsittiin keinoja nuorisotyöttömyyden pienentämiseksi. Yksi huomio kesken prosessin oli, että ei riitä, että mukaan on otettava nuorten itsensä lisäksi oppilaitokset ja koulutuspolulla olevat muut toimijat. Myös perhetyö todettiin tärkeäksi osaksi nuorisotyöttömyyden ehkäisemisen suunnitelmaa.

- Miettikää mahdollisimman konkreettisesti, minkä kaiken pitää muuttua, jotta tavoite toteutuu ja todettua tarvetta pystytään pienentämään.

Kun on päättänyt ratkaisunsa jonkin tarpeen täyttämiseen, kuvataan, mikä on oleellista toimintatavassa. Eli avataan logiikka, miksi jokin toiminta saa aikaan tietyt muutokset ympäristössä.

- Ennakkoon ei tarvitse olla mietittynä ratkaisua, johon pyritään, mutta jonkinlaiset suuntaviivat olisi hyvä olla jo alussa, Tykkyläinen toteaa.

Yhteistyöllä vaikuttavuus paranee

Saila Tykkyläinen kannustaa pieniäkin yhdistyksiä kokeilemaan vaikuttavuutensa arvioimista.

- Arviointi voi olla yksi koko toiminnan kehittämisen näkökulma, esimerkiksi järjestön vapaaehtoisten tukemiseen liittyvä. Verkostojen hyödyntäminen on järkevää.

- Kannattaa tehdä yhteistyötä mahdollisimman laajasti, sillä jos tavoittelee yhteiskunnallista vaikuttavuutta, yksin ei oikein pysty ratkomaan isoja ongelmia, Saila Tykkyläinen painottaa.

Toisaalta siitäkin voi lähteä, että jo pienet muutokset kohderyhmän elämässä riittävät toteuttamaan oman toiminnan tavoitteita.

Yhteiskunnallisia vaikutuksia haettaessa pitäisi todentaa paitsi pitkän, myös lyhyen aikavälin muutokset. Näin voi tarkistaa, onko suunta oikea, ja tarvittaessa vaihtaa toimintatapoja.

- Olisi hyvä, jos järjestöt uskaltaisivat kertoa myös arvioinnin epäonnistumisista. Ne olisivat hyviä oppimisen paikkoja myös muille.

Vertaissparraus arvioinnin tukena

Erityisasiantuntija Erica Mäkipää Suomen sosiaali ja terveys SOSTE ry:stä kertoo SOSTEssa aloitetuista järjestöjen vaikuttavuuden arvioinnin vertaissparrauksista. Parhaillaan on menossa vuoden kestävä prosessi. Siihen kuuluu viisi tapaamista ja tehtäviä. Ryhmiä on viisi, joissa jokaisessa 5 – 6 toimijaa. Ryhmiä on järjestetty Helsingissä, Tampereella ja Jyväskylässä.

- Aluksi valitaan kokonaisuus, jota haluaa arvioida. Laajan kokonaisuuden ja häilyvien tavoitteiden arviointi jää liian karkeaksi, Mäkipää kuvaa vertaissparrauksen prosessin alkua.

Vaikuttavuuden mittaamiselle on hyvä lähtökohta, jos tavoittaa kohderyhmänsä jonkin toiminnan kautta ja tietää, keitä he ovat.

Toiminnan tuloksia ja vaikutuksia on Mäkipään mukaan usein helppo luetella, mutta niiden mittaaminen – ja sitä kautta esimerkiksi rahallisen arvon arviointi - on jo vaikeampaa.

Mittaamisen motiivit

Vertaissparrauksen alussa käydään läpi, minkälaisia tietolähteitä on olemassa ja millä mittareilla haluttuja muutoksia ehkä jo seurataan. Oman toiminnan mittaaminen, kuten osallistujamäärät, on eri asia kuin toiminnan aikaansaamien muutosten mittaaminen. Nämä saattavat mennä sekaisin.

- On hyvä, jos pystyy tekemään haastattelun valitulle joukolle jonkin toiminnan alkaessa ja päättyessä ja keräämään tietoa matkan varrella erilaisin keinoin. On suositeltavaa löytää arvioinnin aloittamiselle muukin syy kuin rahoittajan vaatimus tai suositus. Halu käyttää arviointia oman toiminnan kehittämiseen on mitä parhain syy, Mäkipää sanoo.

- Vertaissparraukseen osallistujien tavoitteisiin ja toimintaan tutustuminen ja arvioinnin motiivien pohtiminen ovat ensimmäisenä asialistalla. Sen jälkeen tartutaan vaikutusketjun rakentamiseen: mikä on tarve, mikä tavoite, mitkä toivotut tulokset ja vaikutukset.

Kolmannella tapaamisella haetaan mittareita, tulosindikaattoreita. Haastattelujen lisäksi havainnointi on mahdollinen mittaustapa.

- Olen painottanut, että vaikka ei pääsisi kiinni kauaskantoisiin vaikutuksiin, tulosten mittaaminenkin on hyvä asia.

Vertaissparrauksen edetessä pohditaan toimintaan laitettuja panoksia. Vasta kun tiedetään, mitä resursseja toimintaan on käytetty ja mitä niillä on saatu aikaan, voidaan ryhtyä tekemään toiminnan taloudellisen arvioinnin laskelmia.

Artikkeli on julkaisu KeKo – Kehittämisen koordinaatiohankkeen Extralehdessä 2018


 

Vaikuttavuuden arvioinnin tueksi

SITRAn Vaikuttavuuden askelmerkit -julkaisuun voi tutustua sähköisesti. Sen yksi kiteytys on, että yhteis- kunnallisesta vaikuttavuudesta tulee kilpailuetu kokeillen, kehittäen ja oppien. Paras neuvo on: tekemällä oppii lisää. Matkan varrella kannattaa kysyä neuvoja ja palautetta ja kerätä lisää vaikuttavuuden askelmerkkejä.

Vaikuttavuuden askelmerkit -julkaisu


TEKSTI: Tuuli Riisalo-Mäntynen

KYSELY: Toiminnan vaikutuksia arvioidaan mm. toimintamallien luomiseksi

KeKo-hanke kysyi kesällä järjestöiltä, mittaavatko ne toimintansa vaikuttavuutta ja jos, millä tavoin. 15 vastaajasta vain kaksi kertoi, että vaikuttavuutta ei arvioida, mutta näissäkin järjestöissä tiedostettiin, että arviointia kannattaisi tehdä. Arvioinnin esteenä oli tiedon, mittarien ja arviointitaitojen puute.

Vastauksien pienen määrän vuoksi ei voi tehdä johtopäätöksiä siitä, kuinka yleistä toiminnan vaikuttavuuden arviointi todellisuudessa järjestöjen piirissä on.

Lähes kaikilla toiminnan vaikuttavuuden arviointia tekevillä arvioinnin motiivina on halu kehittää organisaation toimintaa ja seurata tuloksia. Enemmistö teki arviointia myös rahoittajan vaatimuksen vuoksi.

Miten arviointi sitten tapahtuu? Noin puolet vastaajista mainitsi arvioivansa vaikuttavuutta asiakkaiden jatkopolutusten tai palveluluokkamuutosten perusteella. Muun muassa asiakaspalautteet ja -kyselyt ja Työterveyslaitoksen kehittämä Kykyviisari olivat myös arviointitapoja.

Arvioinnin tuloksia hyödynnetään organisaatioiden kehittämisessä ja uusien toimintamallien luomisessa. Myös henkilöstön taitojen kehittämisessä vastaukset ovat hyödyksi.

Tulokset raportoidaan pääasiassa henkilöstölle. Olisi kuitenkin hyvä, että tuloksista ja vaikuttavuuden arvioinnin tavoista raportoitaisiin myös julkisesti. Näin muutkin toimijat voisivat oppia arvioinnin tavoista ja menetelmistä. Tätä mieltä on myös Saila Tykkyläinen, joka edellisessä jutussa rohkaisee pieniäkin toimijoita luomaan omia arvioinnin tapoja.