Evaluace a analýzy

Evaluace často vzniká jen jako povinná součást projektu. My ji děláme proto, aby vám pomohla projekt řídit: plánujeme ji od začátku, data sbíráme během celého projektu a zjištění s týmem průběžně probíráme, aby je mohl rovnou využít. Z evaluace se pak dozvíte, co váš projekt skutečně mění, pro koho a proč.

S čím vám naše evaluace pomůže?

Neziskové organizace, které evaluují jeden projekt i celkový dopad své činnosti. Sociálně inovační projekty a pilotní programy, u kterých se rozhoduje, co z nich bude dál.

Vedete projekt, o kterém víte, že funguje. Vidíte to na lidech, se kterými pracujete. Jenže ve zprávě pro donora máte počet proškolených osob a počet uskutečněných setkání, a to o dopadu neříká skoro nic. Když se vás někdo zeptá, co se vlastně změnilo, sáhnete po dvou silných příbězích a doufáte, že to bude stačit.

Nebo jste uprostřed pilotu a tušíte, že jedna část nefunguje. Nemáte ale nic, o co byste změnu opřeli, a tak raději pokračujete podle plánu, protože ten je v žádosti a měnit ho je složité.

Nadace a donoři, kteří chtějí vyhodnotit jeden program nebo výzvu, sledovat dopad napříč celou činností, nebo podpořit v evaluaci své grantisty.

Grantisti vám posílají zprávy, ale jestli program funguje, se z nich nedozvíte. Evaluaci po nich chcete, ale nevíte, jestli chcete to správné a jestli pro ně vykazování není spíš zátěž.

Nebo máte tři programy, každý s vlastní logikou. Jednotlivě fungují, ale naplňují dohromady poslání nadace?

A pak je tu otázka, jak vás vidí organizace, kterým dáváte peníze. Jestli je vaše administrativa přiměřená, jestli vaše témata odpovídají tomu, s čím se potýkají, a jestli je pro ně výhodné s vámi pracovat i podruhé.

Ministerstva a jejich organizace, kraje, města, univerzity a další veřejné instituce.

Vedete projekt, u kterého je evaluace povinná. Chcete, aby nebyla jen formalitou pro poskytovatele, ale pomohla i vašemu týmu. U pilotů se k tomu často přidává otázka, jestli je rozšířit a jak by fungovaly bez projektového financování.

Nebo máte strategii s indikátory. Ty se sbírají a většina se plní, ale pořád není jasné, která opatření opravdu něco změnila.

Nezáleží na tom, jestli evaluujete roční pilot pro dvacet lidí, nebo tříletý projekt za desítky milionů.

Rozsah i náročnost metod kalibrujeme podle toho, kolik máte času, peněz a kapacity u sebe v týmu.

Jak to vypadá v praxi

Účastníci workshopu u venkovního stolu doplňují lístečky na velký arch se zjištěními z evaluace

Co se tím mění?

  • Víte, co ve vašem programu funguje a za jakých podmínek.

  • Zjištění máte průběžně, takže program můžete upravovat za chodu.

  • Tým se na zjištěních podílí, a proto je snáz přijme.

  • Máte podložená zjištění, která obstojí před donorem, radou i v dalších žádostech.

  • I zjištění, že něco nefungovalo, má hodnotu, když víte proč.

Když se řekne evaluace, většinou jde o tyto otázky:

Funguje to, co děláme?

Jaký to má dopad?

Pro koho to funguje nejlíp?

A co máme příště udělat jinak?

Odpovědi se hledají snáz, když se evaluace naplánuje už na začátku projektu a data se k ní sbírají průběžně.

Jak to probíhá?

Spolupráci stavíme podle vašeho projektu: kdy do něj vstupujeme, co potřebujete zjistit a kolik na to máte času a kapacit. Když se během evaluace ukáže, že by vám pomohlo něco navíc, řekneme vám to a navrhneme, jak to zařadit, buď v rámci dohodnutého rozsahu, nebo za cenu, kterou budete znát předem.

1

Konzultace

Nezávazně si projdeme, co potřebujete zjistit a proč. Z toho vznikne nabídka s postupem, metodami, návrhem evaluačních otázek, harmonogramem a cenou. Když nás oslovujete přes veřejnou zakázku, tento krok odpadá a začínáme ujasněním zadání.

2

Ujasnění zadání

Na společném setkání si vyjasníme, co je cílem projektu a podle čeho poznáte, že se to daří. U projektů, které teprve začínají, z toho vzniká teorie změny, tedy popsaný předpoklad, jak má projekt fungovat. U běžících projektů vycházíme z toho, co už máte.

3

Evaluační plán

Sepíšeme otázky, na které má evaluace odpovědět, a ke každé přiřadíme zdroj dat a metodu. Doplníme také harmonogram sběru.

4

Sběr dat a analýza

Metody vybíráme pro každou evaluaci zvlášť: rozhovory, dotazníky, skupinové diskuse (fokusky) nebo analýzu dat z projektu. U delších evaluací sdílíme zjištění průběžně, abyste s nimi mohli pracovat už během projektu.

5

Zjištění a co z nich plyne

Zjištění předáme ve formě, která vám nejvíc poslouží, například jako závěrečnou zprávu nebo prezentaci, s odpověďmi na všechny evaluační otázky.

+

Reflektivní workshop

Po domluvě můžeme uspořádat setkání s vaším týmem nad hotovými zjištěními. Tým si na něm projde, co zjištění znamenají pro jeho práci, kde se shoduje a kde ne, a dohodne se na dalších krocích.

Jak dlouho to trvá

Jednorázová evaluace projde kroky 1 až 5 jednou. U víceletých projektů se kroky 3 až 5 opakují v cyklech a u delších projektů připravujeme dva až čtyři větší výstupy, mezi kterými se scházíme nad dílčími zjištěními. U každé evaluace dostanete zhruba v polovině průběžnou zprávu. Většina našich evaluací trvá od šesti měsíců do pěti let.

Jak se do evaluace zapojíte

Ať do projektu vstupujeme kdykoli, evaluaci děláme společně s vámi. V klíčových bodech procesu se potkáváme na facilitovaných setkáních.

Míru zapojení si určujete vy. Někdo chce mít tým u všech kroků a část dat sbírá sám, jinde je kapacita na dvě setkání za rok. Evaluaci podle toho nastavíme.

Co potřebujeme od vás: člověka, který má evaluaci u vás na starosti, přístup k datům, která už vedete, a ochotu slyšet i to, co nefunguje.

Jak to vypadá u vás

U neziskových organizací se evaluace nejčastěji váže na jeden projekt nebo grant. Nastavujeme ji tak, aby sběr dat zapadl do běžné práce týmu a zjištění se dala použít jak k plánování dalších aktivit a sledování dopadu, tak i v další žádosti nebo ve výroční zprávě.

U nadací začínáme obvykle menší sondou, třeba vyhodnocením jedné výzvy, rozhovory s grantisty nebo reflexí jednoho programu. Taková sonda trvá několik týdnů a obě strany si na ní ověří, jestli jim spolupráce vyhovuje.

Na ni pak můžeme navázat evaluačním rámcem pro celou nadaci. Stavíme ho podle toho, co potřebuje vědět správní rada a dárci, a zároveň tak, aby sběr dat grantisty nepřetížil.

Protože evaluace ve veřejné správě trvá obvykle několik let, potkáváme se s realizačním týmem průběžně a evaluační plán po dohodě s poskytovatelem upravujeme, když se projekt posune. Výstupy tak odpovídají požadavkům poskytovatele a zároveň popisují, jak projekt opravdu probíhá.

Účastníci workshopu sedí v kruhu ve světlé místnosti a společně diskutují

Jak pracujeme?

  • Stavíme na tom, co funguje

  • Jsme učící partner, ne kontrola

  • Do sběru i interpretace zapojujeme ty, kterých se program týká

  • Interpretaci tvoříme společně, za závěry ručíme my

  • Důsledně rozlišujeme výstupy, výsledky a dopady

  • Kombinujeme metody a výsledky navzájem ověřujeme

  • Evaluaci navrhujeme tak, aby vás nepřetížila

  • Co jsme slíbili respondentům, dodržíme

  • Citlivá zjištění formulujeme jako interpretace opřené o data

Co získáte?

Formát výstupů určuje to, k čemu je budete potřebovat. Někdy je to výzkumná zpráva, jindy prezentace, facilitovaný workshop, Miro plocha nebo sada klíčových vhledů a person. Rozsáhlou zprávu připravujeme tam, kde ji opravdu potřebujete.

Základ každé evaluace

  • Teorii změny vašeho projektu v grafické podobě.

  • Evaluační plán nebo vstupní evaluační zprávu s evaluačními otázkami a maticí.

  • Nástroje pro vlastní sběr dat (dotazníky, osnovy rozhovorů a fokusek).

  • Průběžnou a závěrečnou zprávu s odpověďmi na všechny evaluační otázky.

  • Datový podklad v Excelu ke každému grafu.

Podle potřeby přidáme

  • Mapu ekosystému: aktéři, jejich překryvy i mezery.

  • Evaluační rámec pro grantový program.

  • Podklady pro komunikaci dopadu.

  • Případové studie organizací nebo účastníků.

  • Grafický one-pager se shrnutím zjištění.

  • Výstupy z participativních setkání pro účastníky (Miro, vizuální záznam).

  • Podklad pro rozhodnutí o pokračování, rozšíření nebo ukončení programu.

A co potom?

Ruka přesouvá barevné lístečky na flipchartu pod otázkou Do druhého kola pilotáže?

Podle vašich potřeb vám na evaluaci můžeme navázat a nabídnout:

  • Interní evaluační systém, abyste běžný sběr dat zvládli sami.

  • Facilitaci navazujících setkání nebo školení.

  • Evaluaci další fáze. S hotovou teorií změny a nástroji jde rychleji.

  • Strategii nebo revizi programu s akčním plánem.

  • Výzkumnou zprávu, případovky nebo podklad pro advokacii.

  • Sladění logiky programů a strategii nadace.

  • Evaluační podporu grantistům: metodiku, konzultace, školení.

  • Metodiku, systémové doporučení nebo podklad pro další programové období.

Řadu z toho zvládnete i sami. Necháme vás vybavené tak, abyste měli z čeho vyjít.

Časté otázky

Když je projekt už rozjetý nebo skončil, začínáme rekonstrukcí toho, co se dá z existujících dat vytěžit, a doplňujeme sběr tam, kde jsou díry. Hned na začátku otevřeně řekneme, na které otázky data odpovědět umožní a na které ne.

Samostatně děláme i menší analytické zakázky. Vyhodnocení dotazníkového šetření, analýza zpětné vazby z kurzu, rešerše dobré praxe ze zahraničí. To bývá otázka několika týdnů.

Ano. Data pak sbíráme přímo na setkáních s účastníky a aktéry, často na těch, která se konají tak jako tak, a závěry s nimi společně ověřujeme. Lidé se díky tomu navíc navzájem propojí. Hodí se to hlavně u programů postavených na vztazích a síti.

Pavla Burgos z Govlabu ukazuje na tabuli evaluační rámec s pěti oblastmi

Zaujalo vás to? Neváhejte se na nás obrátit.

Můžeme se domluvit třeba na nezávazné konzultaci.