Přeskočit na obsah

Data, dopady a limity jejich měření

Jak poznat, že sociální podnikání funguje?

Na první pohled se odpověď zdá jednoduchá: vznikl podnik, vytvořil pracovní místa a zaměstnal lidi, kteří měli na běžném trhu práce ztížené postavení. Jenže počet pracovních míst ještě není totéž jako dlouhodobý společenský dopad. A ani dokonalejší data sama nerozhodnou, jakou hodnotu jednotlivým výsledkům přisuzujeme.

Jak číst tuto stránku – a data na tomto webu

Důsledně oddělujeme, co z dat skutečně víme, co z nich jen usuzujeme, co zatím nevíme a kde už nejde o empirickou otázku, ale o hodnotovou nebo politickou volbu.

  1. 1. Data

    Co skutečně pozorujeme.

  2. 2. Interpretace

    Co z pozorování můžeme rozumně usuzovat.

  3. 3. Limity

    Co z daných dat říci nemůžeme.

01

Jednoduchá otázka, složitá odpověď

Sociální podnik zaměstná člověka, který měl na běžném trhu práce ztížené postavení. Člověk získá práci, podnik vytvoří pracovní místo a společnost může ušetřit část nákladů spojených s nezaměstnaností. Pokud podnik navíc po několika letech stále funguje, máme úspěch.

Ve skutečnosti je otázka podstatně složitější.

Sociální podnikání leží na průsečíku podnikání, sociální politiky, trhu práce a veřejných financí. Jeho výsledkem proto není jediná veličina, kterou bychom mohli jednoduše změřit.

Vedle tržeb a pracovních míst mohou být relevantní například změny v příjmech zaměstnanců, jejich další uplatnění na trhu práce, zdravotní a sociální situace, dopad na rodiny, potřeba sociálních služeb nebo veřejných dávek, ale také náklady veřejné podpory či dopady na jiné podniky.

OECD upozorňuje, že právě oblasti jako zaměstnanost, sociální začlenění, wellbeing nebo komunita patří mezi společensky významné výsledky, které se přitom obtížně převádějí na jednoduché kvantitativní ukazatele.

OECD, 2023. Zdroje k měření dopadu

02

Od pracovního místa k dopadu

Představme si projekt, který vytvoří deset pracovních míst pro osoby znevýhodněné na trhu práce.

Deset pracovních míst je výstup projektu. Pokud osm zaměstnanců pracuje i po roce a jejich příjem nebo pracovní zkušenost se zlepšily, pozorujeme výsledek.

Teprve otázka, nakolik k této změně skutečně přispěl projekt a co by se stalo bez něj, nás přibližuje k jeho dopadu.

  1. Výstup

    10 vytvořených pracovních míst

  2. Udržení

    8 míst existuje po roce

  3. Výsledek

    Zaměstnanci mají vyšší příjem, zkušenosti nebo lepší uplatnitelnost

  4. Atribuce

    Jen část změny lze připsat projektu

  5. Dopad

    Změna, která by bez projektu nenastala

Ilustrativní příklad, nikoli skutečná data.

Pokud by si například tři z deseti zaměstnanců během stejné doby našli práci i bez projektu, nelze celý pozorovaný výsledek připsat sociálnímu podniku ani dotačnímu programu.

03

Co by se stalo bez intervence?

Jedna z nejdůležitějších otázek každé evaluace zní:

„Co by se pravděpodobně stalo, kdyby program neexistoval?“

Samotné zjištění, že se situace po intervenci zlepšila, ještě nedokazuje, že zlepšení způsobila právě ona. Lidé si mohou najít práci sami, může se zlepšit ekonomika, může pomoci jiná služba.

Této srovnávací, nikdy přímo nepozorované situaci se říká kontrafaktuál. Silnější evaluace se ji snaží co nejlépe odhadnout – například pomocí kontrolních skupin nebo takzvaných kvaziexperimentálních metod, které porovnávají podobné lidi či organizace s podporou a bez ní.

S projektem

8 z 10 lidí pracuje po roce.

Bez projektu (odhad)

3 z 10 by si práci pravděpodobně našli i tak.

Projektu lze připsat nanejvýš rozdíl mezi oběma situacemi – ne celý pozorovaný výsledek.

Ilustrativní příklad, nikoli skutečná data.

Nejde o specifikum sociálního podnikání. Je to obecný problém vyhodnocování veřejných politik. V evaluacích se proto opakují čtyři pojmy:

Efekt mrtvé váhy (deadweight)
Co by nastalo i bez intervence.
Připsání účinku intervenci (attribution)
Jakou část výsledku lze připsat intervenci, a ne jiným vlivům.
Vytěsnění (displacement)
Zda pozitivní efekt na jednom místě nevytlačil podobnou aktivitu jinde.
Odeznívání účinku (drop-off)
Zda účinek s časem postupně neslábne nebo nezaniká.

Magenta Book a Green Book, HM Treasury. Zdroje k evaluaci

04

Český příklad: podpora z OPZ

Ministerstvo práce a sociálních věcí v roce 2023 zveřejnilo evaluaci „Sociální podnikání: přínosy podpory z Operačního programu Zaměstnanost“. Její součástí bylo dotazníkové šetření mezi podpořenými sociálně-integračními podniky 12 měsíců po skončení podpory (103 podniků, sběr dat v letech 2017–2023).

Data
81 %sledovaných podniků fungovalo 12 měsíců po skončení podpory
Interpretace
Většina sledovaných podniků pokračovala nejméně rok po ukončení podpory.
Limity
Údaj sám o sobě neříká, zda byly podniky ekonomicky soběstačné, zda přežijí dlouhodobě ani jaký by byl jejich vývoj bez podpory.
Zdroj: MPSV / ESF ČR, 2023
Data
62 %podniků splnilo přísnější indikátor 10211
Interpretace
Indikátor kromě pokračování provozu sleduje také, zda podnik po skončení podpory výrazně nekrátil pracovní úvazky.
Limity
Ani přísnější měřítko neříká nic o období delším než 12 měsíců ani o tom, jakou část výsledku lze připsat samotné dotaci.
Zdroj: MPSV / ESF ČR, 2023

81 % není totéž jako 81 % dlouhodobě ekonomicky soběstačných podniků. Dvanáct měsíců je relativně krátké období a pokračování provozu samo o sobě ještě neříká:

  • zda podnik bude existovat za 3 nebo 5 let,
  • zda je ekonomicky soběstačný,
  • zda dál čerpá jinou veřejnou podporu,
  • ani zda jeho přežití způsobila právě původní dotace.

Česká evaluace poskytuje poměrně dobrou informaci o krátkodobé udržitelnosti podpořených podniků. Podstatně méně nám zatím říká o jejich dlouhodobé ekonomické udržitelnosti a o tom, jaká část výsledku by bez podpory nevznikla.

05

Co všechno může být přínosem?

Práce může mít hodnotu, která není zachycena pouze mzdou nebo úsporou veřejných výdajů.

  • Zaměstnání
  • příjem
  • daně a odvody
  • dávky
  • zdravotní stav
  • sociální služby
  • rodina
  • sociální kontakty
  • autonomie
  • wellbeing
  • zaměstnatelnost
  • místní ekonomika
  • jiné podniky

Může ovlivnit sociální kontakty, samostatnost, každodenní režim, životní spokojenost nebo další zaměstnatelnost člověka. Změna se může projevit také u jeho rodiny nebo v potřebě jiných veřejných služeb.

Současně mohou existovat náklady a vedlejší efekty na druhé straně.

Veřejné zdroje použité na jednu intervenci nelze současně použít jinde. Relevantní proto není pouze účetní cena programu, ale také náklady obětované příležitosti – co jiného se za stejné peníze mohlo udělat.

Mohou existovat také administrativní náklady, vytěsnění jiné ekonomické aktivity nebo změny chování způsobené nastavením podpory. Která strana v konkrétním případě převažuje, nelze říct předem – to je právě úkol evaluace.

06

Dá se společenský přínos převést na peníze?

Některé efekty lze ocenit relativně dobře, jiné jen velmi obtížně.

Oceňuje se relativně dobře

daně · odvody · některé sociální transfery · přímé náklady programu

Oceňuje se obtížně

autonomie · sociální začlenění · životní spokojenost · dopad na rodinu · důstojnost a možnost účastnit se pracovního života

Metody typu SROI (Social Return on Investment, sociální návratnost investice) se snaží převést různé efekty na společnou peněžní jednotku. Výsledek typu „1 Kč investovaná do programu vytvořila 2,50 Kč společenské hodnoty“ může být užitečný – nutí pojmenovat efekty a porovnat je s náklady.

Není to však fyzikální konstanta. Výsledek závisí na:

  • zvoleném časovém horizontu,
  • tom, které efekty zahrneme,
  • způsobu jejich ocenění,
  • předpokladu o tom, co by se stalo bez programu,
  • tom, jakou část výsledku lze připsat intervenci, efektu mrtvé váhy, vytěsnění a dalších metodických volbách.

Čím syntetičtější výsledné číslo je, tím důležitější je zveřejnit předpoklady, ze kterých vzniklo.

Příklad 2,50 Kč je ilustrativní, nikoli výsledek konkrétní studie. Zdroje k měření dopadu

07

Kde končí data a začínají hodnoty

Představme si, že kvalitní evaluace zjistí, že dlouhodobé pracovní místo pro člověka s velmi těžkým znevýhodněním vyžaduje trvalou veřejnou podporu.

Je to neúspěch?

Samotná ekonomická analýza tuto otázku nerozhodne. Může nám říci:

  • kolik dané řešení stojí,
  • jaké má měřitelné přínosy,
  • kdo získává a kdo nese náklady,
  • a jaké existují alternativy.

Nemůže ale sama určit, kolik je společnost ochotna za daný výsledek zaplatit.

Čtení A

Vysoké veřejné náklady jsou znakem neefektivity.

Čtení B

Jsou přijatelnou cenou za možnost člověka účastnit se pracovního života.

Stejná data, dvě interpretace. To už není spor o číslo. Je to hodnotové rozhodnutí.

Úlohou dat není odstranit hodnotové rozhodování. Úlohou dat je co nejlépe popsat cenu, přínosy, rizika a důsledky jednotlivých možností.

08

Co by měla dobrá evaluace zjišťovat?

Místo jednoho výsledného skóre sada otázek:

  1. 1.Kolik pracovních míst skutečně vzniklo?
  2. 2.Kolik z nich existuje po 1, 3 nebo 5 letech?
  3. 3.Jak se změnila situace zaměstnanců?
  4. 4.Co by se pravděpodobně stalo bez programu?
  5. 5.Jaké byly celkové veřejné náklady?
  6. 6.Jaké následovaly úspory nebo další náklady?
  7. 7.Existují pozitivní či negativní externality?
  8. 8.Došlo k vytěsnění jiné ekonomické aktivity?
  9. 9.Kdo z programu získává a kdo nese náklady?
  10. 10.Které výsledky jsou empirickým zjištěním a které už závisejí na hodnotovém úsudku?

Závěr

Ne hledání jednoho čísla, ale lepších odpovědí

Sociální podnikání se snaží současně dosahovat ekonomických a společenských cílů. Právě proto je jeho hodnocení obtížnější než prosté sledování zisku nebo počtu zaměstnanců.

OECD upozorňuje, že úplná standardizace měření sociálního dopadu není ani možná, ani žádoucí. Organizace se liší svými cíli, cílovými skupinami i prostředím a samotné měření by nemělo vytvářet nepřiměřenou administrativní zátěž.

Smyslem dat proto nemusí být nalézt jediné konečné číslo označující „hodnotu sociálního podnikání“. Mnohem užitečnější je postupně skládat obraz:

  1. 01Co víme.
  2. 02Jak spolehlivě to víme.
  3. 03Co zatím nevíme.
  4. 04A kde už odpověď nezávisí pouze na datech.