Effektutvärdering av fristående leverantörers matchningsinsatser: En replikering av en IFAU-rapport
IFAU (Egebark m.fl., 2024) har genomfört ett randomiserat fältexperiment där de studerat effekterna av Rusta och matcha, ett program där arbetssökande får matchningsinsatser av fristående leverantörer). Slutsatsen från utvärderingen är att de fristående leverantörernas matchningsinsatser kostar mer, men inte ger ett bättre arbetsmarknads- eller utbildningsutfall för de arbetssökande än Arbetsförmedlingens egna insatser.
Vi genomför i denna rapport en replikering av Egebark m.fl. (2024) och finner att:
Följsamheten i experimentet är låg – endast omkring 55 procent de arbetssökande som initialt randomiseras till Rusta och matcha följer den randomiserade tilldelade behandlingen. Under sådana omständigheter mäter det skattningsmått (ITT) som används i studien inte effekten av att delta i Rusta och matcha. Resultaten ska i stället tolkas som effekten av att initialt ha tilldelats matchningsinsatser från fristående leverantörer. På ett flertal ställen i rapporten, inklusive i syftet1, i sammanfattningen, i pressmeddelandet och i kommuniceringen av rapporten tydliggörs inte detta.
Breda konfidensintervall tolkas felaktigt som precist skattade nolleffekter. När vi skattar en Local Average Treatment Effect (LATE) – en etablerad metod när följsamheten är låg – framträder ett mönster av betydande positiva effekter av att delta i Rusta och matcha. ITT underskattar effekten av deltagande med mellan 57 och 71 procent. De flesta av LATE-skattningarna (24 av 30) är positiva och flera har konfidensintervall som ligger över noll. De största positiva effekterna finner vi för den grupp av arbetssökande som står närmare arbetsmarknaden.
Utvärderingen har utförts tillsammans med anställda vid Arbetsförmedlingen, vilket inte är förenligt med grundläggande principer om oberoende utvärdering. IFAU ska enligt sin instruktion utvärdera den arbetsmarknadspolitiska verksamheten (1§ SFS 2007:911), och Arbetsförmedlingen ska enligt sin instruktion ansvara för den arbetsmarknadspolitiska verksamheten (1§ i SFS 2022:811).
Vår analys visar att Egebark m.fl. (2024) lider av metodologiska brister, samt att det inte går att utesluta betydande positiva effekter av de fristående leverantörernas matchningsinsatser. Slutsatsen som kommunicerats av IFAU är därför inte robust.