Monitoring en evaluatie
Vroegsignalering vraagt een investering van een gemeente en eventuele samenwerkingspartners. Vaak wordt veel moeite gedaan om deze investering voor elkaar te krijgen. Door vooraf zorg te dragen voor goede mogelijkheden voor evaluatie, kan later het effect van vroegsignalering worden gemeten. Dit kan bijdragen aan de continuering en verbetering. Door voor de start van vroegsignalering een nulmeting te doen wordt inzichtelijk welke cijfers geregistreerd moeten worden om te kunnen evalueren.
Over de evaluatie:
De pilot duurde een half jaar. Dit is eigenlijk een te korte periode om goed alle effecten in kaart te brengen. Sommige effecten zijn pas op langere termijn zichtbaar. Vanwege de doorlooptijd, maar ook vanwege de beperkte schaal (2 wijken) is het bovendien niet mogelijk verstrekkende conclusies te trekken uit de ‘grote’ cijfers zoals het aantal huisuitzettingen of de gemiddelde huurachterstand. Er wordt in deze evaluatie een aantal suggesties gedaan voor verbetering van de registratie waardoor we in de toekomst de effecten beter kunnen monitoren. Hoewel in dit rapport diverse cijfers worden gepresenteerd, is deze evaluatie vooral kwalitatief van aard.
Bekijk ook:
Bij de ontwikkeling
Bij de ontwikkeling van vroegsignalering zijn er verwachtingen over de effecten van de werkwijze. Op basis van cijfers of vermoedens worden doelen gesteld. In de 1e fase is het goed om in beeld te brengen wat de beginsituatie is, op welke manier de werkwijze bij gaat dragen in het behalen van de doelstellingen en wanneer de werkwijze succesvol is. Het is vaak niet noodzakelijk om alles te evalueren. Ook de reden waarom evaluatie noodzakelijk is moet op dit moment meegenomen worden. Gaat het om verantwoording naar politiek en samenwerkingspartners of is het juist bedoeld om verschillende methodieken te vergelijken of om te leren van de werkwijze?
Bepaal op basis van deze punten de hoofd- en eventuele subvragen waar een antwoord op moet komen. En wordt in deze fase ook een eerste evaluatie opzet gemaakt.
Bij de implementatie
In deze fase is het van belang te bepalen welke gegevens verzameld moeten worden. Welke cijfers geven een beeld over de gestelde doelen en op welke manier kunnen deze verzameld worden? Hoe meer gegevens geautomatiseerd verzameld kunnen worden hoe beter. Door een afgewogen keuze over de te verzamelen gegevens te maken, wordt voorkomen dat de hulpverleners teveel belast worden met de administratie. De betrouwbaarheid van de gegevens wordt vergroot door een goede instructie te geven over de wijze waarop geadministreerd moet worden.
Als gekozen is voor 0-metingen of test- en controle groepen, dan moeten deze metingen voor aanvang worden uitgevoerd.
Bij de uitvoering
Nu is het van belang dat gegevens ook daadwerkelijk bijgehouden worden. Controleer hier regelmatig op en ga in gesprek met uitvoerders als tussentijdse bijsturing noodzakelijk is.
Na de uitvoering
De daadwerkelijke evaluatie kan plaatsvinden na afloop van het project of na afloop van de test- of pilotperiode. Afhankelijk van de gekozen evaluatiemethode wordt nu de nameting of de analyse van de gegevens gedaan.
Schouders eronder
Schouders eronder heeft twee handreikingen geschreven over evalueren. Eén over het evalueren van een proces en één over het evalueren van een plan.
Als gekeken wordt naar wat gemeenten als gewenst bereik hebben gedefinieerd, dan zien we dat veel gemeenten hier geen doelen voor hebben gesteld. Andere gemeenten stellen als doel een bereik van 60-70% of zelfs hoger. In de praktijk blijkt dat dit percentage zeker in het eerste jaar vaak niet bereikt wordt. Het is daarom aan te raden om in het eerste jaar het gewenste bereik niet te hoog in te schatten. Percentages van 70% worden vaak pas na een aantal jaar vroegsignalering bereikt.
Downloads:
Rapportagemomenten
Elke maand wordt door de verantwoordelijke (of projectleider) vanuit het registratiesysteem een rapportage uitgedraaid met daarin, bijvoorbeeld, het aantal aanmeldingen, doorlooptijd en behaalde resultaten. Deze rapportage wordt besproken in het team. Daarnaast zal de verantwoordelijke om de bijvoorbeeld twee maanden met de stuurgroep de aanpak en de resultaten evalueren.
Wanneer tussentijds geconstateerd wordt dat het aantal aanmeldingen per maand lager ligt dan verwacht, wordt dit besproken met de bezoekende professional(s) en de betrokken signaalpartners en kan tussentijds bijsturing plaatsvinden.
Na 6 maanden
Na een half jaar heeft een tussentijdse evaluatie plaats gevonden aan de hand waarvan ook besloten kan worden of uitbreiding naar bijvoorbeeld meer meldingen of meer dataleveranciers mogelijk is.
Na 12 maanden
Na afloop van het eerste jaar (of de pilotperiode) zal een evaluatie plaatsvinden. Na deze periode zal antwoord gegeven moeten worden op de vraag of de doelstellingen bereikt zijn.
Kortom, wat heeft de pilot opgeleverd?
De ingrediënten voor een werkbare aanpak vroegsignalering;
Een goede en prettige samenwerking tussen buurtteams en corporaties;
Inzicht in de succesfactoren;
Een haalbaar plan voor uitbreiding van vroegsignalering naar andere wijken;
De commitment van alle betrokken partijen voor voortzetting en uitbreiding van vroegsignalering in Utrecht.
Monitoren, evalueren over de hele keten.
Ontwikkel samen met de crediteuren een meetinstrument voor het monitoren van de hele keten. Stel deze werkende weg bij. Zorg voor maand- en/of kwartaalrapportages. Bespreek deze met partijen om de gegevens van context te voorzien en te verklaren. Betrek van meet af aan de gemeentelijke afdeling onderzoek en statistiek bij vroegsignalering om beleidsdoelen te vertalen naar onderzoeksvragen.
Mogelijke monitoringgegevens
Het is mogelijk om op veel punten informatie te verzamelen. Welke keuzen hierin gemaakt worden, hangt mede af van de doelstellingen (Kpi’s). Maar ook van de mogelijke cofinanciering. Hieronder staan mogelijke punten waarop monitoring plaats zou kunnen vinden
Verloop en resultaten van het vroegsignaleringstraject
- Hoeveel aangemelde huishoudens waren al in beeld bij de schuldhulpverlening?
- Met hoeveel van de niet-bekende huishoudens vond een vroegsignaleringsgesprek plaats?
- Hoeveel pogingen waren nodig voordat een huisbezoek tot stand kwam?
- Bij hoeveel van de huishoudens die werden gesproken was een ‘quick fix’ mogelijk door de inzet van inkomen verruimende maatregelen?
- Hoeveel van de huishoudens was een inkomensreparatie van toepassing?
- Bij hoeveel van hen was schuldhulpverlening de belangrijkste vervolgactiviteit?
- Bij hoeveel van hen was niet-financiële dienstverlening de belangrijkste vervolgactiviteit?
- Welke niet-financiële dienstverlening was de belangrijkste vervolg activiteit?
- Wat was de gemiddelde duur van een vroegsignaleringstraject?
- Hoeveel huishoudens weigerden een gesprek en wat waren de meest voorkomende redenen?
- Met hoeveel huishoudens is het niet gelukt om contact te krijgen?
Uit de praktijk blijkt dat sommige doelstellingen pas na enkele jaren behaald kunnen worden. Hieronder staan mogelijke vragen die gesteld kunnen worden:
Is de kennis over de doelgroep toegenomen?
- Bij hoeveel inwoners waarmee een vroegsignaleringsgesprek werd gevoerd, was in de pilotperiode sprake van meervoudige problematiek?
- Welk percentage van de doelgroep maakt onvoldoende gebruik van inkomen verruimende voorzieningen (huurtoeslag, zorgtoeslag, e.d.) en wat waren de meest voorkomende redenen daarvoor?
- Welk percentage van de doelgroep kan na het opstellen van een Plan van Aanpak weer zelfstandig verder?
- Wat is de huishoudsamenstelling van de doelgroep vroegsignalering?
- Waaruit bestaat het inkomen van de doelgroep vroegsignalering?
- In welke wijk is men woonachtig?
Bereiken we de doelgroep beter?
- Bestaat de bereikte doelgroep uit andere inwoners dan die voorheen in beeld waren?
- Om welke aantallen gaat het?
- Wat is het gemiddeld schuldbedrag van inwoners die zichzelf aanmelden bij schuldhulpverlening (zonder vroegsignalering)?
- Wat is het gemiddeld schuldbedrag van inwoners die via de vroegsignalering bij schuldhulpverlening worden aangemeld? (Blijkt dat de doelgroep inderdaad eerder in beeld komt door vroegsignalering?)
- Bij hoeveel inwoners waarmee een vroegsignaleringsgesprek werd gevoerd, was in de pilotperiode sprake van recidive?
Lessen ten aanzien van het bereiken van de inwoner:
- Bij welk signaal is een huisbezoek het best af te spreken (bij een enkel signaal of een combinatie van signalen bijv. huurachterstand én zorgverzekering).
- Bij welke (combinaties van) signalen is er daadwerkelijk een huisbezoek afgelegd?
- Wat is de beste manier om de doelgroep te benaderen?
Effecten vroegsignaleringstraject:
- Hoeveel hebben de woningcorporaties moeten afboeken op openstaande vorderingen in vergelijking met voorgaande jaren?
- Voor hoeveel dossiers is alsnog een betaalvonnis of ontbindings- en ontruimingsvonnis behaald. Hoe verhoudt zich dit tot voorgaande jaren?
- Wat is het effect geweest van het vroegsignaleringstraject op het welzijn van de inwoners die geholpen zijn?
- Hoeveel dossiers zijn opgelost met volledige aflossing, interventie vanuit schuldhulpverlening, bewindvoering etc? Hoe verhoudt zich dit tot voorgaande jaren?
- Wat was het effect van het vroegsignaleringstraject op de klanttevredenheid?
Bij het opzetten van de pilot moet bekeken worden op welke punten resultaten verwacht worden. Welke punten zijn haalbaar om op te rapporteren (meetbaar) en op welke wijze zal vastlegging en rapportage plaats gaan vinden.
In het (project- of) uitvoeringsplan is het noodzakelijk dat bovenstaande monitoringspunten verder worden uitgewerkt.
Landelijke monitoring
Veel gemeenten zijn op zoek naar goede data om te kunnen evalueren wat de effecten zijn van vroegsignalering en wat het rendement is op de investering die hiervoor is gedaan. Hiervoor wordt op dit moment een monitoringsinstrument ontwikkeld waarmee gemeenten op eenzelfde wijze gegevens van vroegsignalering kunnen registreren en verwerken. Van belang daarbij is dat we ons afvragen waarom we monitoren, bijvoorbeeld om te verantwoorden, het rendement te bepalen, de effecten van de uitvoering te bepalen, politieke keuzes te maken en/of te leren en te verbeteren.
Deze landelijke monitoring omvat de volgende activiteiten:
1. Het ontwikkelen van een monitoringsinstrument dat door gemeenten kan worden gebruikt bij het registeren van gegevens, en ingezet kan worden voor het monitoren, evalueren en benchmarken van de resultaten van vroegsignalering. Met de ontwikkeling van het monitoringsinstrument krijgen de gemeenten een format waarmee ze hun automatisering in kunnen richten zodat zij bruikbare gegevens kunnen verzamelen. Met het monitoringsinstrument kan de gemeente antwoord geven op de volgende vragen:
- Wat is het verloop en wat zijn de resultaten van vroegsignalering?
- Wordt de doelgroep beter bereikt?
- Is de bekendheid met de doelgroep toegenomen?
- Wat zijn de effecten van vroegsignalering?
- Wat zijn de lessen ten aanzien van huisbezoeken?
- Wat is het (maatschappelijk) rendement van vroegsignalering?
2. Adviseren hoe gemeenten het monitoringsinstrument kunnen gebruiken;
3. Het verzamelen van de gegevens van gemeenten die meedoen in de meetfase van het monitoringsinstrument;
4. Het opstellen van een evaluatierapport met een vergelijking van deelnemende gemeenten.
Het monitoringsinstrument wordt ontwikkeld in vier fases:
- Onderzoeksfase;
- Ontwikkelingsfase (gedurende een half jaar);
- Meetfase (gedurende een jaar);
- Rapportagefase
In de praktijk zullen de verschillende fases elkaar overlappen. Er vindt nauwe samenwerking plaats met Divosa zodat de resultaten ook meegenomen kunnen worden in de benchmark schuldhulpverlening.
In de onderzoeksfase en ontwikkelingsfase wordt gebruik gemaakt van bestaande evaluaties en de nieuwste inzichten van gemeente en signaalpartners:
In de meetfase zijn 107 gemeenten gemotiveerd en betrokken om zoveel mogelijk gebruik te maken van het monitoringsinstrument. Na de meetfase wordt in de rapportagefase een rapport opgeleverd waarin de resultaten uit de meetfase worden vastgelegd en gedeeld, helder wordt wat het rendement is van vroegsignalering en aanbevelingen worden gedaan voor het vervolg. Bij deze pijler worden deskundigen vanuit het werkveld betrokken. Dit kan een Hogeschool zijn, maar bijvoorbeeld ook een onderzoeksbureau dat al ervaring heeft op dit gebied. De keuze hiervoor is nog niet definitief gemaakt.
Resultaten van de landelijke monitoring zijn:
- Een helder advies aan gemeenten waar zij op kunnen monitoren en op welke manier zij monitoring kunnen inrichten;
- Een basis meetinstrument met extra optionele parameters voor matching en lokale informatie;
- Een evaluatie en rapportage van de meetfase waarin verschillende gemeenten met elkaar vergeleken worden en waarin duidelijk wordt op welke manier vroegsignalering bijdraagt aan diverse door de gemeente vooraf gestelde doelen;
- Een rapportage waarin duidelijk wordt wat vroegsignalering oplevert aan maatschappelijk rendement;
- Aansluiting bij de benchmark schuldhulpverlening van Divosa.
Onderzoeksfase landelijke monitoring
Voor de onderzoeksfase is een werkgroep Monitoring in het leven geroepen. De werkgroep bestaat uit: Marleen Smit (Divosa), Cora Brink (Hogeschool Arnhem-Nijmegen), Guus Elstgeest (gemeente Amsterdam), Mary-anne Huberts (gemeente Lingewaard), Pieter Roos (ministerie van Sociale Zaken en Werkgelegenheid), Marieke Schenk (ministerie van Binnenlandse Zaken), Yvet Bommeljé (Onderzoek) en het Landelijk Projectteam. De werkgroep monitoring is voor dit onderdeel drie keer bij elkaar geweest en dit heeft geleid tot een goede en praktische basis voor de landelijke monitoring.
Met deze werkgroep hebben we gezamenlijk onderzocht:
- Welke onderzoeksvragen we willen beantwoorden?
- Wat de scope is van het onderzoek?
- Welke dataset we nodig hebben om tot het beantwoorden van die vragen te komen. We hebben hiervoor tevens bekeken wat er momenteel al vastgelegd wordt binnen de bestaande ICT-systemen.
Aansluiten bij Divosa monitoring:
Divosa heeft deelgenomen aan in de werkgroep Monitoring voor de aansluiting aan de Benchmark Armoede en Schulden. Zij nemen vanaf 1 juli 2021 ook alle werkzaamheden met betrekking tot het Dashboard Vroegsignalering over.
Raad van Advies:
Voor de monitoring is ook advies gevraagd aan de Raad van Advies die is gevormd. Deze bestaat uit het projectteam en een vertegenwoordiging van de Nvvk, zorgverzekeraars, woningcorporaties en energieleveranciers. De Raad van Advies kwam in totaal twee tot vier keer bij elkaar. Hiermee zijn ook de inzichten van andere signaalpartners meegenomen.
Downloads:
Ontwikkelingsfase landelijke monitoring
Op basis van de onderzoeksfase hebben we de dataset vastgesteld, een handleiding monitoring gemaakt en een algemene vragenlijst geformuleerd.
Inforing en BKR werken mee aan de monitoring voor de dataset en zij hebben waar nodig de systemen hierop aangepast. Hierdoor is de belasting van gemeenten om mee te doen minimaal. De meeste gegevens kunnen door Inforing en BKR geanonimiseerd uit RIS en VPS worden gehaald. Behalve de maandelijkse registratie wordt ook 3x een uitvraag gedaan met de algemene vragenlijst in de vorm van een enquête.
Vanaf 1 februari 2020 wordt in RIS conform de nieuwe monitoring geregistreerd. In VPS was dit vanaf 1 april 2020 mogelijk.
Onze doelstelling voor de monitoring was de aansluiting van minimaal 50 gemeenten. Er hebben zich inmiddels 107 gemeenten aangemeld mee te doen aan de landelijke monitoring. De monitoring loopt vanaf 1 februari 2020 tot 31 maart 2021. Het idee was dat gemeenten minimaal 9 maanden data moesten aanleveren om mee te kunnen doen, maar i.v.m. de Corona Crisis hebben we deze periode van 9 maanden losgelaten. Halverwege het monitoringsjaar wordt een tussentijdse rapportage opgesteld. We hopen dat we uit deze rapportage al het nodige kunnen leren over de effectiviteit van het vroegsignaleringsproces.
Voor gemeenten die meedoen zijn ook de tabellen ingericht. Alles kan geregistreerd worden. Een deel van de velden is verplicht. Een aantal velden werd al ingevuld.
Voor gemeenten die niet van RIS of VPS gebruik maken is een Excel bestand beschikbaar gesteld om alle data te verzamelen en aan te leveren.
Landelijke monitoring of te wel Dashboard Vroegsignalering
Vanaf 1 februari (RIS) of april 2020 (VPS) zijn de data door de 107 gemeenten in RIS en VPS verzameld.
Voor 1 mei 2020 zijn door BKR en Inforing de 1e proefbestanden aangeleverd zodat we kunnen bezien of het aanleveren van de data gebruikt kan worden voor het beantwoorden van de onderzoeksvragen. Indien nodig kunnen er nog aanpassingen worden gemaakt.
In februari 2020, juli 2020 en februari 2021 zijn de algemene vragenlijst naar alle deelnemende gemeenten gestuurd.
Deze vragenlijsten zijn gekoppeld aan de platte data die we via BKR, Inforing en middels de Excellijsten van een gemeente ontvangen.
Al deze data zal als inpunt worden gebruikt voor het monitoringsrapport.
De 107 gemeente die hun data met ons hebben gedeeld kunnen via onderstaande link toegang krijgen tot het Dashboard Vroegsignalering.
