Operationaliseren van indicatoren voor 1 Gezin 1 Plan (1G1P)

Binnen de Academische Werkplaats Jeugd NZH vindt op dit moment de uitvoering plaats van het onderzoek ‘Samen optreden, 1 gezin, 1 plan: onderzoek naar de verbetering van zorgcoördinatie’. Voor de uitvoering van zorgcoördinatie bij multiprobleemgezinnen zijn afspraken gemaakt tussen overheden en instellingen. In Den Haag gebruiken de CJG’s de methodiek CJG gezinsbegeleiding (herontwerp in 2011) om de zorgcoördinatie te realiseren. Zorgcoördinatie wordt uitgevoerd vanuit het idee dat er slechts één zorgcoördinator aanwezig is binnen het gezin die de volgende doelstellingen realiseert:

1. Het betrekken van (alle) relevante gezinsleden en het sociale netwerk
2. Het betrekken van praktijkprofessionals rond het gezin, die regelmatig contact hebben met gezinsleden
3. Planmatig en voorwaardenscheppend werken

Het onderzoek ‘Samen optreden’ moet duidelijk maken of er wordt gewerkt volgens het principe van 1 gezin, 1 plan (1 zorgcoördinator) en wat de determinanten zijn van zorggebruik door multiprobleemgezinnen. Evaluatie van opbrengsten vindt nog niet plaats. De eerste resultaten van het onderzoek zijn inmiddels gereed en in discussie gebracht. De bestuurders van betrokken partijen hebben zich uitgesproken voor het SMART operationaliseren van de doelstellingen van de methodiek CJG-gezinsbegeleiding en het identificeren van indicatoren (op basis van registratiegegevens) waarmee periodiek monitoren mogelijk wordt. Door middel van monitoring en evaluatie kan het beleid van het CJG (en de methodiek CJG gezinsbegeleiding) worden bijgesteld ten gunste van de doelgroep. Het is de wens van alle betrokken instellingen om meer zicht te krijgen op de opbrengsten van de uitvoering van zorgcoördinatie.

Het doel van het onderzoek is het ontwikkelen van een set prestatie-indicatoren waarmee de opbrengsten van de methodiek CJG gezinsbegeleiding van de gemeente Den Haag geëvalueerd kan worden. De set prestatie-indicatoren heeft draagvlak bij de verschillende betrokken instellingen en wordt in samenspraak met alle betrokkenen vastgesteld. Daarnaast wordt een ontwerp gemaakt voor het uitvoeren van een pilot met de indicatoren.

Met welke prestatie-indicatoren kan worden vastgesteld of de methodiek CJG gezinsbegeleiding succesvol is en of de doelstellingen worden gerealiseerd? En is het meten van prestatie-indicatoren haalbaar op basis van de beschikbare gegevens, of zijn aanvullende gegevens nodig?

Het project wordt uitgevoerd in twee fasen:

1. inventariseren van SMART doelstellingen van de methodiek CJG gezinsbegeleiding en formuleren van concept indicatoren, en
2. vaststellen van definitieve indicatoren en ontwerp voor pilot

Eerste fase

In de eerste fase wordt gestart met het identificeren van de doelstellingen van de methodiek CJG gezinsbegeleiding (mede op basis van een procesbeschrijving). Daarnaast wordt een inventarisatie gemaakt van de indicatorenset die momenteel wordt gebruikt in Samen optreden (voornamelijk procesmatige en randvoorwaardelijke indicatoren).

Voor het meten van opbrengsten zal echter met name gezocht worden naar uitkomstindicatoren (ook wel output indicatoren genoemd, naar het klassieke onderscheid van Donabedian, 1988). Hierbij wordt zoveel mogelijk aangesloten bij de operationalisatie van verbeterpunten voor het jeugdstelsel (in ontwikkeling, regionaal transitiearrangement Haaglanden).

Voor het formuleren van de conceptset van indicatoren wordt een brainstormsessie georganiseerd met alle relevante betrokken partijen.

Tweede fase

In de tweede fase van het project wordt de concept indicatorenset getoetst aan het AIRE instrument (Appraisal of indicators and evaluation, de Koning e.a. 1998). Hiermee wordt expliciet aandacht besteed aan criteria als validiteit, betrouwbaarheid, confounding factoren, etc. Vervolgens wordt voor iedere indicator gekeken naar de registratiemogelijkheden (JeugdlinQ, aanmeldformulier, gezinsplan).

Wanneer blijkt dat voor de indicator op dit moment nog geen registratie plaatsvindt, zal gediscussieerd worden over de wenselijkheid van aanvullende registratie. Daarnaast zal de indicatorenset voorgelegd worden aan een grotere groep betrokkenen (afkomstig van relevante partijen). Zij zullen via het geven van scores (Delphi methode) iedere indicator opnieuw beoordelen op relevantie voor opname in een monitorinstrument.

Op basis van de uitkomsten van het Delphi onderzoek wordt een definitieve indicatorenset vastgesteld. Tot slot wordt voor het daadwerkelijk meten van de indicatoren een plan vastgesteld. Per indicator wordt uitgewerkt welke organisatie de gegevens zal moeten registreren en hoe het verzamelen van gegevens dient plaats te vinden. Bij wijze van een eerste toets wordt per indicator door enkele professionals gekeken of de gegevens uit de systemen te halen zijn. Op basis hiervan wordt een definitief ontwerp voor het monitoren van de methodiek CJG gezinsbegeleiding geformuleerd. Dit ontwerp bevat onder andere een aantal beleidsadviezen die het monitoringsproces dienen te faciliteren.

1 januari 2014 – 31 december 2014

TNO, Annelies Broerse, onderzoeker, contactpersoon
TNO, Noortje Pannebakker, onderzoeker
Gemeente Den Haag, opdrachtgever, Ingrid Kervel, senior beleidsmedewerker jeugdbeleid
CJG Den Haag, Meilan Chung, stedelijk manager
GGD Haaglanden, Jeroen de Wilde, onderzoeker en jeugdarts
De Jutters
Jeugdformaat
De Haagse Hogeschool, adviseur

Vanuit het CJG-MT zijn 23 suggesties voor indicatoren gedaan. Deze zijn omgevormd tot concreet meetbare eenheden. Hieraan zijn 3 indicatoren toegevoegd voor de SMART-doelstellingen van de methodiek CJG-gezinsbegeleiding. Vervolgens zijn nog 8 indicatoren toegevoegd voor de specifieke uitvoering van het primaire proces van de CJG-jeugdteams (bijvoorbeeld doorlooptijden). Hiermee ontstond een long list van 34 indicatoren.
Deze 34 indicatoren zijn getoetst aan het AIRE-instrument. Vervolgens is van de long list een short list gemaakt op basis van de input van de praktijkinstellingen en het CJG-MT. Hiermee kwam de eindset op 11 indicatoren. Een deel van de indicatoren viel af omdat men overlap zag in het onderliggende fenomeen dat werd gemeten. Andere indicatoren vielen af omdat men in deze fase prioriteiten wilde stellen en bepaalde indicatoren belangrijker vond dan andere. Ook vielen indicatoren af omdat ze uiteindelijk niet meetbaar bleken te zijn.
Vier van de 11 indicatoren uit de eindset worden – in soms iets gewijzigde vorm – eveneens gebruikt in het landelijke traject van prestatie-indicatoren in de jeugdzorg (zie tabel). De landelijke formulering is soms enigszins gewijzigd, aangezien de indicatoren in de huidige CJG-setting moeten voldoen.

Bij het samenstellen van de eindset is bewust gekozen voor een ongelijke verhouding van proces- en uitkomstindicatoren (zie tabel 1). Uitkomstindicatoren zijn het meest informatief. Echter, in een fase waarin veel verandert binnen de CJG-organisatie, is het raadzaam om ook procesmaten op te nemen, aangezien die soms makkelijker aanknopingspunten bieden voor organisatorische verbetering.

Het merendeel van de indicatoren uit de eindset (8 van de 11) is op dit moment nog niet meetbaar (zie tabel). In de rapportage wordt daarom bij de verdere uitwerking van de indicatoren onderscheid gemaakt tussen:

1. direct meetbare indicatoren
2. indicatoren die een aanpassing in de registraties vereisen
3. indicatoren die via een enquête onder ouders moeten worden gemeten en aanpassing van de cliëntvragenlijsten vereist.

In de rapportage wordt eveneens per indicator het exacte meetgegeven beschreven en of dit gegeven momenteel geregistreerd wordt. Daarnaast wordt in een bijlage aangegeven wat de methodologische overwegingen waren bij het opstellen van de afzonderlijke indicatoren. Dit betrof bijvoorbeeld keuzes over afbakening of het gebruik van een bepaalde registratiewijze.

Indicatoren CJG-gezinsbegeleiding Den Haag

Sinds 2011 werken de Haagse Centra voor Jeugd en Gezin (CJG) met CJG-jeugdteams die gezinnen ondersteunen. De transitie van de Jeugdzorg heeft echter grote veranderingen voor de CJG’s met zich meegebracht. Daarom ontstond de wens om de opbrengsten van CJG-jeugdteams te monitoren via de ontwikkeling van een indicatorenset. Het project heeft geresulteerd in een eindset van 11 indicatoren. Vier van deze indicatoren worden eveneens gebruikt in het landelijke traject van monitoring van de jeugdzorg. Bij het samenstellen van de set is gekozen voor relatief veel procesindicatoren. Hoewel uitkomstindicatoren het meest informatief zijn, bieden procesmaten in een fase van verandering vaak de beste aanknopingspunten voor organisatorische verbetering. Ten tijde van het verschijnen van het rapport is het merendeel van de indicatoren overigens nog niet meetbaar. Bij gebruik van de huidige indicatoren dient daarom eerst getoetst te worden of de indicatoren nog steeds aansluiten bij de manier van werken en organisatorische setting.