Vier grote datablunders – zo kan je geen beleid voeren!

Leestijd: 5 minuten

Vier grote datablunders – zo kan je geen beleid voeren!

Als je tijdens een crisis belangrijke beslissingen moet nemen is het van het allergrootste belang dat de informatie waarop je stuurt van hoge kwaliteit en actueel is. Daar begint alles mee.

We maken de grootste crisis door sinds de Tweede Wereldoorlog. Op vrijwel ieder terrein van ons leven heeft wat de afgelopen 6 maanden is gebeurd en de volgende maanden/jaren gaat afspelen een grote impact. Wat de gevolgen zullen zijn voor de economie, sociale cohesie binnen een land, en machtsevenwicht tussen landen, is amper voor te stellen. Zoals de Amerikanen zeggen “You ain’t seen nothing yet”.

Maar als je ziet wat een puinhoop het nog steeds is met de dataverzameling, data-analyse en datapresentatie, dan weet je pas goed hoe we in de aap gelogeerd zijn.

De hoofdpunten van de problematiek

Heel kort de hoofdpunten van die problematiek (en ik heb er diverse blogs over geschreven, o.a. 1,  2,  3,  4 en 5).

De cijfers die het RIVM dagelijks/wekelijks presenteert worden door de 25 GGD’s verzameld en doorgegeven. Het lijkt of het de cijfers zijn over de situatie gisteren, maar het betreft alleen de getallen die gisteren gemeld zijn. In werkelijkheid kunnen het gemelde positieve testuitslagen, ziekenhuisopnames of sterfgevallen zijn van dagen, weken en soms maanden geleden. Niet alleen zegt het dus eigenlijk niets over de situatie gisteren, maar het betekent ook dat continu oudere cijfers worden aangepast.

Met die data voert het RIVM allerlei analyses uit. Dat die data ook na het uitvoeren van de analyses nog kunnen veranderen zorgt ervoor dat die analyses op een soort drijfzand zijn gebaseerd. Maar dat beseft de lezer niet. Zo lijdt de berekening van de reproductiefactor aan
– een gebrek aan actualiteit (gemiddeld 18 dagen oud),
– een gebrek aan nauwkeurige cijfers (want de cijfers van meer dan 18 dagen geleden kunnen door nieuwe meldingen toch weer veranderen).
– en een knullige methodologie (begin juni werd overgestapt van de ziekenhuisopnames naar het aantal positieve testen. Maar er werden toen geen correcties toegepast in het model voor o.a. de relatie positieve testuitslagen en het aantal uitgevoerde testen).

Zegt niets

Dus de reproductiefactor die in het weekrapport staat, zegt helemaal niets over de situatie van nu. Of zelfs niet over de situatie van de afgelopen 14 dagen.

Door extra informatie te verzamelen onder iederen die zich laat testen en van degenen die positief getest zijn, hadden goede analyses kunnen worden uitgevoerd. Hoe moeilijk was het geweest om iedereen die zich wilde laten testen een eenvoudige (online) vragenlijst af te laten nemen en zo het verloop van cruciale data in de tijd te kunnen volgen, zowel op landelijke schaal, op regionale schaal en op relevante deelgroepen? Wat er wel in de RIVM-rapporten staat aan data is armetierig, over de tijd gezien niet systematisch bijgehouden, en qua verloop in de tijd ook niet eenvoudig te volgen.

Last but not least

Als ik premier Rutte of minister De Jonge hoor, dan merk ik dat hun opleiding en kwaliteiten niet zitten op het terrein van dataverzameling en data-interpretatie. Dat is niet erg, want er zijn veel mensen die weinig affiniteit hebben met data. Die hebben weer andere kwaliteiten. Maar als je belangrijke beslissingen moet nemen dan is het wel nodig dat je die data begrijpt of dat mensen je goed helpen die data te begrijpen.

Als ik de premier hoor hoe hij de reproductiefactor van 18 dagen geleden bij zijn persconferentie gebruikt of het voorbeeld van Atalanta Bergamo-Valencia gebruikt als bewijs dat er veel besmettingen in de buitenlucht kunnen plaatsvinden, dan hou ik mijn hart vast over de kwaliteit van zijn besluitvorming. Minister De Jonge met zijn dashboard en app zou helemaal iemand moeten zijn die veel waarde hecht aan actuele en accurate data. Maar behalve loze woorden over dashboard en app, lijkt hij niet te (willen?) beseffen dat die technologie slechts een mooi omhulsel is van een lelijk schepsel.

Een voorbeeld

Men wil vanuit het dashboard goed kunnen volgen hoe het per regio gaat. Om op basis daarvan besluitvorming te plegen. Dus moeten de cijfers per regio accuraat en actueel zijn. Maar wat zeggen die cijfers als het alleen de datum van de melding van iets betreft? Dus stel, in het dashboard staat dat er gisteren bijvoorbeeld in de regio Amsterdam 211 nieuwe positieve testen zijn gemeld. Maar het kan zijn dat een deel ervan al 5 dagen geleden was vastgesteld, maar nu pas administratief verwerkt. (Nog los van het feit dat er ook nog een tijd verloopt tussen het moment dat iemand een test wil laten afnemen en de uitslag is bepaald. Dat kan zomaar 4 dagen duren. En dan praat je ook nog niet over het feit dat een deel van degenen die positief zijn getest niet meer besmettelijk waren op het moment van de test zelf).

Hier ligt de oorzaak (en de oplossing)

Op de avond van 2 september werd bij Nieuwsuur ook weer genadeloos blootgelegd waar de kern van de problematiek is. De 25 GGD’s vallen onder de afzonderlijke veiligheidsregio’s. Er is geen centrale aansturing. Iedere regio met zijn eigen problematiek en budget. Vallend onder het ministerie van minister Grapperhaus en niet onder VWS.  En, zoals de ex-hoofden van GGD’s aangaven, er is door de jaren heen steeds minder in geïnvesteerd.

Ja, als je dat allemaal hoorde en zag bij die Nieuwsuur-uitzending, dan begrijp je ook waarom het eigenlijk zo’n puinhoop is rondom die data. Zeker niet omdat de mensen bij de GGD’s niet ontzettend hard werken met het hart op de goede plaats. Maar het komt doordat de organisatieopzet en de aansturing totaal niet passen bij de crisis waarin we nu 6 maanden zitten.

Iedereen probeert ongetwijfeld zijn best te doen, maar als er geen sprake is van een goede aansturing, de juiste budgetten, duidelijke verantwoordelijkheden en men huurt geen expertise in, die men blijkbaar niet heeft (dataverzameling en datapresentatie), dan is dat een recept voor slechte besluitvorming.

Want ja, het is onverantwoord als je je besluiten baseert op niet actuele, niet accurate data en andere belangrijke data gewoon niet verzamelt. Gekoppeld aan het feit dat RIVM/OMT weigeren relevante studies en onderzoeken uit het buitenland mee te nemen bij hun adviezen, heb je een giftig mengsel.

Dat het kabinet, ook na 6 maanden, er niet in geslaagd is om deze decentrale, in voor de huidige crisis, desastreuze opzet van de GGD, te veranderen, laat op zijn minst de stroperigheid zien van onze bestuurscultuur. (Iets wat ik op vele manieren al in mijn beroepscarrière heb geconstateerd. Denk o.a. aan mogelijke aanpassingen van ons democratische stelsel).

Een stroperigheid, die onnodig veel extra schade heeft opgeleverd en zal opleveren.

Ik vind wat dit onderwerp betreft, de verantwoordelijken in het kabinet zich echt dienen te schamen. Bestuurders anno 2020 diskwalificeren zichzelf als zij tevreden zijn met deze kwaliteit aan data voor het onderbouwen van hun beleid. En dat wordt niet “opgelost” met een app of een dashboard. Integendeel: die zullen de gevolgen van de slechte data nog veel verder versterken.

(Op 6 mei schreef ik al een min of meer vergelijkbar blog met de titel “Zeilen in de mist, met ouder kaarten en een kapot roer”.)

U heeft zojuist gelezen: Vier grote datablunders – zo kan je geen beleid voeren!

Volg Maurice de Hond op Twitter | Facebook | LinkedIn | YouTube.

Mocht u ons werk ook met een kleine donatie financieel willen ondersteunen klik dan hier.