Waarom de Covid modellen faalden

Leestijd: 7 minuten

Waarom de Covid modellen faalden

Engelse model net zo mis

Toen half december het model van het RIVM een gitzwart scenario schetste, waardoor we in de lockdown terecht kwamen van 19 december, gaven we hier al aan dat het model geen rekening hield met het compleet andere karakter van Omikron. Ook werd er half januari te langzaam afgeschaald, omdat het aangepaste model van het RIVM tot een IC-bezetting kwam van meer dan 1500. (In werkelijkheid zitten we nu onder de 150).

Nog maar vier weken geleden riepen OMT-leden Kluytmans en Koopmans dat we rekening moesten houden met een bezetting van 5.000 ziekenhuisbedden, terwijl het nu een factor vier keer zo klein is.

Ter verdediging wordt dan vaak geroepen: “Maar het is de preventieparadox”. Daarmee wordt bedoeld dat de cijfers veel gunstiger zijn verlopen DANKZIJ de maatregelen.

Dat is nu heel eenvoudig te weerleggen door te laten zien wat er in Engeland is gebeurd. De voorspellingen daar waren de basis voor die van het RIVM. Maar het grote verschil was dat de regering in Engeland, ondanks de hoge druk die er was, niet tot maatregelen besloot. En ook in Engeland zijn de cijfers veel gunstiger geweest dan voorspeld werd. Dus daar kan niet met de preventieparadox geschermd worden.

3000 doden per dag?

Hieronder ziet u dat men bij deze doorberekening verwachtte om eind januari bijna 3000 doden per dag te krijgen. In werkelijkheid was het een factor 9 lager.

Van Dissel gebruikte in de Tweede Kamer op 15 december de doorberekeningen in Engeland om te laten zien wat er op ons af kon komen. Dit was dan het meest gunstige scenario:

Met als gevolg de lockdown en het -wederom- sluiten van de scholen een week voor de Kerstvakantie. In werkelijkheid waren de IC-opnames in januari gemiddeld rond de 20 per dag. Een factor 5 ã 6 lager dan dit meest gunstige scenario.

Sombere scenario’s

En dat is dus geen wijsheid achteraf, dat had men ook al half december kunnen weten. Lees nog maar eens dit artikel van 18 december terug: “Op weg naar een paniek lockdown”.

Al eerder was het RIVM uitgegleden met zijn modellen en veel te sombere scenario’s (begin 2021), waardoor we drie maanden lang een avondklok kregen. Maar dat heeft niet geleid tot het trekken van lessen eruit.

Ik heb een heel interessant artikel gelezen over wat zich in Engeland aan het afspelen is ten aanzien van de evaluatie van die prognoses van SAGE (de modelleurs in Engeland) en de lessen die hieruit getrokken worden. (Daar is een commissie het wel aan het onderzoeken, iets wat in Nederland node wordt gemist.)

Het komt uit The Spectator van gisteren en is van de hand van data-specialist Michael Simmons. Ik geef daar hieronder een samenvatting van. Het is heel herkenbaar voor de Nederlandse situatie.

Waarom zaten ze mis?

Het SAGE-comité was opgezet als een pool van deskundigen die de regering van advies moesten dienen. Tijdens de pandemie veranderde het comité echter in iets anders: een groep die in haar adviezen uiteindelijk pleitte voor langdurige lockdowns.

De regelmatige vergaderingen zijn nu stopgezet en bij de regering wordt de vraag gesteld of het niet tijd is om SAGE op te heffen en een nieuwe structuur op te zetten. Er zullen genoeg lessen te leren zijn. En voor het najaar moet dat gedaan zijn, want wie weet wat de modelleurs dan weer gaan doen.

Het lessen leren is belangrijk. Als fouten uit het verleden niet worden onderkend, zullen zij zich zeker herhalen – en daarom is het bewijs dat de voorzitter van de SAGE-modelleurs heeft geleverd voor het Engelse onderzoekscomité voor wetenschap en technologie, van groot belang.

De cijfers die zijn team verzamelde, suggereerden dat Omicron tussen 600 en 6.000 mensen per dag zou doden. In werkelijkheid piekte het aantal dodelijke slachtoffers op 21 januari op 273.

Het kabinet stond onder immense druk om een lockdown voor Kerst in te stellen. Maar deed dat niet, in tegenstelling tot de Nederlandse regering.

Dit waren de componenten die met de commissie besproken waren.

1. In strijd met de werkelijkheid’. Professor Medley (de Engelse Wallinga) zei dat hij ‘graag wilde uitleggen waarom de modellen niet overeenkwamen met de werkelijkheid’. Belangrijk is dat hij het falen accepteert.

2. Geen betere gegevens beschikbaar. Professor Medley beweert nog steeds dat er geen betere gegevens beschikbaar waren. Maar dat waren ze wel. Op 15 december, toen SAGE’s cijfer van 600 tot 6.000 doden bekend werd gemaakt, gebruikte een team van JP Morgan (statistici van een financiële instelling)  Zuid-Afrikaanse gegevens om (correct) te voorspellen dat het aantal ziekenhuisopnames zou pieken op 1.500.

De onderzoekscommissie is vergeten die modelleurs van JP Morgan op te roepen en hen te vragen waarom hun nota van 13 december nauwkeuriger was dan alles wat SAGE aan de ministers had verstrekt.

De chief medical officer van Engeland zegt nog steeds dat op 15 december alles wat ze wisten over Omicron ‘bad’ was. Dat is feitelijk onwaar en dit moet nader worden onderzocht. Zijn de Zuid-Afrikaanse gegevens uit de echte wereld hem niet getoond? Zo ja, hoe heeft het Britse systeem dan gefaald?

Omicron

Aan de hand van nieuwe Zuid-Afrikaanse gegevens over de ernst van Omicron en de duur van het verblijf in het ziekenhuis kon JP Morgan op 13 december concluderen dat de ziekenhuisopname met Omicron van dien aard was dat de hele golf “beheersbaar zou zijn zonder verdere beperkingen”.

(MdH: Op 7 december schreven we op deze site al een artikel over die lagere ziektelast van Omikron onder de titel “Omikron een vloek of een zege”.)

In zijn huidige vorm verleent het SAGE-systeem enorme macht aan degenen die het (geanonimiseerde) proces controleren van het geven van opdrachten voor studies en het selecteren van de manier waarop die studies aan beleidsmakers worden gepresenteerd.

3. Prof. Medley suggereerde dat het volgens hem de taak van SAGE is om somber te zijn. Eerder hebben modelleurs ontkend dat zij een negativiteitsvooroordeel hebben. Maar Medley leek toe te geven dat ze dat wel hebben. Niet omdat ze een bepaald beleid, zoals een lockdown, willen doordrukken, maar omdat ze zich zorgen maken over de reactie van de regering als ze te laag voorspellen: “Het ergste voor mij zou zijn als de regering zou zeggen: ‘Waarom hebben jullie ons niet verteld dat het zo erg zou zijn?’ Het is dus onvermijdelijk dat we altijd een worst case scenario boven de werkelijkheid stellen.”

Hij zei ook dat “hopelijk het best case scenario er beter uitziet dan de werkelijkheid”, maar in dit geval was dat niet zo.

Denemarken

4. Waarom had Denemarken het wel bij het rechte eind? Niet alle landen zijn er zo slecht in geslaagd te voorspellen hoe de Omikron-golf zou uitpakken. De Deense deskundigengroep voor wiskundige modellering stelde scenario’s op voor het aantal ziekenhuisopnamen in Omikron, die goed met de werkelijkheid overeenkwamen.

Dr. Camilla Holten-Møller, voorzitster van de Deense werkgroep voor het opstellen van modellen, heeft ook een verklaring afgelegd tijdens de hoorzitting van het select committee. Zij legde uit dat zij in hun modellen heel bewust rekening hielden met gedragsverandering: wanneer de gevallen in een lokaal gebied een bepaald niveau bereikten, zouden de mensen minder gaan mixen. Dus was het model ontworpen om dat te weerspiegelen. SAGE heeft dit niet gedaan.

5. De grote blinde vlek van SAGE: menselijk gedrag. Volgens Medley is het bijna onmogelijk om menselijk gedrag te voorspellen. ‘Je zou een fortuin verdienen op de beurs [als je dat kon]’, zei hij. Maar dit gaat aan een punt voorbij.

Zweden

Je zou een aantal vrij veilige veronderstellingen kunnen maken, gebaseerd op bekend en goed gedocumenteerd bewijsmateriaal over hoe mensen in een democratie met veel informatie reageren wanneer pandemieën toeslaan. SAGE heeft de CoMix-enquête gehad, en de mobiliteitsgegevens van Google zijn vrij beschikbaar. De alomtegenwoordigheid van mobiele telefoons betekent dat Google-gegevens nu heel goed laten zien hoe (bijvoorbeeld) Zweden zichzelf opsloten zonder dat hen dat werd opgedragen – en dat Britten dat ook hadden gedaan voordat de vergrendeling werd doorgevoerd.

Dit niet in aanmerking nemen was misschien wel de grootste fout in de logica van de lockdown. Kun je dit precies voorspellen? Nee. Maar is het verstandig om met modellen te komen die ervan uitgaan dat mensen zonder beperkingen doorgaan alsof er geen virus is?

6. Zelfs Sage vraagt: waar was de economische modellering? Professor Medley zei dat hij wist dat de lockdown grote sociale en economische gevolgen zou hebben en dacht dat iemand anders die zou modelleren en de hele situatie naast de zijne zou beoordelen: “Mijn vermoeden en mijn hoop is dat ze binnen de regering de resultaten van de modellering gebruiken en dat ze de uitkomsten van die scenario’s gebruiken in verdere modellen en verdere risicoanalyses om te kunnen komen met economische informatie – die we niet zien – en die vervolgens erbij te betrekken om te komen met een onderbouwing voor de beslissing die daadwerkelijk wordt genomen.”

Kerst gered?

8. Heeft Dr Raghib Ali de kerst gered? Het comité wilde graag weten waarom de regering terecht heeft besloten niet tot sluiting over te gaan.

Een latere getuige, Dr Raghib Ali, een klinisch epidemioloog aan de universiteit van Cambridge, wierp een interessant licht op die gebeurtenissen. Hij had privé-briefings gegeven aan het kabinet via de minister van Onderwijs. Eind oktober 2020 werd dr. Ali naar Downingstreet number 10 gehaald als lid van een ‘rood team’ om het advies van SAGE in twijfel te trekken voor de tweede lockdown.

Maar deze keer gebeurde het op informele wijze: de huidige minister van Onderwijs vroeg hem om advies over Omikron: “Hij vroeg mijn advies… voor de kabinetsvergadering van 20 december over mijn beste inschatting van wat er waarschijnlijk zou gebeuren”. Vervolgens zei hij tegen die minister: “Het meest waarschijnlijke scenario is het beste scenario of beter.”

In twijfel getrokken

Het waren informele gesprekken en briefings zoals deze die de ministers het vertrouwen gaven om SAGE’s Omicron-modellen in twijfel te trekken. Dr. Ali zei tegen de minister dat hij de slechtst denkbare scenario’s niet geloofwaardig vond en dat de opgegeven bandbreedtes te groot waren. Het onderzoek van JP Morgan werd ook doorgegeven aan kabinetsleden. Vrienden van de premier zeggen dat hij tegen die tijd genoeg SAGE-grafieken had gezien om te beseffen hoezeer ze mis zaten en hij had ook opgemerkt dat de gevallen hun piek hadden bereikt in Gauteng, het Zuid-Afrikaanse epicentrum, en dat hij niet inzag waarom dat ook in het VK niet het geval zou zijn.

Deze briefings fungeerden – samen met de media-aandacht – als een “rood team” dat het advies van Sage in twijfel trok. Maar dat moet toch een formeel onderdeel van het proces worden?

SAGE zal geen regelmatige Covid-vergaderingen meer houden en zal alleen nog bijeenkomen als de regering daarom vraagt. Niemand twijfelt aan de professionaliteit en integriteit van de wetenschappers en academici die deel uitmaakten van SAGE: als er al sprake is geweest van een vooroordeel, dan is dat te wijten aan de manier waarop de regering met haar onderzoek is omgegaan. En als dat advies niet werd afgewogen tegen sociale en economische vraagstukken, waar professor Medley wel van was uitgegaan, dan is dat de schuld van de regering – de wetenschappers valt niets te verwijten.

Transparantie verplicht

Bijna twee jaar lang beheersten de lockdowns het Britse leven. Hebben ze een slechte situatie erger gemaakt? Nu er bewijsmateriaal uit de hele wereld binnenkomt, is het van cruciaal belang dat de feiten worden verzameld en deze vraag wordt beantwoord.

We weten nog steeds niet wat er in deze modellen is verwerkt, omdat de codes nooit op grote schaal zijn gepubliceerd: het opsporen van fouten blijft dus vooralsnog onmogelijk. Het hoofd van het Bureau voor de Statistiek, vertelde het comité dat dit moet veranderen: om lessen te trekken, hebben we de modelcodes nodig. En in een democratie hebben we een manier nodig om modellen kritisch te bekijken: glashelder zijn over de gebruikte aannames, en hoe andere aannames het beeld zouden veranderen.

Tot zover het Engelse artikel uit The Spectator.

Opmerkelijk hoeveel overeenkomsten er zijn met Nederland. Met één verschil: In Nederland is er niet een dergelijke commissie ingesteld waar de betrokkenen verantwoording moeten afleggen.

Dus lopen we de (grote) kans dat ze, als er toch weer nieuwe ontwikkelingen zijn, wederom zullen toeslaan.

U heeft zojuist gelezen: Waarom de Covid modellen faalden.

Volg Maurice de Hond op Twitter | Facebook | LinkedIn | YouTube.

En zullen wij wederom er alles aan doen om u van de werkelijke data en informatie te blijven voorzien. Uw steun zal ons daarbij helpen. Klik hier voor een (kleine) donatie.