CPB: Meerwaarde ML bij macro-economische voorspellingen

July 10, 2024

Inzichten en aanbevelingen voor Nederlandse beleidsmakers en ramers bij het gebruiken van ML-methoden voor het doen van macro-economische voorspellingen.

‘Beleidsmakers gebruiken economische prognoses bij het nemen van beslissingen. Nauwkeurige voorspellingen zijn hiervoor essentieel, omdat betere voorspellingen tot betere keuzes leiden. De afgelopen jaren wordt machine learning (ML) steeds vaker ingezet bij het doen van deze voorspellingen,’ zegt CPB vandaag als introductie naar de presentatie van een eigen onderzoek. Daarin ‘testen we op een nieuw samengestelde macro-economische dataset, de NL-MD, de toegevoegde waarde van vier machine learning-eigenschappen (big data, niet-lineariteiten, cross-validation en shrinkage) voor het voorspellen van verschillende macro-economische variabelen.’

Onderzoeksresultaat

‘Voor zeven verschillende variabelen zijn voorspellingen gerealiseerd met zowel ML-modellen als ook met standaard econometrische modellen, in zowel een data-rijke als een data-arme omgeving.’ ‘De belangrijkste bevindingen van dit onderzoek zijn als volgt:

1. Heterogene resultaten: De resultaten voor de verschillende ML-eigenschappen verschillen aanzienlijk per voorspelde variabele. Dit impliceert dat een aanpak die effectief is voor de ene variabele, niet noodzakelijk dezelfde resultaten oplevert voor een andere variabele.
   
   
2. Data-rijk versus data-arm: De beste modellen voor een specifieke variabele en horizon zijn vaak datarijk. Gemiddeld genomen presteren data-rijke modellen echter niet significant beter dan data-arme modellen. Dit kan worden toegeschreven aan het beperkte aantal observaties in onze dataset.
   
   
3. Niet-lineariteiten: Over alle variabelen gemiddeld hebben niet-lineariteiten geen significant effect op de voorspellingsnauwkeurigheid ten opzichte van standaard econometrische modellen. Echter, wanneer alleen gekeken wordt naar data-rijke modellen, dan verbeteren niet-lineariteiten de voorspellingsnauwkeurigheid significant.
   
   
4. Cross-validation: K-fold cross-validation heeft geen significant negatief effect ten opzichte van POOS crossvalidation.
   
   
5. Shrinkage-methoden: Over het algemeen presteren shrinkage-methoden niet significant beter dan traditionele factormodellen, hoewel ze voor verschillende variabelen wel verbetering kunnen bieden.’

Relevantie voor Nederlands beleid

‘De resultaten van dit onderzoek zijn relevant voor het Nederlandse beleid om de volgende redenen:

• Kennisopbouw: Beleidsmakers kunnen uit dit onderzoek leren dat maatwerk nodig is wat betreft de keuze voor data en model bij het gebruik van ML voor macro-economische voorspellingen in de Nederlandse setting. Deze setting is nog niet vaak onderzocht en is interessant vanwege het beperkte aantal observaties en het feit dat Nederland een kleine, open economie is. Dit verschilt fundamenteel met andere economieën zoals de Amerikaanse en de Britse.
  
  
• Beter beleid: Beleidsmakers zijn gebaat bij goede voorspellingen van de Nederlandse economie. Hoe beter de voorspellingen, des te beter keuzes gemaakt kunnen worden. We laten zien dat een data-rijke omgeving, shrinkage en niet-lineariteiten in sommige gevallen betere macro-economische voorspellingen kunnen opleveren, maar dat de mate waarin dat gebeurt afhangt van de uitkomstvariabele.’

Beleidsaanbevelingen

‘Op basis van de bevindingen doen we de volgende aanbevelingen:

1. Modelkeuze: Wanneer machine learning wordt ingezet om macro-economische voorspellingen te doen, moet er zorgvuldig gekeken worden naar welk model gebruikt wordt. Afhankelijk van de variabele kunnen zowel shrinkage als non-lineaire modellen een positieve bijdrage leveren. Er bestaat geen ‘one size fits all’model, dus maatwerk is essentieel voor het verkrijgen van accurate en betrouwbare voorspellingen.
2. Gebruik van k-fold cross-validation: K-fold cross-validation kost vaak minder tijd dan POOS cross-validation en heeft geen negatieve invloed op de nauwkeurigheid van voorspellingen.

De inzichten en aanbevelingen beschreven in deze oplegger kunnen Nederlandse beleidsmakers en ramers helpen bij het gebruiken van ML-methoden voor het doen van macro-economische voorspellingen. Het is hierbij wel belangrijk om te realiseren dat ML-modellen nog in ontwikkeling zijn. Resultaten die gevonden zijn op deze dataset, zijn niet per definitie letterlijk over te zetten naar andere datasets. Het verkennen van de mogelijkheden van verschillende modellen blijft nodig bij het gebruik van machine learning.’