Backtesting: wat het wel en niet bewijst

Backtesting: wat het wel en niet bewijst

Wie over een systematische beleggingsstrategie leest, stelt vroeg of laat de vraag die er werkelijk toe doet: werkt dit ook? Het gebruikelijke antwoord is een backtest: het narekenen van een strategie op historische koersen, alsof de regels toen al werden gevolgd. Dat instrument is waardevol, maar het bewijst minder dan de grafieken vaak suggereren. In dit artikel leggen wij uit wat een backtest wel aantoont, waar hij structureel tekortschiet en waarom wij op deze pagina bewust geen resultaten publiceren.

Wat een backtest is

Een backtest is in wezen een reconstructie: u past de regels van een strategie toe op koersen uit het verleden en rekent na welke transacties het systeem destijds zou hebben gedaan. Voor een systematische strategie kan dat, juist omdat de regels vooraf vastliggen. Een belegger die op gevoel handelt, kan zijn eigen verleden niet narekenen; die weet immers niet wat er toen besloten zou zijn. Een regelgebonden systeem kent dat probleem niet: elke transactie volgt uit de regels en is dus reproduceerbaar.

Waarom een backtest waardevol is

Die narekenbaarheid heeft twee voordelen. Het terugrekenen dwingt allereerst tot precisie: wie een strategie op het verleden wil toetsen, moet elke regel vooraf exact definiëren, tot en met de twijfelgevallen. Vage voornemens overleven dat proces niet. Daarnaast toont een backtest hoe een strategie zich gedraagt in langdurige stijgingen, in scherpe dalingen en in de richtingloze tussenfases die voor trendvolgende systemen doorgaans het lastigst zijn. De regels uit ons artikel over trendvolgen vinden hier hun toets: de backtest legt ze naast de geschiedenis.

Waar een backtest tekortschiet

Tegelijkertijd kent het instrument structurele zwaktes. Vijf daarvan komen het vaakst voor; wie een backtest leest, doet er goed aan ze te herkennen.

Overfitting: het verleden te goed passen

De grootste valkuil heet overfitting, ook wel curve-fitting: regels net zo lang bijschaven tot ze precies passen op de historische data. Het resultaat oogt indrukwekkend, maar de regels beschrijven dan het toeval van één specifiek verleden in plaats van een onderliggend patroon. Hoe meer instellingen een systeem telt en hoe vaker de ontwerper eraan draait, hoe groter de kans dat de backtest vooral zichzelf bewijst. De toekomst herhaalt dat ene verleden nu eenmaal niet.

Look-ahead bias: rekenen met kennis van later

Subtieler is look-ahead bias: rekenen met informatie die op het moment van de beslissing nog niet beschikbaar was. Wie bijvoorbeeld een slotkoers gebruikt voor een transactie die diezelfde dag al zou zijn uitgevoerd, kijkt ongemerkt in de toekomst. In een spreadsheet valt zoiets nauwelijks op; in de uitkomst des te meer.

Survivorship bias: verdwenen munten tellen niet mee

Wie een strategie test op de cryptomunten die vandaag bestaan, mist alle munten die onderweg zijn verdwenen. Dat heet survivorship bias: alleen de overlevers staan nog in de dataset. In crypto is dat bepaald geen randverschijnsel; projecten falen, verliezen hun liquiditeit of verdwijnen van handelsplatformen. Een test op alleen overlevers vleit de uitkomst, want de grootste verliezers ontbreken erin.

Kosten en slippage: papier tegenover praktijk

Op papier handelt een systeem gratis en exact tegen de genoteerde koers. In werkelijkheid kost elke transactie geld en treedt er slippage op: het verschil tussen de koers op papier en de werkelijke uitvoeringsprijs. Bij een strategie die geregeld handelt, stapelen die verschillen zich op. Een backtest die kosten en slippage negeert, overschat het resultaat dan ook stelselmatig.

In-sample tegenover out-of-sample

Het laatste onderscheid is misschien wel het belangrijkste. In-sample betekent: getest op de data waarmee de regels zijn ontworpen. Out-of-sample betekent: getest op data die het systeem nog nooit zag. De tweede toets geeft een betere indicatie van houdbaarheid buiten het ontwerpproces; de eerste laat vooral zien hoe goed de ontwerper de eigen dataset kent. Ook een gunstige uitkomst out-of-sample kan nog toeval zijn.

Wat sterker bewijs is dan een mooie backtest

Een indrukwekkende backtest bewijst daarmee niet dat een strategie ook in de toekomst zo zal presteren. Zie hem eerder als een toelatingsexamen dan als een eindbewijs. Wie een strategie serieus wil beoordelen, kijkt daarom naar vier kenmerken naast de simulatie zelf. Eenvoud van regels: hoe minder instellingen, hoe kleiner de ruimte om het verleden na te bootsen. Robuustheid buiten de ontwerpdata: de aanpak moet ook standhouden op data waarmee hij niet is ontworpen. Uitvoering in de praktijk: regels bewijzen zich pas wanneer ze ook in onrustige markten daadwerkelijk worden gevolgd, na aftrek van alle transactiekosten. Resultaten uit de praktijk zijn daarbij een belangrijke aanvullende toets, al moeten ze altijd worden gewogen tegen de lengte van de live periode en de marktomstandigheden waarin die viel. En drawdowns en risico: hoe diep de tussentijdse verliezen waren, telt even zwaar als de winst. Wie alleen over winst spreekt en over verliezen zwijgt, verdient een kritische blik. In ons artikel over drawdowns beschreven wij waarom die verliesperiodes bij een trendvolgende aanpak horen.

Waarom wij hier geen cijfers tonen

Het valt u wellicht op dat dit artikel geen enkel rendementscijfer bevat. Dat is een bewuste keuze. Wij tonen rendementen niet los in een uitleggend artikel, maar in de context van het fonds zelf, met de periode, de bron van de cijfers en de risicowaarschuwing erbij. Een los percentage zegt zonder die context weinig en suggereert al snel meer dan het kan waarmaken. Wie de strategie inhoudelijk wil doorgronden, kan via de fondsdocumentatie het gesprek met ons aangaan.

Aan beleggen in crypto zijn aanzienlijke risico’s verbonden; u kunt uw inleg geheel of gedeeltelijk verliezen.

Wat een onafhankelijke partij vaststelt

Een backtest zegt iets over een gesimuleerde reeks. De werkelijke waarde van het fonds staat daar los van: bij Callisto Capital stelt een onafhankelijke administrateur die maandelijks vast, buiten het model om.

Callisto Capital is een fonds voor gemene rekening; de beheerder is AFM-geregistreerd onder het AIFMD-light-regime en staat niet onder doorlopend toezicht. Deelname is mogelijk vanaf een inleg van 100.000 euro. Dit artikel is uitsluitend informatief en vormt geen beleggingsadvies.