Drie aangenomen, vier afgewezen, zevenenzeventig keer 'geen oordeel'

Er is deze week één hypothese aangenomen: trend_tip_real_yield_easing_120d. Er verdween er geen uit de lijst van aangenomen ideeën. De teller van alle ooit geteste varianten liep op van 396 naar 416. Dat zijn de nieuwsfeiten. Maar het eerlijkste getal van deze editie is niet die drie aangenomen hypotheses — het is 77. Zoveel hypotheses staan op geen oordeel: de test kon niet uitmaken of het idee iets waard is of niets. Dat is geen storing. Dat is wat een streng filter meestal doet.

Twee tellers, en waarom het verschil telt

In het lab lopen op dit moment 84 hypotheses mee. Daarvan zijn er 80 door de machine zelf bedacht; de rest zijn handmatig opgestelde beginhypotheses uit de begintijd. Daarnaast staat een tweede teller: 416 ruwe trials. Dat is elke geteste variant sinds de start, ook de varianten die inmiddels zijn uitgefaseerd — 164 signaturen zijn niet meer live, 80 wel.

Die ruwe teller is bewust onbarmhartig. Wie honderd keer een muntstuk-strategie probeert en de beste bewaart, heeft geen goede strategie gevonden maar een goede toevalstreffer. Door elke poging te blijven meetellen, ook de mislukte en de opgeruimde, houden we bij hoeveel kansen we onszelf in totaal hebben gegeven om ergens door toeval iets moois te zien.

Van 416 pogingen blijven er ruim 17 over

Niet elke poging is een nieuwe gok. Twintig varianten op hetzelfde idee, met alleen een ander terugkijkvenster, zijn niet twintig kansen — het is grofweg één kans, twintig keer opgeschreven. Daarom meten we het aantal effectief onafhankelijke trials: hoeveel écht verschillende weddenschappen er in de collectie zitten. Dat is geen schatting maar een meting op de rendementen buiten de testperiode; strategieën die samen bewegen tellen samen als één.

Dat cijfer steeg deze week van 15,11 naar 17,64. De gemiddelde onderlinge correlatie tussen de strategieën daalde van 0,145 naar 0,119. In gewone taal: de zoektocht werd breder, niet dieper in dezelfde groef. Er kwamen twee nieuwe signaal-tickers bij (nu 41 in totaal), naast 22 verschillende terugkijkvensters en zes families.

Maar er hoort een nuchtere kanttekening bij. Elke nieuwe ruwe trial voegde deze week gemiddeld 0,127 effectief onafhankelijke trial toe. Anders gezegd: er zijn ongeveer acht nieuwe tests nodig voor één werkelijk nieuwe gok. De machine bedenkt dus voor een groot deel nog steeds familieleden van wat er al stond. Van de 80 zelf bedachte hypotheses zit slechts 2 procent in een expliciete 'lookback-ladder' (hetzelfde idee, alleen een ander venster), en de zes families zijn netjes verdeeld — van ratio_trend met 15 tot momentum met 12. De overlap zit dus subtieler, in welke signalen worden gekozen: VIX werd tien keer gebruikt, XLY zeven keer, HYG vijf keer, XLK vier keer, SMH drie keer.

De lat staat op 24 en kan niet zakken

De belangrijkste poort in het lab is de Deflated Sharpe: een prestatiemaat die corrigeert voor het feit dat je veel hebt geprobeerd. Hoe vaker je zoekt, hoe mooier puur toeval eruitziet, dus hoe hoger de lat moet liggen. De vraag is: hoeveel pogingen reken je mee?

Wij rekenen met N = 24. Dat getal ontstaat zo: we nemen het lopende maximum van de effectief onafhankelijke trials (17,64, afgerond), leggen daar een ondergrens onder gelijk aan het aantal families (6), en tellen de eerder met de hand gedane studies erbij op. Het lopende maximum is het punt: de lat kan nooit zakken doordat we later varianten toevoegen die op elkaar lijken. Wie zichzelf met soortgenoten omringt, maakt de test niet makkelijker.

Eén op de vijf kans dat de mooiste vondst een luchtspiegeling is

De tweede maat is PBO, de kans op overfitting van de backtest: de kans dat wat in de test het beste leek, buiten de test onder de middenmoot eindigt. Die staat nu op 0,207, oftewel 21 procent, gemeten over 14 blokken. Vorige week was het 27,5 procent.

Dat is een verbetering en het is ruim onder de 50 procent — boven de helft zou betekenen dat je beter kunt gokken dan naar je eigen beste resultaat kijken. Maar 21 procent is geen veiligheid. Het betekent dat ongeveer één op de vijf van onze best ogende vondsten waarschijnlijk een luchtspiegeling is. Welke van de vijf, weten we niet. Daarom vertrouwt het lab nooit op één mooie uitslag.

Alles wordt getest op data ná 31 december 2018, die niet is gebruikt bij het bedenken, en met 5 basispunten transactiekosten per omschakeling — vijf honderdsten van een procent, elke keer dat een strategie wisselt.

Drie aangenomen, en wat dat wél en niet betekent

De stand: 3 aangenomen (rs_vgk_spy_63d, trend_tlt_duration_riskoff_lead_20d, trend_tip_real_yield_easing_120d), 4 afgewezen (H1_greenday_momentum_1d, rt_hyg_ief_credit_confirm_10d_short_horizon, vix_regime_xlv_healthcare_calm_75d_defensive_paradox, mom_mdy_midcap_diffusion_126d) en 77 zonder oordeel.

Drie op 416 pogingen. Dat is de opbrengst van bijna een jaar zoeken, en dat lage getal is precies de bedoeling: een filter dat veel doorlaat, laat vooral toeval door. 'Geen oordeel' betekent bovendien niet 'waardeloos' — het betekent dat de data te weinig zeggen om bij deze strengheid een knoop door te hakken. Veel van die 77 zullen daar blijven staan.

En een aangenomen hypothese is geen handelsregel. Ze wordt kennis voor het brein: één stem meer in de afweging, niet een schakelaar die vanzelf posities opent of sluit. Of er ooit meer bij komen, weet ik niet. Dat is geen bescheidenheid, dat is de stand van zaken.

QUANTHEA is een papieren portefeuille: alles is illustratief en administratief, geen echt geld. Niets hierin is beleggingsadvies of een koop- of verkoopaanbeveling.