Zestien nieuwe tests, nul nieuwe conclusies — en de zoektocht werd smaller

Deze week deed de onderzoeksmachine zestien nieuwe tests. Er kwam geen enkele hypothese nieuw door de poort, er viel er ook geen af, en de gemeten verscheidenheid van de zoektocht ging omlaag in plaats van omhoog. Dat is geen ramp en geen doorbraak. Het is wel precies het soort bericht dat je niet te lezen krijgt van iemand die je iets wil verkopen. Daarom staat het hier.

Eerst twee tellingen die ik niet door elkaar wil halen. Er staan op dit moment 84 hypotheses in de test; dat is alles wat de machine evalueert, inclusief de beginhypotheses die ik met de hand heb opgeschreven. Daarvan heeft de machine er 80 zélf bedacht. De cijfers over de vórm van de zoektocht gaan steeds over die 80.

Meer pogingen, minder verschillende pogingen

Twee getallen vertellen samen het verhaal van deze week.

Het eerste zijn de ruwe trials: elke geteste variant, ooit, opgeteld. Die teller ging van 480 naar 496. Zestien stuks erbij.

Het tweede zijn de effectief onafhankelijke trials: hoeveel écht verschillende gokken die 496 pogingen samen zijn. Twintig varianten op hetzelfde idee zijn namelijk geen twintig kansen, maar ongeveer één. Dit is geen schatting maar een meting: ik neem de rendementen die alle strategieën ná de splitsdatum maakten, kijk hoe sterk die onderling meebewegen en reken dat om naar een aantal. Dat getal daalde van 19,82 naar 18,16 — min 1,66. De gemiddelde onderlinge correlatie liep op van 0,091 naar 0,100.

Per nieuwe ruwe trial kwam er deze week dus gemiddeld 0,104 effectief onafhankelijke trial bíj — met een minteken ervoor. In mensentaal: de machine heeft zestien keer gewerkt en de zoekruimte is er smaller van geworden. Ze maakte vooral nieuwe versies van dingen die ze al had.

Uniek op papier is niet hetzelfde als onafhankelijk in gedrag

Het opvallende is dat de zoektocht er op papier juist netjes uitziet. Alle 80 zelf bedachte hypotheses zijn unieke configuraties. Geen enkele zit in een zogeheten lookback-ladder — hetzelfde idee dat alleen met een ander terugkijkvenster wordt overgedaan; dat aandeel is nul procent. Er worden 41 verschillende signaal-tickers gebruikt en 21 verschillende terugkijkvensters. De zes families zijn redelijk gelijk verdeeld: ratio_trend 16, vix_regime 14, trend 13, momentum 13, reversal 13, rel_strength 11. De meest gebruikte signaal-ticker is TLT, en die komt vijf keer voor; daarna EEM met vier, en EWJ, RSP en KRE met elk drie.

En tóch meet ik maar ruim achttien onafhankelijke gokken. Dat is geen tegenspraak, het is de kern van de zaak. Een markt heeft nu eenmaal weinig losse knoppen. Verschillende tickers en verschillende vensters kunnen prima op dezelfde onderstroom meedrijven — lange rente, dollar, risicobereidheid. De meting kijkt dwars door de etiketten heen naar wat de strategieën feitelijk deden. Dat is precies waarom ik haar vertrouw boven mijn eigen indruk van diversiteit.

De lat die niet kan zakken

Hoe meer je probeert, hoe mooier toeval eruitziet. Daarvoor bestaat de Deflated Sharpe: een prestatiemaat die het ruwe resultaat corrigeert voor het aantal pogingen dat eraan voorafging. Die correctie heeft een getal nodig: hoeveel onafhankelijke pogingen rekenen we mee? Bij ons is dat N = 27.

Dat getal komt zo tot stand: ik neem niet de huidige onafhankelijkheid, maar het lopende maximum ervan (20,86, afgerond), leg daar een ondergrens onder gelijk aan het aantal families (zes) en tel de eerder met de hand gedane studies erbij op. Uitkomst: 27.

Het lopende maximum zit er met opzet in. Anders zou de daling van deze week de lat voor nieuwe hypotheses automatisch verlágen — je zou je eigen toets makkelijker kunnen maken door lookalikes toe te voegen. Dat mag niet kunnen. De lat kan stijgen, nooit zakken omdat de zoektocht eentoniger werd.

Wat de overfit-meter zegt, en wat niet

De PBO (probability of backtest overfitting) is de kans dat wat in de test het beste leek, het buíten de test onder de middenmoot doet. Die staat op 0,24 — 24 procent, iets lager dan de 25,1 procent van vorige week. Gemeten door de historie in veertien blokken te knippen en die blokken op allerlei manieren te verdelen in een deel om op te kiezen en een deel om op te controleren.

Onder de 50 procent is de gunstige kant: boven de helft zou betekenen dat je selectie het slechter doet dan muntje opgooien. Maar 24 procent is niet nul. Ongeveer één op de vier van de winnaars uit de test valt in de controle terug onder het midden. En de PBO zegt iets over het zoekproces als geheel, niet over één strategie afzonderlijk. Alles ná 31 december 2018 is nooit gebruikt bij het bedenken, en elke omschakeling kost in de test 5 basispunten.

De stand: 77 keer "we weten het niet"

Van de 84 hypotheses zijn er 77 inconclusive, 4 aangenomen en 3 afgewezen. Sinds de vorige stand van zaken, zeven dagen geleden, is daar niets in veranderd: geen nieuwe aanname, geen ingetrokken aanname.

"Inconclusive" is de normale uitkomst. Het betekent: de data was niet sterk genoeg om ja te zeggen en niet sterk genoeg om nee te zeggen. Een filter dat weinig doorlaat is een kenmerk, geen gebrek — het alternatief is een filter dat alles doorlaat wat er leuk uitziet, en dan ben je geen onderzoeker meer maar een verhalenverteller. Ik beloof niet dat er ooit weer iets doorkomt.

Aangenomen zijn: trend_tlt_duration_riskoff_lead_20d, mom_tip_real_rate_easing_63d, rs_efa_spy_nonus_leadership_63d en rs_ewj_spy_dollar_cycle_63d. Die worden kennis voor het brein dat de portefeuille beheert — context waar het rekening mee houdt — en nadrukkelijk géén automatische handelsregel.

Afgewezen zijn: H1_greenday_momentum_1d, trend_iyt_freight_nowcast_63d en trend_vnq_collateral_channel_200d. Ook dat is kennis: drie plausibel klinkende verhalen die het bij controle niet hielden.

Tot slot één cijfer dat de boekhouding eerlijk houdt: 233 signaturen zijn uitgefaseerd en niet meer live, 80 draaien er nu. Die 233 blijven wél meetellen in de ruwe teller van 496. Je mag pogingen die niets opleverden niet uit je noemer gummen; dan wordt alles wat overblijft vanzelf te mooi.

QUANTHEA is een papieren portefeuille. Dit stuk is illustratief en bedoeld om de methode te laten zien. Het is geen beleggingsadvies en geen koop- of verkoopaanbeveling.