De stand van het lab: veel proberen, weinig doorlaten

Dit is de eerste keer dat ik niet één hypothese bespreek, maar de stand van de hele zoekmachine erachter. De reden is simpel. Een strategie die door alle tests komt, is nieuws. Maar het uitblijven van zo'n strategie, na honderden tests, is dat net zo goed — en het is precies het soort nieuws dat iemand met iets te verkopen liever inslikt. Ik doe dat niet.

De cijfers, en wat er beweegt

De teller staat op tweehonderdzestien ruwe trials. Een ruwe trial is elke variant die de machine ooit heeft doorgerekend, ook de varianten die later weer zijn afgevoerd. Daarvan staan er nu vierentachtig als hypothese in de test; tachtig daarvan heeft de machine zelf bedacht, de rest zijn de handmatig opgestelde beginhypotheses.

In de afgelopen week kwamen er tien ruwe trials bij, maar geen nieuwe hypothese, geen nieuwe aanname en geen nieuwe afwijzing. De uitslagen tot nu toe: eenentachtig hypotheses blijven 'inconclusive' — niet overtuigend genoeg om aan te nemen, niet slecht genoeg om af te schieten. Twee zijn aangenomen (trend_tlt_duration_riskoff_lead_20d en trend_tlt_confirm_duration_lead_10d, beide eerder al apart beschreven) en één is afgewezen (H1_greenday_momentum_1d). Twee aannames op tweehonderdzestien pogingen: dat is de verhouding die dit lab typeert.

Meer proberen is niet meer ontdekken

Ruwe trials tellen elke poging. Maar twintig varianten op hetzelfde idee zijn geen twintig echte kansen. Daarom meet ik ook de effectief onafhankelijke trials: hoeveel wézenlijk verschillende gokken er in de verzameling zitten. Dat is geen schatting maar een meting op de onderlinge samenhang van de rendementen ná de testperiode.

Dat getal staat nu op dertien komma vijf — dertien komma vijf echt verschillende ideeën, verstopt in vierentachtig hypotheses. En het is gedáald: de vorige meting stond het nog op dertien komma zeven, terwijl het aantal ruwe trials met tien steeg. Elke nieuwe trial voegde gemiddeld min 0,026 aan onafhankelijkheid toe. In gewone taal: de machine maakte de afgelopen week vooral varianten op ideeën die er al waren, geen nieuwe ideeën.

Dat zie je terug in de vorm van de zoektocht. De tachtig zelfbedachte hypotheses verdelen zich over zes families, maar scheef: ratio_trend vijfentwintig, reversal tweeëntwintig, momentum welgeteld één. De signalen leunen zwaar op dezelfde handvol tickers — de VIX vijftien keer, XLY tien keer, HYG negen keer, TLT acht keer. Het aantal verschillende signaal-tickers zakte deze meting van tweeëntwintig naar negentien, en de onderlinge correlatie tussen de strategieën kroop licht omhoog, naar 0,125.

PBO: net aan de verkeerde kant van kop of munt

De belangrijkste waarschuwingslamp heet PBO, de kans op backtest-overfitting. In gewone taal: de kans dat wat in de test het beste lijkt, het búiten de test onder de middenmoot doet. Die staat op drieënvijftig procent, berekend over veertien blokken.

Dat is beter dan de vorige meting van zevenenvijftig procent, maar het blijft boven de vijftig. En boven de vijftig procent betekent iets ongemakkelijks: van de best ogende strategie is het wáárschijnlijker dat hij tegenvalt dan dat hij standhoudt. Het is bijna een muntworp, met de munt net aan de verkeerde kant. Zolang dat getal daar staat, is scepsis het enige verstandige.

De poort erachter gebruikt de Deflated Sharpe: een prestatiemaat die corrigeert voor het feit dat je véél hebt geprobeerd, want hoe meer je zoekt, hoe mooier puur toeval eruit gaat zien. Die correctie rekent met N is twintig. Dat getal bouw ik op uit het lópende maximum van de effectieve onafhankelijkheid (rond de veertien), met een ondergrens gelijk aan het aantal families en de eerder handmatig gedane studies erbij opgeteld. Bewust een lópend maximum — zo kan de lat nooit zakken doordat ik meer op elkaar lijkende varianten toevoeg.

Weinig doorlaten is het doel, niet het gebrek

Je kunt hiernaar kijken en denken: tweehonderdzestien pogingen, twee aannames, deze week niets — werkt dit wel? Ik draai het om. Een filter dat bijna alles tegenhoudt, is precies wat je wilt op markten waar toeval zich graag vermomt als vakmanschap. Alles wat ná eind december 2018 gebeurde, blijft bij het bedenken buiten beschouwing, en elke omschakeling kost in de test vijf basispunten. Dat zijn horden, geen formaliteiten.

En wat er wél doorheen komt, wordt geen automatische handelsknop. Een aangenomen hypothese is kennis voor het brein achter de portefeuille: een stukje inzicht dat meeweegt, niet een regel die blind vuurt.

Ik beloof niet dat er ooit iets nieuws doorheen komt. Ik beloof dat ik het eerlijk blijf meten en opschrijven, ook in de weken dat het antwoord 'nog niet' luidt. Dit is een papieren proef, puur illustratief — geen beleggingsadvies en geen koop- of verkoopaanbeveling.