Twaalf nieuwe tests, nul nieuwe aannames — de stand van het lab

In de week tot 25 september 2026 voerde het onderzoekslab twaalf nieuwe ruwe trials uit. Er kwam niets nieuws door de poort. Het aantal aangenomen hypotheses staat nog altijd op vijf, en er viel er ook geen af. Tegelijk daalde het aantal écht onafhankelijke gokken een fractie en steeg de kans op backtest-overfitting licht. Dat is de stand, inclusief de delen die tegenvallen. Dit gaat over een papieren portefeuille: illustratief, geen beleggingsadvies en geen koop- of verkoopaanbeveling.

Wat we precies tellen

Er staan nu 84 hypotheses in de test. Daarvan heeft de machine er 80 zelf bedacht; de overige vier zijn handmatig opgestelde beginhypotheses. De cijfers over de vorm van de zoektocht hieronder gaan over die 80 zelf-gegenereerde stuks, alle 80 met een unieke configuratie.

Cumulatief zijn er 464 ruwe trials gedaan. Een ruwe trial is elke geteste variant, ooit — elke keer dat de machine een idee met een bepaald signaal en een bepaald terugkijkvenster door de molen haalde. Van alle ooit geteste signaturen zijn er 207 inmiddels uitgefaseerd; 80 zijn nu live.

Maar 464 pogingen zijn geen 464 kansen. Twintig varianten op hetzelfde idee zijn niet twintig onafhankelijke gokken. Daarom meten we het aantal effectief onafhankelijke trials: 20,26. Dat getal is geen schatting maar een meting — de participatie-ratio van de eigenwaarden van de correlatiematrix van de out-of-sample rendementen. In gewoon Nederlands: we kijken hoe sterk de strategieën in de praktijk op elkaar lijken in wat ze verdienen en verliezen, en rekenen dat terug naar het aantal werkelijk verschillende weddenschappen. Tachtig live strategieën blijken er ongeveer twintig te zijn. De gemiddelde onderlinge correlatie is 0,093 — laag gemiddeld, maar dat verhult dat een deel van de ideeën alsnog in dezelfde richting beweegt.

De richting van deze week is licht ongunstig

Vorige week stond de effectieve onafhankelijkheid op 20,38, nu op 20,26. Twaalf trials erbij, en netto 0,12 onafhankelijke gok eraf. Per nieuwe ruwe trial is de bijdrage gemiddeld min 0,010. Dat moet je benoemen zoals het is: de laatste twaalf pogingen brachten geen nieuw terrein in kaart, maar gedroegen zich als variaties op wat er al stond. Meer zoeken is hier niet hetzelfde als beter zoeken.

Opvallend is waar die overlap níet vandaan komt. Geen enkele van de 80 zelf-bedachte hypotheses zit in een lookback-ladder — nul procent, dus geen luie kopieën waarbij alleen het terugkijkvenster wordt verschoven. De families zijn netjes verdeeld: rel_strength 16, reversal 15, trend 14, momentum 13, ratio_trend 12, vix_regime 10. Er zijn 42 verschillende signaal-tickers in gebruik en 19 verschillende terugkijkvensters, met TLT als meest gebruikte signaalticker (vijf keer), gevolgd door RSP en EEM (elk vier keer) en EFA en IJR (elk drie keer). De zoektocht ziet er op papier dus divers uit. De overlap zit niet in de etiketten maar in het gedrag: verschillende ideeën die in de praktijk op dezelfde marktbeweging reageren. Dat is precies waarom we de rendementen meten en niet de namen tellen.

Hoe streng de poort staat

De hoofdmaat is de Deflated Sharpe. Een gewone prestatiemaat beloont wie veel probeert: wie honderd keer gooit, heeft vanzelf een mooiste worp. De Deflated Sharpe corrigeert daarvoor — hoe meer je zoekt, hoe hoger de lat. De gebruikte N is 27. Die komt zo tot stand: we nemen het lopende maximum van de effectieve onafhankelijkheid (afgerond 20,86), leggen daar een ondergrens onder gelijk aan het aantal families (6), en tellen de eerder met de hand gedane studies erbij op. Het lopende maximum is er om één reden: de lat mag nooit zakken doordat er meer op elkaar lijkende varianten bijkomen. Anders zou je de drempel kunnen verlagen door slechter werk te leveren.

Daarnaast meten we de PBO, de probability of backtest overfitting: de kans dat wat in de test het beste leek, buiten de test onder de middenmoot eindigt. Die staat nu op 0,26 — 26 procent — berekend over 14 CSCV-blokken. Dat is onder de helft, wat betekent dat de winnaar uit de test vaker dan toeval standhoudt. Maar het cijfer is gestegen, van 24,5 procent vorige week naar 26 procent nu. Eén meting is geen trend; de richting is wel de verkeerde en we noemen hem daarom.

Alles ná 31 december 2018 is out-of-sample: die data is niet gebruikt bij het bedenken van de hypotheses. In de tests rekenen we 5 basispunten transactiekosten per omschakeling.

Vijf aannames, 76 keer geen oordeel

De uitslagen: 5 aangenomen, 3 afgewezen, 76 inconclusive. Het meest voorkomende antwoord van dit lab is dus "we weten het niet" — dat is de eerlijke uitkomst voor een idee dat noch overtuigend standhoudt, noch duidelijk sneuvelt.

Aangenomen zijn: rs_vgk_spy_63d, trend_tlt_duration_riskoff_lead_20d, mom_tip_real_rate_easing_63d, rs_efa_spy_nonus_leadership_63d en rs_ewj_spy_dollar_cycle_63d. Afgewezen zijn H1_greenday_momentum_1d, trend_iyt_freight_nowcast_63d en trend_vnq_collateral_channel_200d. Sinds de vorige lab-stand is er niets bijgekomen en niets afgevallen.

Een aangenomen hypothese wordt kennis voor het brein, geen automatische handelsregel. Ze verandert wat de portefeuille wéét over hoe markten zich soms gedragen; ze drukt zelf geen knop in.

Waarom weinig doorlaten het punt is

Een filter dat zelden iets doorlaat is geen defect. De hele reden om te corrigeren voor het aantal pogingen is dat toeval er bij veel zoeken steeds fraaier uitziet. Een week met twaalf tests en nul aannames is precies hoe zo'n filter hoort te klinken. Wat wij hier niet doen, is beloven dat er op enig moment wél iets doorheen komt. Dat weten we niet. We rapporteren de teller, ook als hij stilstaat.