396 pogingen, twee stukjes kennis: de stand van het lab

De stand van het lab op 28 augustus 2026 past in één regel: van de 85 hypotheses die nu in de test zitten, staan er 78 op 'onbeslist'. Vijf zijn afgewezen. Twee zijn aangenomen. Sinds de vorige lab-stand van een week eerder is er één aangenomen bijgekomen — trend_tlt_duration_riskoff_lead_20d — en is er niets afgevallen. In diezelfde week deed de machine 92 nieuwe ruwe tests.

Die verhouding is het onderwerp van dit stuk. Een aangenomen hypothese is nieuws, maar het uitblijven van aannames na honderden geteste varianten is óók nieuws — en het is precies het soort cijfer dat een verkoper zou weglaten. Wij laten het staan.

Eén administratief punt vooraf, om verwarring te voorkomen: die 85 hypotheses zijn alles wat de machine evalueert, inclusief de handmatig opgestelde beginhypotheses. De diversiteitscijfers verderop gaan over de 81 hypotheses die de machine zélf heeft bedacht, waarvan 78 unieke configuraties.

Vier begrippen die je nodig hebt

Ruwe trials zijn alle geteste varianten, ooit. Die teller staat cumulatief op 396 en vergeet niets: 144 signaturen die we ooit testten zijn uitgefaseerd en niet meer live, 81 zijn dat wel.

Effectief onafhankelijke trials is het eerlijker getal. Twintig varianten op hetzelfde idee zijn geen twintig kansen; ze zijn ongeveer één kans, twintig keer opgeschreven. Wij meten dat aan de correlatiematrix van de rendementen buiten de testperiode (technisch: de participatie-ratio van de eigenwaarden). Geen schatting, een meting. Uitkomst nu: 15,11.

PBO — probability of backtest overfitting — is de kans dat wat in de test het beste leek, buiten de test onder de middenmoot eindigt. Wij berekenen die over 14 blokken. Nu: 0,275, oftewel 28 procent.

Deflated Sharpe is een prestatiemaat die corrigeert voor het feit dat je veel hebt geprobeerd: hoe meer je zoekt, hoe mooier toeval eruitziet. Die correctie heeft een getal N nodig. Wij nemen het lopende maximum van de effectieve onafhankelijkheid (afgerond 15), leggen daar een ondergrens onder gelijk aan het aantal families (6) en tellen de eerder met de hand gedane studies erbij op. Dat geeft N = 21. Het lopende maximum is er met opzet: de lat kan nooit zakken doordat we meer op elkaar lijkende varianten toevoegen.

Wat er deze week veranderde

De ruwe teller ging van 304 naar 396, dus 92 nieuwe varianten. De effectieve onafhankelijkheid ging van 14,06 naar 15,11, dus plus 1,05. Marginaal voegde elke nieuwe ruwe trial gemiddeld 0,011 effectief onafhankelijke trial toe. Anders gezegd: ongeveer negentig ruwe pogingen voor één extra écht onafhankelijke gok.

Het aantal signaal-tickers steeg van 25 naar 39. Het aantal families bleef zes: momentum, ratio_trend, rel_strength, reversal, trend, vix_regime. De gemiddelde onderlinge correlatie tussen de strategieën liep licht op, van 0,139 naar 0,145.

Dat patroon is te lezen als: de zoektocht is deze week breder geworden in instrumenten, niet in soorten ideeën. En binnen die zes families is de verdeling ongelijk. Van de 81 zelfbedachte hypotheses zitten er 25 in ratio_trend, tegen 8 in momentum. XLY en de VIX-index zijn elk negen keer als signaal gebruikt, HYG zeven keer, SMH zes keer, XLK vier keer. Zes hypotheses (7 procent) zijn een 'lookback-ladder': hetzelfde idee met alleen een ander terugkijkvenster. Dat aandeel is laag, en dat is goed nieuws — maar de lichte stijging van de gemiddelde correlatie zegt dat de overlap elders zit.

Het cijfer dat niet meevalt: 28 procent

PBO daalde deze week van 0,411 naar 0,275. Dat is een flinke verbetering, en 28 procent ligt onder de 50 procent die we als grens hanteren. Toch is het geen groen licht. Achtentwintig procent betekent: bij ruwweg één op de vier keer dat we de winnaar van de test aanwijzen, doet die het buiten de test slechter dan de middenmoot van zijn eigen concurrenten. Dat is de kans op zelfbedrog, gemeten op onze eigen data. Wij melden de daling; we schrijven hem niet zonder meer op ons conto. Eén week is één week, en de PBO stond zeven dagen eerder nog op 41 procent.

Twee aangenomen hypotheses zijn twee stukjes kennis

Aangenomen zijn nu rs_vgk_spy_63d (relatieve sterkte van Europese aandelen, VGK, tegenover de Amerikaanse markt, SPY, over een terugkijkvenster van 63 dagen) en trend_tlt_duration_riskoff_lead_20d (langlopende Amerikaanse staatsobligaties, TLT, als richtinggevend signaal over 20 dagen). Beide zijn getoetst op data ná 31 december 2018 — data die niet is gebruikt bij het bedenken — en met transactiekosten van vijf basispunten, oftewel 0,05 procent, per omschakeling.

Belangrijk: aangenomen betekent hier dat het kennis wordt voor het brein, geen automatische handelsregel. Er gaat geen order de deur uit omdat een poort openging.

De vijf afwijzingen zijn evengoed opbrengst. H1_greenday_momentum_1d, rev_vgk_us_lead_gap_down_3d_meanreversion, rt_hyg_ief_credit_confirm_10d_short_horizon, vix_regime_xlv_healthcare_calm_75d_defensive_paradox en mom_mdy_midcap_diffusion_126d hoeven we niet nog eens te proberen.

Waarom een filter dat weinig doorlaat het punt is

Ruim negen op de tien hypotheses eindigen op 'onbeslist'. Dat is niet het bewijs dat de zoektocht faalt; het is wat een streng filter doet. De zeef is ook expliciet ontworpen om níet ruimer te worden als we harder zoeken: door het lopende maximum in N, en door onafhankelijkheid te meten in plaats van varianten te tellen. De prijs daarvan is precies wat u hierboven ziet: 396 pogingen, twee stukjes kennis, en een kans op zelfbedrog die we in procenten opschrijven in plaats van weg te laten.

Of er ooit meer door die poorten komt, weten we niet, en we beloven het niet. Wat we wel doen is de tellers laten zien zoals ze staan.

Dit is een paper-portefeuille. Alles hierboven is illustratief en vormt geen beleggingsadvies en geen koop- of verkoopaanbeveling.