Vijfhonderd tests, bijna achttien echte gokken — en deze week geen enkele nieuwe aanname

Deze editie van de lab-stand verschijnt omdat er iets kleins veranderde: de machine gebruikt nu 42 verschillende signaal-tickers in plaats van 41. Dat is geen doorbraak, en dit stuk gaat er ook niet over. Het gaat over de vraag die eronder ligt: hoe staat de zoektocht er eigenlijk voor als je hem in zijn geheel bekijkt, inclusief de delen die tegenvallen?

Vier nieuwe tests, nul nieuwe antwoorden

Op 16 oktober 2026 staan er 84 hypotheses in de test. Dat getal bewoog niet ten opzichte van een week eerder. De cumulatieve teller van alle ooit geteste varianten ging van 496 naar 500. Nieuw aangenomen in die week: geen. Niet langer aangenomen: ook geen.

De totale uitslagenlijst ziet er zo uit: 4 aangenomen, 3 afgewezen, en 77 keer de uitkomst "geen conclusie". Dat laatste getal is het eerlijkste beeld van wat hier gebeurt. In verreweg de meeste gevallen zegt de data niet "dit werkt" en niet "dit werkt niet", maar "hier is te weinig bewijs om iets te vinden". Een verkoper laat die 77 weg en toont de 4. Wij zetten ze naast elkaar, want de verhouding tussen die twee getallen zegt meer over de kwaliteit van het filter dan de 4 op zichzelf.

Een kanttekening bij het tellen: die 84 zijn alles wat de machine evalueert, inclusief de met de hand opgestelde beginhypotheses. Als het hieronder over de vórm van de zoektocht gaat, gaat het over de 80 hypotheses die de machine helemaal zelf heeft bedacht.

Vier begrippen die je nodig hebt

Ruwe trials zijn alle geteste varianten bij elkaar: 500 sinds het begin. Elke keer dat er aan een knop wordt gedraaid, telt dat mee.

Effectief onafhankelijke trials zijn iets heel anders. Twintig varianten op hetzelfde idee zijn geen twintig kansen, maar ongeveer één. Dit getal meet hoeveel écht verschillende gokken er in de verzameling zitten. Het is geen schatting: het wordt berekend uit de correlatiematrix van de rendementen buiten de ontwerpperiode. Nu staat het op 17,67. Deel je 500 ruwe trials daardoor, dan kost het ruw gerekend zo'n 28 varianten om één werkelijk aparte gok te maken.

PBO, de kans op backtest-overfitting, is de kans dat de strategie die in de test het mooist oogde, buiten de test onder de middenmoot eindigt. Hij staat op 25 procent, gemeten met 14 blokken volgens de CSCV-methode.

Deflated Sharpe is een prestatiemaat die corrigeert voor het feit dat je veel hebt geprobeerd: hoe langer je zoekt, hoe mooier puur toeval eruitziet. De poort rekent daarbij met N = 27. Dat getal komt zo tot stand: het lopende maximum van de effectieve onafhankelijkheid (afgerond 20,86), met een ondergrens van 6 — het aantal families — en daarbovenop de eerder met de hand gedane studies. Het lopende maximum is bewust gekozen: de lat kan nooit zákken doordat er meer op elkaar lijkende varianten bijkomen.

De onafhankelijkheid daalde terwijl het aantal tests steeg

Dit is het ongunstige cijfer van deze week. De effectieve onafhankelijkheid ging van 18,16 naar 17,67, een daling van bijna een half punt, terwijl er vier trials bíj kwamen. De gemiddelde onderlinge correlatie tussen de strategieën liep mee omhoog, van 0,100 naar 0,103. Per saldo leverde elke nieuwe ruwe trial gemiddeld 0,122 effectief onafhankelijke trial ín.

Wat dat betekent: de machine maakt op dit moment vooral varianten op ideeën die er al waren, en geen nieuwe ideeën. Het bijzondere is dat je dat op papier niet ziet. Alle 80 zelf-gegenereerde hypotheses hebben een unieke configuratie, er zit geen enkele in een lookback-ladder (hetzelfde idee met alleen een ander terugkijkvenster — 0 procent), ze zijn netjes verdeeld over de zes families, van ratio_trend met 15 tot rel_strength met 12, en ze gebruiken 42 tickers en 19 terugkijkvensters. Dat ziet er divers uit. Maar diversiteit op papier is niet hetzelfde als diversiteit in de rendementen, en alleen dat laatste wordt gemeten. TLT en EEM duiken elk vier keer op als signaal, EWJ, HYG en VNQ elk drie keer; verschillende recepten die in de praktijk deels hetzelfde beestje volgen.

PBO van 25 procent: onder de helft, maar omhoog

De kans op backtest-overfitting steeg van 0,240 naar 0,253. Dat is onder de 50 procent, en dat is relevant: boven die grens doet de in de test best ogende variant het buiten de test vaker wél dan niet slechter dan gemiddeld. Hier is dat ongeveer één op de vier. Geen alarm, wel een beweging de verkeerde kant op, en in dezelfde richting als de dalende onafhankelijkheid. Dat is logisch: hoe meer de kandidaten op elkaar lijken, hoe makkelijker toeval zich als winnaar voordoet.

Wat de vier aangenomen hypotheses wel en niet zijn

De vier die de poort haalden zijn trend_tlt_duration_riskoff_lead_20d, mom_tip_real_rate_easing_63d, rs_efa_spy_nonus_leadership_63d en rs_ewj_spy_dollar_cycle_63d. Afgewezen zijn H1_greenday_momentum_1d, trend_iyt_freight_nowcast_63d en trend_vnq_collateral_channel_200d.

Een aangenomen hypothese wordt hier kennis voor het brein, geen automatische handelsregel. Er gaat geen order uit omdat iets door een statistische poort kwam. Alle tests rekenen met 5 basispunten transactiekosten per omschakeling, en alles na 31 december 2018 is buiten de ontwerpfase gehouden — die periode is dus niet gebruikt bij het bedenken van de ideeën.

Een filter dat in 500 trials vier keer groen geeft, laat weinig door. Dat is wat een streng filter hoort te doen; het is geen defect. Of er in de toekomst nog iets doorheen komt, weten we niet, en we gaan het hier ook niet voorspellen. We rapporteren wat er gemeten is.

Dit is een paper-portefeuille: illustratief, zonder echt geld. Geen beleggingsadvies, geen koop- of verkoopaanbeveling.