Vierhonderdtachtig pogingen, ongeveer twintig echte gokken — en nul nieuwe aannames

Zestien nieuwe varianten zijn deze week door de testbank gegaan. Geen ervan leverde een aangenomen hypothese op. En één hypothese die eerder wél was aangenomen, rs_vgk_spy_63d, haalt de lat niet meer: de lijst met aangenomen hypotheses werd dus korter in plaats van langer, van vijf naar vier.

Dat is geen ramp en geen doorbraak. Het is de normale uitkomst van een zoektocht waarin bijna alles blijft hangen op "we weten het niet". Maar het is wel precies het soort nieuws dat in een verkooppraatje zou worden weggelaten, en daarom staat het hier bovenaan. Alles hieronder is paper trading, puur illustratief, en nadrukkelijk geen beleggingsadvies en geen koop- of verkoopaanbeveling.

Twee tellingen die je niet door elkaar moet halen

Er staan nu 84 hypotheses in de test. Dat is alles wat de machine evalueert, inclusief de beginhypotheses die met de hand zijn opgesteld. Daarvan heeft de machine er 80 zélf bedacht, en die 80 zijn ook 80 verschillende configuraties — geen enkele dubbele.

Daarnaast loopt een derde teller: 480 ruwe trials. Dat is elke geteste variant ooit, ook de varianten die inmiddels zijn uitgefaseerd. Van alle signaturen die ooit zijn aangemaakt, zijn er 222 niet meer live en 80 wel. Die ruwe teller gaat nooit omlaag, en dat is de bedoeling: je mag niet vergeten hoe vaak je het hebt geprobeerd.

Vierhonderdtachtig pogingen, ongeveer twintig echte gokken

Het getal dat er het meest toe doet is een ander. De effectief onafhankelijke trials staan op 19,82. Dat is geen schatting maar een meting: hoe sterk lijken de rendementen van al die strategieën buiten de testperiode op elkaar? Twintig varianten op hetzelfde idee tellen niet als twintig kansen, want ze winnen en verliezen op dezelfde dagen. De gemiddelde onderlinge correlatie is ongeveer 0,09 — laag, maar niet nul.

Vorige week stond die teller op 20,26, nu op 19,82. De zoektocht werd dus smaller terwijl er zestien tests bij kwamen. Omgerekend voegde elke nieuwe ruwe trial gemiddeld −0,028 effectief onafhankelijke trial toe: netto minder dan niets. In gewone taal: wat erbij kwam, was gemeten langs de rendementen grotendeels een herhaling van wat er al stond.

Dat is niet de goedkope vorm van herhaling. Nul procent van de zelf bedachte hypotheses zit in een zogeheten lookback-ladder — hetzelfde idee met alleen een ander terugkijkvenster. De families zijn redelijk gelijk verdeeld: ratio_trend 16, rel_strength 14, trend 13, momentum 13, reversal 13, vix_regime 11. Er zijn 41 verschillende signaal-tickers (één minder dan vorige week) en 20 verschillende terugkijkvensters. Toch leveren die op papier verschillende recepten rendementsreeksen op die elkaar flink overlappen. De meest gebruikte signalen geven een hint waarom: TLT vijf keer, RSP vier keer, EEM vier keer, HYG vier keer, EWJ drie keer. Veel verschillende vormen, een beperkt aantal onderliggende thema's.

De lat staat op 27, de kans op zelfbedrog op 25 procent

Hoe vaker je zoekt, hoe mooier toeval eruitziet. Daarvoor corrigeert de Deflated Sharpe: een prestatiemaat die meeweegt hoeveel pogingen je hebt gedaan voordat je iets moois vond. Die correctie heeft een getal nodig, N. Bij ons is N = 27. Dat komt zo tot stand: we nemen het hoogste niveau van effectieve onafhankelijkheid dat ooit is gemeten (afgerond 21 — hoger dan de 19,82 van vandaag), leggen daar een ondergrens onder gelijk aan het aantal families, zes, en tellen de eerder met de hand gedane studies erbij op. Door dat lopende maximum kan de lat nooit zakken doordat we meer op elkaar lijkende varianten toevoegen. Zakken zou namelijk betekenen dat je jezelf beloont voor eentonigheid.

Daarnaast meten we de PBO, de kans op backtest-overfitting: de kans dat wat in de test het beste leek, buiten de test onder de middenmoot eindigt. Die staat op 0,251, oftewel 25 procent, gemeten over veertien CSCV-blokken. Dat is beter dan een muntworp, maar het is geen geruststelling: in ongeveer één op de vier gevallen is de testwinnaar buiten de test niet beter dan gemiddeld. Vorige week was het 0,26. Dat verschil van 0,009 is ruis, geen vooruitgang; we doen alsof het hetzelfde getal is.

Wat er nu op de lijst staat

Van de 84 hypotheses zijn er 77 inconclusive — niet aangenomen, niet afgewezen, gewoon te weinig bewijs in beide richtingen. Drie zijn afgewezen: H1_greenday_momentum_1d, trend_iyt_freight_nowcast_63d en trend_vnq_collateral_channel_200d. Vier zijn aangenomen: trend_tlt_duration_riskoff_lead_20d, mom_tip_real_rate_easing_63d, rs_efa_spy_nonus_leadership_63d en rs_ewj_spy_dollar_cycle_63d.

Aangenomen betekent hier: dit wordt kennis voor het brein, geen automatische handelsregel. Er gaat geen order uit omdat een hypothese de poort haalt. En de status is niet permanent — rs_vgk_spy_63d laat zien dat hij ook weer vervalt. Of dat komt doordat het eerder een toevalstreffer was of doordat het effect is verdwenen, kunnen we uit deze cijfers niet opmaken; we noteren alleen dat hij nu niet meer voldoet.

Alles wordt getoetst op data ná 31 december 2018, die niet is gebruikt bij het bedenken van de ideeën, en met 5 basispunten transactiekosten per omschakeling.

Een zeef die weinig doorlaat is het ontwerp, niet het mankement

Vierhonderdtachtig pogingen, vier aannames, deze week nul nieuwe en één afvaller. Als de verhouding andersom lag, zou dat geen succes zijn maar een alarmsignaal: dan zou de zeef te grof staan en zouden we vooral toeval aan het verzamelen zijn. De lat die niet kan zakken, de correctie voor het aantal pogingen en de meting van echte onafhankelijkheid zijn er juist om dat te voorkomen.

De eerlijke samenvatting van deze week: we hebben meer getest en daar minder onafhankelijke informatie uit gehaald. De eerstvolgende taak is niet méér varianten, maar andere ideeën. Of die er komen, en of er ooit iets door de poort gaat, beloven we niet.