Het brein dacht niet na

Vandaag bleek dat het brein van QUANTHEA maandenlang zijn werk deed zonder na te denken. Niet bij wijze van spreken — letterlijk. En het vervelendste kwam daarna: de reparatie die we ervoor bouwden, bleek bij nader inzien dezelfde fout in een nieuw jasje.

Wat er mis was

Elke handelsdag om 14:32 stelt het model een doelportefeuille samen. Het krijgt daarvoor negen blokken context mee: het track record tegenover de S&P 500, wat de uitvoering aan kosten heeft gekost, de recente besluiten, de laatste wekelijkse reflectie, de onderzoeksledger van het laboratorium, het nieuws en sentiment van die dag, de huidige posities met rendement, het technisch regime, en een verse analysetabel van het hele universum. Bij elkaar zo'n vierduizend tokens aan materiaal. Daaruit moet een portefeuille van vijfentwintig namen komen.

In de code die dat verzoek verstuurt, ontbrak één parameter. Er stond geen instructie om te denken. En bij dit model betekent het weglaten van die instructie niet "denk zoals je normaal zou doen" — het betekent: denk niet. Geen redeneerruimte, geen afwegen, geen stap terug. Negen blokken erin, een antwoord eruit, in één rechte lijn.

Toen we eenmaal begonnen te meten wat er feitelijk in die prompt belandde, in plaats van wat er verstuurd werd, kwamen er nog twee dingen boven.

De onderzoeksledger — het dagelijkse verslag van het laboratorium, waarin elke geteste hypothese staat met haar uitkomst — werd op drie plekken achter elkaar afgekapt op achtduizend tekens. Van de vierentachtig geteste hypotheses bereikten er ongeveer veertien het brein, in willekeurige volgorde. De laatste regel eindigde middenin een getal.

Erger was wat er structureel achteraan stond. De ledger sluit af met een interpretatie-alinea: de conclusie die de engine zelf uit al zijn werk trekt. Omdat die onderaan stond, viel hij altijd buiten de afkapping. Het brein heeft de conclusie van zijn eigen laboratorium vermoedelijk nooit gelezen.

Hetzelfde gold voor de wekelijkse reflectie. Afgekapt op zestienhonderd tekens. De laatste was achttienhonderdvierendertig lang en hield op middenin het woord Keytruda.

Waarom niemand het zag

Alles stond op groen. De timers draaiden. Elke dag verschenen er nieuwe records. De pagina's vulden zich. Er was geen alarm, geen foutmelding, geen lege pagina.

Want dat is precies wat al onze controles maten: of er íets gebeurde. Geen enkele controle mat of het klopte.

Een timer die groen staat vertelt je dat een proces is gestart en zonder foutcode is geëindigd. Hij vertelt je niet of het resultaat compleet was, of het ergens anders aankwam, of dat het onderweg door een limiet is gehalveerd. En een model dat een keurig antwoord teruggeeft, geeft geen enkele aanwijzing dat het daarbij niet heeft nagedacht — dat antwoord ziet er hetzelfde uit.

De reparatie

Het denken staat aan, in het besluit en in de reflectie. De volledige ledger bereikt het brein, met de conclusie vooraan en de bevestigde en verworpen hypotheses apart benoemd — een verworpen idee is namelijk net zo waardevol als een bevestigd idee, want het is aangetoonde kennis dat iets niet werkt. Het laboratorium onthoudt nu permanent wat het heeft doodgetest. Het universum waarin het mag zoeken is verbreed. En er draait sinds vandaag een controle die zeven minuten vóór elk besluit nagaat of het model daadwerkelijk denkt en of alles compleet aankomt.

Maar de ingreep waar we het meest van verwachtten, was een andere.

Het brein zag wel zijn eigen recente besluiten, maar nooit of ze goed waren. Dus bouwden we een terugkoppeling: elke dag wordt uitgerekend welke namen het had toegevoegd en laten vallen, wat die namen daarna deden, en wat het saldo daarvan is ten opzichte van niets doen. Uitdrukkelijk gerekend, niet geschreven — want een model dat zijn eigen geschiedenis samenvat, beoordeelt zichzelf, terwijl een som uit de doellijsten en de slotkoersen bewijs is.

De eerste uitkomst was meteen confronterend: in tien handelsdagen was er precies één naam gewisseld, en die ene zet had ruim vier procentpunt gekost ten opzichte van stilzitten.

Waarop een tweede model de reparatie onderuithaalde

Voordat we het lieten staan, legden we het hele dossier voor aan een model van een andere makelij, met de opdracht er zo hard mogelijk op te schieten. Dat oordeel was niet mals, en het had gelijk.

Die som weegt niet. Een positie van twee procent en een van acht procent tellen even zwaar mee. Hij negeert herwegingen volledig, terwijl juist die de echte handel vormen — de autotrader sleept de gewichten meerdere keren per dag terug naar het doel, dus koersbeweging alleen genereert al orders. Hij rekent geen transactiekosten of slippage mee. En hij meet over tien handelsdagen, waarin één naam het hele cijfer bepaalde.

Maar het scherpste bezwaar ging dieper. Dit systeem rapporteert zélf dat de kans dat de best presterende hypothese uit een backtest buiten de steekproef onder de mediaan eindigt, drieënvijftig procent is. Het wéét dus dat selectie op korte horizon vrijwel volledig ruis is. Dat is de reden dat het laboratorium zo'n strenge poort heeft. En dan bouwen wij een dagelijks oordeel dat precies uit die ruis is opgetrokken, en zetten dat in de prompt waarop het model zijn besluiten neemt. Dat is intern inconsistent.

Er kwam nog een bezwaar bij dat we zelf niet hadden bedacht: de maat is manipuleerbaar. Een model dat elke dag leest dat zijn ruilen geld kostten, kan leren om geen namen meer te wisselen en in plaats daarvan met gewichten te schuiven — precies het gedrag dat eerder een rem nodig had.

Het blok is dezelfde dag weer uit de prompt gehaald. De berekening blijft bestaan, maar dan waar hij hoort: als instrument voor menselijk toezicht, niet als dagelijkse voeding voor het model. Hij komt pas terug als hij weegt, kosten meerekent en over weken kijkt in plaats van dagen.

Datzelfde tweede model wees ook op iets in de verbreding van het universum dat we over het hoofd hadden gezien. Die lijst bepaalde niet alleen waarop het laboratorium mocht sturen, maar ook waaruit het zijn testportefeuilles mocht samenstellen. Daardoor kon het constructies valideren met grondstoffen of opkomende markten erin — portefeuilles die de echte proef, die in Amerikaanse aandelen belegt, nooit kan uitvoeren. Sturen op koper of creditspreads zonder ze te bezitten is zinnig; een bevestiging op een portefeuille die je niet kunt aanhouden is waardeloos. Die twee lijsten zijn nu gescheiden.

Niet alle kritiek hield stand. Het bezwaar dat we de exploratie zouden wegduwen bij de families die tractie hebben, bleek bij controle niet te kloppen: de enige twee bevestigde hypotheses zitten allebei in een familie die juist ondervertegenwoordigd is. Bij tegenspraak tel je argumenten, geen stemmen.

Wat het kost

De lopende vergelijkende proef tussen het brein en een formule-replica begint opnieuw. Die liep zeven handelsdagen, en in al die dagen was de kant die getest werd een brein dat niet nadacht en dat een fractie van zijn eigen onderzoek te zien kreeg. Die proef heeft dus niet gemeten wat hij zou meten. De eerste zeven dagen worden bewaard en gelabeld als ongeldig — bruikbaar voor de post-mortem, niet voor de uitkomst.

De les

Er zijn er twee, en de tweede is de belangrijkste.

De eerste: groen betekent dat er iets gebeurde, niet dat het klopte. Wij meten of systemen draaien — dat is makkelijk, want een proces eindigt of het eindigt niet. Wat we veel minder vaak meten is of wat eruit komt volledig is, en of het aankomt waar het heen moest. Precies daar zat het probleem, drie keer, in dezelfde keten.

De tweede: "gerekend in plaats van geschreven" is een noodzakelijke voorwaarde, geen voldoende. Wij dachten die dag een principe te pakken te hebben — laat een model zijn eigen prestaties niet samenvatten, reken ze uit — en dat principe klopt nog steeds. Maar een som die het verkeerde meet, is niet beter dan een verhaal dat het verkeerde vertelt. Hij is gevaarlijker, want hij ziet eruit als een feit.

Dat een model van een andere makelij dat binnen vijf minuten zag, terwijl wij het net hadden gebouwd, is precies waarom die tweede lezer er is.