Handelaren die graag een handelsidee willen proberen in een live markt maken vaak de fout om volledig afhankelijk te zijn van backtestresultaten om te bepalen of het systeem winstgevend is. Backtesten biedt traders weliswaar waardevolle informatie, maar is vaak misleidend en slechts een onderdeel van het evaluatieproces. Out-of-sample testen en testen van voorwaartse prestaties bieden een verdere bevestiging van de effectiviteit van een systeem en kunnen de ware kleuren van een systeem weergeven, voordat echt contant geld op het spel staat. Een goede correlatie tussen backtesting, out-of-sample en forward performance testresultaten is essentieel voor het bepalen van de levensvatbaarheid van een handelssysteem. (We geven enkele tips over dit proces die u kunnen helpen bij het verfijnen van uw huidige handelsstrategieën. Lees voor meer informatie Backtesting: interpret the Past .)

AD:

Basistests Backtesting Backtesting verwijst naar het toepassen van een handelssysteem op historische gegevens om te verifiëren hoe een systeem zou hebben gepresteerd gedurende de gespecificeerde tijdsperiode. Veel van de hedendaagse handelsplatforms ondersteunen backtesting. Traders kunnen ideeën testen met een paar toetsaanslagen en inzicht krijgen in de effectiviteit van een idee zonder geld te riskeren in een handelsaccount. Backtesting kan eenvoudige ideeën evalueren, zoals hoe een voortschrijdend gemiddelde cross-over zou presteren op historische gegevens, of meer complexe systemen met verschillende ingangen en triggers.

AD:

Zolang een idee kan worden gekwantificeerd, kan het worden getoetst. Sommige handelaren en investeerders kunnen de expertise van een gekwalificeerde programmeur zoeken om het idee tot een toetsbare vorm te ontwikkelen. Meestal betreft dit een programmeur die het idee codeert in de eigen taal die door het handelsplatform wordt gehost. De programmeur kan door de gebruiker gedefinieerde invoervariabelen gebruiken die de handelaar in staat stellen om het systeem te "tweaken". Een voorbeeld hiervan zou in het hierboven vermelde eenvoudige voortschrijdende gemiddelde crossover-systeem zijn: de handelaar zou de lengten van de twee voortschrijdende gemiddelden die in het systeem worden gebruikt kunnen invoeren (of wijzigen). De handelaar zou kunnen backtest om te bepalen welke lengtes van voortschrijdende gemiddelden het beste zouden hebben gepresteerd op de historische gegevens. (Krijg meer inzicht in de Elektronische handelshandleiding .)

AD:

Optimaliseringsstudies
Veel handelsplatformen bieden ook optimalisatiestudies. Dit houdt in dat er een bereik voor de opgegeven invoer wordt ingevoerd en dat de computer "de wiskunde" doet om erachter te komen welke invoer het beste zou hebben gepresteerd. Een optimalisatie met meerdere variabelen kan de wiskunde voor twee of meer gecombineerde variabelen doen om te bepalen welke niveaus samen de beste uitkomst zouden hebben bereikt. Traders kunnen het programma bijvoorbeeld vertellen welke inputs ze in hun strategie willen opnemen; deze zouden vervolgens worden geoptimaliseerd naar hun ideale gewichten, gegeven de geteste historische gegevens.

Backtesten kan spannend zijn omdat een onrendabel systeem vaak magisch wordt omgezet in een geldmachine met een paar optimalisaties. Helaas leidt het aanpassen van een systeem om het hoogste niveau van in het verleden behaalde winstgevendheid te bereiken, vaak tot een systeem dat slecht presteert in de echte handel. Deze over-optimalisatie creëert systemen die er alleen op papier goed uitzien.

Curve fitting is het gebruik van optimalisatieanalyses om het hoogste aantal winnende transacties te creëren met de grootste winst op de historische gegevens die in de testperiode zijn gebruikt. Hoewel het er indrukwekkend uitziet in de resultaten van de backtesting, leidt aanpassing van de curve tot onbetrouwbare systemen omdat de resultaten in essentie op maat zijn ontworpen voor alleen die specifieke gegevens en tijdsperiode.

Backtesting en optimalisatie bieden veel voordelen voor een handelaar, maar dit is slechts een deel van het proces bij het evalueren van een mogelijk handelssysteem. De volgende stap van een handelaar is om het systeem toe te passen op historische gegevens die niet zijn gebruikt in de eerste fase van de backtesting. (Het voortschrijdend gemiddelde is gemakkelijk te berekenen en, eenmaal geplot op een grafiek, is een krachtige tool voor het spotten van visuele trends.Raadpleeg
In- Voorbeeld versus Out-of-Sample-gegevens Bij het testen van een idee op historische gegevens is het nuttig om een ​​periode van historische gegevens voor testdoeleinden te reserveren. De oorspronkelijke historische gegevens waarop het idee wordt getest en geoptimaliseerd, worden de gegevens in de steekproef genoemd. De gegevensset die is gereserveerd, staat bekend als out-of-sample data. Deze opstelling is een belangrijk onderdeel van het evaluatieproces omdat het een manier biedt om het idee te testen op gegevens die geen onderdeel zijn geweest van het optimalisatiemodel. Als gevolg hiervan zal het idee op geen enkele manier zijn beïnvloed door de out-of-sample data en zullen handelaren kunnen bepalen hoe goed het systeem zou kunnen presteren op nieuwe data; ik. e. in de echte handel.

Voordat een backtesting of optimalisatie wordt geïnitieerd, kunnen traders een percentage van de historische gegevens reserveren die moeten worden gereserveerd voor testen buiten de steekproef. Eén methode is om de historische gegevens in drieën te verdelen en een derde af te scheiden voor gebruik bij het testen buiten de steekproef. Alleen de in-sample gegevens moeten worden gebruikt voor de eerste testen en eventuele optimalisatie. Figuur 1 toont een tijdslijn waarbij een derde van de historische gegevens is gereserveerd voor testen buiten de steekproef en tweederde wordt gebruikt voor de testen in de steekproef. Hoewel figuur 1 de out-of-sample-gegevens aan het begin van de test weergeeft, hebben standaardprocedures het out-of-sample-gedeelte dat onmiddellijk voorafgaat aan de forward-uitvoering.

Afbeelding 1: een tijdlijn die de relatieve lengte weergeeft van in-monster- en out-of-sample-gegevens die in het backtestproces zijn gebruikt.

Nadat een handelssysteem is ontwikkeld met behulp van in-steekproefgegevens, is het klaar om te worden toegepast op de out-of-sample-gegevens. Traders kunnen de prestatieresultaten evalueren en vergelijken tussen de in-sample en out-of-sample data.

Correlatie verwijst naar overeenkomsten tussen de prestaties en de algemene trends van de twee gegevensverzamelingen.Correlatiestatistieken kunnen worden gebruikt bij het evalueren van prestatierapporten voor de strategie die tijdens de testperiode zijn gemaakt (een functie die de meeste handelsplatforms bieden). Hoe sterker de correlatie tussen de twee, hoe groter de kans dat een systeem goed presteert bij het testen van toekomstige prestaties en live trading. Figuur 2 illustreert twee verschillende systemen die zijn getest en geoptimaliseerd op in-sampledata en vervolgens zijn toegepast op out-of-sample data. De grafiek aan de linkerkant toont een systeem dat duidelijk curve-fit was om goed te werken op de in-sample data en volledig faalde op de out-of-sample data. De grafiek aan de rechterkant toont een systeem dat goed presteerde op zowel in- als out-of-sample data.

Figuur 2: twee aandelencurves. De handelsgegevens vóór elke gele pijl staan ​​voor testen in de steekproef. De transacties die worden gegenereerd tussen de gele en rode pijlen geven out-of-sample-tests aan. De transacties na de rode pijlen zijn afkomstig van de testfasen voor voorwaartse uitvoering.

Als er weinig correlatie is tussen de in-steekproef en out-of-sample testen, zoals de linker grafiek in figuur 2, is het waarschijnlijk dat het systeem over-optimaliseerd is en niet goed zal presteren in live handel. Als er een sterke correlatie is in de prestaties, zoals te zien is in de rechtergrafiek in figuur 2, omvat de volgende evaluatiefase een extra type out-of-sample testen, dat bekend staat als forward performance testing. (Voor meer informatie over prognoses, refereer je naar Financiële prognose: de Bayesiaanse methode .)

Toekomstgerichte prestatietests Toekomstgerichte prestatietests, ook wel papieren handel genoemd, biedt handelaars een andere set van uit -of-sample data waarop een systeem kan worden geëvalueerd. Forward performance testing is een simulatie van daadwerkelijke handel en impliceert het volgen van de logica van het systeem in een live markt. Het wordt ook wel papierhandel genoemd omdat alle transacties alleen op papier worden uitgevoerd; dat wil zeggen dat handelsingangen en -uitgangen worden gedocumenteerd samen met enige winst of verlies voor het systeem, maar dat geen echte transacties worden uitgevoerd. Een belangrijk aspect van voorwaartse prestatietests is om de logica van het systeem precies te volgen; anders wordt het moeilijk, zo niet onmogelijk, om deze stap van het proces nauwkeurig te evalueren. Handelaren moeten eerlijk zijn over alle handelsaantekeningen en -uitgangen en gedrag vermijden zoals kersenpluktransacties of niet een handel op papier waarbij wordt gerationaliseerd dat "ik nooit die handel zou hebben genomen." Als de transactie zou hebben plaatsgevonden volgens de logica van het systeem, moet deze worden gedocumenteerd en geëvalueerd.

Veel brokers bieden een gesimuleerde handelsrekening aan waar transacties kunnen worden geplaatst en de bijbehorende winst en het verlies kan worden berekend. Het gebruik van een gesimuleerd handelsaccount kan een semi-realistische sfeer creëren om handel te oefenen en het systeem verder te beoordelen.

Afbeelding 2 laat ook de resultaten zien van tests met voorwaartse prestaties op twee systemen. Nogmaals, het systeem dat in de linker grafiek wordt weergegeven, doet het niet veel verder dan het eerste testen op in-sample data. Het systeem dat in de rechter grafiek wordt weergegeven, blijft echter goed presteren gedurende alle fasen, inclusief de test voor toekomstprestaties.Een systeem dat positieve resultaten laat zien met een goede correlatie tussen in-sample, out-of-sample en forward performance testing is klaar om te worden geïmplementeerd in een live markt.

De onderste regel Backtesting is een waardevol hulpmiddel dat beschikbaar is op de meeste handelsplatformen. Het verdelen van historische gegevens in meerdere sets om in-sample en out-of-sample testen mogelijk te maken, kan traders een praktisch en efficiënt middel bieden om een ​​tradingidee en -systeem te evalueren. Omdat de meeste handelaars optimalisatietechnieken gebruiken bij backtesting, is het belangrijk om het systeem vervolgens te evalueren op schone gegevens om de levensvatbaarheid te bepalen. Het voortzetten van de out-of-sample-tests met voorwaartse prestatietests biedt nog een extra laag van veiligheid alvorens een systeem op de markt te zetten dat echt geld riskeert. Positieve resultaten en een goede correlatie tussen in-sample en out-of-sample backtesting en forward performance testen verhogen de kans dat een systeem goed presteert in de feitelijke handel. (Voor een uitgebreid overzicht van technische analyse, zie Technische analyse: Inleiding .)