Бэктест отвечает на вопрос «а вообще эта идея когда-нибудь работала». Правила формулируются однозначно, прогоняются по прошлым данным, и на выходе получается набор чисел: сколько было сделок, какая доля из них прибыльна, как соотносятся средняя прибыль и средний убыток, какой была максимальная просадка.
Главная ценность бэктеста отрицательная: он быстро показывает, что идея не работает. Это дёшево и полезно. Обратное утверждение слабее - хороший результат на истории не означает, что метод будет работать дальше.
Основная ловушка называется подгонкой. Если долго крутить настройки, всегда найдётся комбинация, которая на конкретном отрезке истории выглядит блестяще. Она описывает именно этот отрезок, а не рынок. Признаки подгонки узнаваемы: очень много параметров, результат резко ухудшается при небольшом сдвиге любого из них, тест сделан на коротком куске истории или на одном активе.
Что делает проверку честнее. Тестировать на длинном периоде, включающем разные режимы рынка. Проверять устойчивость на других активах и таймфреймах. Оставлять часть истории нетронутой и прогонять по ней уже готовые правила. И обязательно закладывать реальные издержки - комиссии и проскальзывание превращают многие красивые системы в убыточные.
