Алгоритмы для жизни. Простые способы принимать верные решения - Том Гриффитс
Шрифт:
Интервал:
Закладка:
Помимо этого, можно протестировать модель на данных, полученных полностью из какой-либо другой системы оценки. Как мы видели, использование систем показателей – например, вкуса как показателя питательности – тоже может привести к переподгонке. В этих случаях нам необходимо провести перекрестную проверку первоначального измерения, которое мы использовали, относительно других возможных измерений.
Например, в школах использование стандартизированных тестов несет массу преимуществ, включая экономию с точки зрения шкалы оценок: их можно оценивать тысячами, просто и быстро. Тем не менее наряду с такими тестами школы могли бы произвольно оценивать студентов небольшими группами, используя другой метод оценки, – возможно, написание эссе или устный экзамен. (Поскольку таким образом можно проверить знания лишь нескольких студентов за раз, иметь этот способ оценки в качестве запасного не представляется необходимым.) Стандартизированные тесты позволят получить незамедлительный результат оценки знаний студентов (вы можете устраивать короткий экзамен на компьютере каждую неделю и отслеживать успехи класса практически в режиме реального времени, например), в то время как вторичные точки данных послужат для перекрестной проверки. Вы сможете удостовериться, что студенты действительно овладели теми знаниями, которые должен был оценить стандартизированный тест, а не просто научились лучше решать тестовые задания. Если оценки по стандартизированным тестам улучшились, а «нестандартизированная» активность движется в противоположном направлении, это должно послужить предупредительным сигналом для администрации учебного заведения: знания и навыки учеников начали превосходить механику самого теста.
Перекрестная проверка также предлагает отличное решение для сотрудников военных и правоохранительных органов, желающих выработать правильные рефлексы, которые не помешают им в реальной работе. Таким же образом, как эссе или письменный экзамен могут перепроверить результаты по стандартизированным тестам, так же может применяться и внезапная новая «перекрестная тренировка» для оценки времени реагирования и точности стрельбы в рамках незнакомого задания. Но если показатели перекрестной тренировки низки, то это послужит сигналом о необходимости изменения системы тренировок. И, хотя никакие тренировки не могут на самом деле подготовить нас к настоящему сражению, подобные упражнения могут хотя бы предупредить образование шрамов тренировок.
Если вы не можете объяснить доступно, значит, вы сами недостаточно хорошо это понимаете.
Мы видели ряд случаев, когда переподгонка может вступить в игру, и рассмотрели некоторые методы ее выявления и измерения силы ее действия. Но что мы можем сделать, чтобы смягчить ее эффект?
С точки зрения статистики переподгонка – симптом чрезмерной чувствительности к тем реальным данным, которые мы видели. В этом случае есть простое и ясное решение: мы должны придерживаться баланса между нашим стремлением к идеальной подгонке и сложностью используемых нами для этого моделей.
Один из принципов, помогающих выбрать среди нескольких альтернативных моделей, – принцип бритвы Оккама. Он гласит: при прочих равных условиях самая простая из возможных гипотез с большой долей вероятности является единственно правильной. Разумеется, все условия редко бывают абсолютно равными, поэтому не сразу становится понятно, как применить подобный принцип в математическом контексте. Пытаясь решить эту задачу, в 60-е годы прошлого века русский математик Андрей Тихонов предложил свой вариант ответа: нужно ввести в ваши расчеты дополнительное условие, которое отсекает более сложные решения.
Если мы назначим такое своеобразное наказание за сложность, тогда сложным моделям придется не просто хорошо потрудиться, а показать значительно более высокие результаты при разъяснении данных, чтобы оправдать свое устройство. Специалисты в области компьютерных технологий называют этот принцип – в основе которого лежит применение определенных ограничений сложности моделей – регуляризацией.
Так как же выглядят эти ограничения сложности? Один из таких алгоритмов, разработанный в 1996 году специалистом по биостатистике Робертом Тибширани, называется LASSO[24]. Он использует в качестве санкций общую сумму различных факторов, задействованных в модели[25].
Применяя такую нисходящую нагрузку на значение факторов, алгоритм Лассо позволяет свести их по возможности к нулю. Лишь те факторы, которые имеют большое влияние на итоговый результат, остаются в формуле. Таким образом, девятифакторная модель, в которой проявляется переподгонка, будет трансформирована в более простую логичную формулу с меньшим количеством ключевых факторов.
Техники, подобные алгоритму Лассо, сегодня широко распространены в области машинного обучения, однако принцип наложения санкций на сложность встречается и в природе. Живые организмы почти автоматически тяготеют к простоте благодаря тому, что их жизненные ресурсы – время, память, энергия и внимание – ограничены. Бремя метаболизма, например, действует как тормоз для сложностей жизнедеятельности организмов, вводя калории в качестве санкций для сложноорганизованного механизма. Тот факт, что человеческий мозг сжигает около пятой части ежедневной нормы потребления калорий, служит доказательством преимуществ эволюции, которые нам подарили интеллектуальные способности: в конце концов, работа мозга должна более чем оправдывать огромный счет за топливо. С другой стороны, можно сделать вывод, что значительно более сложно устроенный мозг не приносил бы адекватные дивиденды с эволюционной точки зрения. Мы сообразительны ровно настолько, насколько это необходимо, но не более.
Считается, что тот же процесс играет некоторую роль и на нейронном уровне. В компьютерной науке модели программного обеспечения, известные как искусственные нейронные сети, работа которых базируется на основных принципах организации человеческого мозга, могут обучаться работе с функциями произвольной сложности – еще более гибкими, чем наша девятифакторная модель. Но как раз по этой причине нейронные сети чрезвычайно восприимчивы и подвержены эффекту переподгонки.
Настоящие, биологические нейронные сети уклоняются от этой проблемы, поскольку им необходимо отработать затраты, связанные с их содержанием. Нейробиологи предположили, что, возможно, мозг пытается максимально сократить количество нейронов, которые загораются в тот или иной момент, что позволяет нам провести параллель с нисходящим давлением на сложность в алгоритме лассо.
Язык формирует другой естественный принцип LASSO: сложность карается трудозатратами на ведение долгого разговора и обременением внимания нашего слушателя. В конечном счете бизнес-план сокращается до краткой презентации. А житейский совет становится народной мудростью только в том случае, если он достаточно лаконичен и легко запоминается.