Совместимость. Как контролировать искусственный интеллект - Стюарт Рассел

При всех замечательных достижениях системы глубокого обучения, насколько мы их понимаем на сегодняшний день, далеки от того, чтобы стать основой универсальных интеллектуальных систем. Их принципиальной слабостью является то, что они представляют собой схемы; это родственники пропозиционной логики и Байесовых сетей, которые, при всех своих прекрасных свойствах, также не способны выражать комплексные формы знания последовательным образом. Это значит, что глубокие сети, функционирующие в «собственном режиме», требуют огромных схем для репрезентации относительно простых типов общего знания, что, в свою очередь, предполагает изучение огромного количества весов, следовательно, на выходе получаем непомерно много примеров — больше, чем найдется во Вселенной.

Высказывается мнение, что мозг также состоит из цепей, элементами которых являются нейроны, следовательно, цепи могут поддерживать интеллект человеческого уровня. Это верно, но лишь в том же смысле, в каком истинно утверждение, что мозг состоит из атомов. Действительно, атомы могут поддерживать интеллект человеческого уровня, но это не значит, что достаточно собрать атомы вместе, чтобы получить интеллект. Атомы должны быть определенным образом организованы. Компьютеры также состоят из цепей, как в блоках памяти, так и в обрабатывающих модулях, но эти цепи должны быть определенным образом организованы и добавлено программное обеспечение, чтобы компьютер смог поддерживать высокоуровневые языки программирования и системы логического рассуждения. В настоящее время, однако, нет признаков того, что системы глубокого обучения способны выработать эти способности самостоятельно, — и с научной точки зрения бессмысленно ждать от них этого.

Есть и другие причины считать, что глубокое обучение может выйти на плато задолго до достижения универсальной разумности, но я сейчас не ставлю перед собой задачу диагностировать все проблемы. Многие из них перечислены другими специалистами, как входящими в сообщество исследователей глубокого обучения[367], так и сторонними[368]. Дело в том, что, просто создавая все более крупные и глубокие сети, объемные комплексы данных и мощные машины, невозможно создать ИИ человеческого уровня. Мы уже познакомились (в Приложении Б) с мнением генерального директора DeepMind Демиса Хассабиса, что «высокоуровневое мышление и символическое рассуждение» принципиально важны для ИИ. Другой видный эксперт по глубокому обучению Франсуа Шолле выразил эту мысль следующим образом: «Намного большее число приложений совершенно недостижимо для сегодняшних методов глубокого обучения — даже при наличии огромного объема аннотированных человеком данных… Мы должны отходить от прямолинейного картирования „от входа к выходу“ и двигаться к рациональному рассуждению и абстракции»[369].

Обучение на основе рассуждения

Всякий раз, как вы ловите себя на обдумывании чего-либо, вы это делаете, поскольку еще не знаете ответа. Если у вас спрашивают номер только что купленного мобильного телефона, скорее всего, вы его не знаете. Вы думаете: «Итак, я не знаю номер. Как бы мне его выяснить?» Не являясь рабом сотового телефона, вы не представляете, как получить эту информацию, и спрашиваете себя: «Как бы мне установить способ, которым можно это выяснить?» На этот вопрос есть универсальный ответ: «Наверняка его написали на чем-то, что пользователям легко найти». (Это естественно!) Очевидные места — в верхней части основного экрана (не здесь), в приложении смартфона или в установках приложения. Вы набираете Settings>Phone — вот и он.

В следующий раз, когда у вас спросят номер, вы будете знать или его, или точный способ его найти. Вы помните процесс, и не только для этого телефона в данной ситуации, но для всех аналогичных телефонов во всех ситуациях, а именно — вы храните и повторно используете обобщенное решение задачи. Обобщение является обоснованным, поскольку вы понимаете, что особенности данного конкретного телефона и данной конкретной ситуации не относятся к делу. Вы были бы потрясены, если бы этот метод работал только по вторникам для телефонных номеров, оканчивающихся на 17.

Го демонстрирует прекрасный пример обучения аналогичного типа. На рис. 25(а) мы видим типичную ситуацию, когда черные угрожают захватить камень белых, окружив его. Белые пытаются вырваться из окружения, добавляя камни, соседствующие с исходным, но черные продолжают отрезать пути к бегству. Эта схема ходов образует лестницу из камней по диагонали через доску, в конце концов упирающуюся в край, когда белые больше ничего не могут сделать. Если бы вы играли белыми, то, вероятно, не захотели бы повторить эту ошибку. Вы поняли бы, что схема лестницы всегда приводит к последующему захвату при любой начальной ситуации и любом направлении, на любой стадии игры, независимо от того, играете вы белыми или черными. Единственное исключение возникает, если лестница упирается в какие-то дополнительные камни, принадлежащие убегающему. Универсальность схемы лестницы напрямую вытекает из правил го.

Примеры с забытым номером телефона и с лестницей в го иллюстрируют возможность обучения эффективным общим правилам на единственном примере — огромное отличие от миллионов примеров, необходимых для глубокого обучения. В сфере ИИ этот тип обучения называется обучением на основе объяснения: увидев пример, агент может самостоятельно объяснить, почему все обернулось подобным образом, и извлечь общий принцип, выяснив, какие факторы имеют решающее значение для объяснения.

Строго говоря, процесс как таковой не добавляет новое знание. Например, белые могли бы просто вывести существование и результат общей схемы лестницы из правил го, даже не видя пример[370]. Скорее всего, однако, белые никогда не узнали бы о понятии лестницы, если бы не увидели его пример. Таким образом, обучение на основе объяснения можно рассматривать как действенный метод сохранения результатов вычислений в генерализованном виде, без необходимости повторять один и тот же мыслительный процесс (или ту же самую ошибку, при несовершенном мыслительном процессе) в будущем.