Совместимость. Как контролировать искусственный интеллект - Стюарт Рассел

Последняя категория агентов, которую я рассмотрю, является самой простой. Это программы, напрямую связывающие восприятие с действием без какого-либо промежуточного обдумывания или мыслительного процесса. В сфере ИИ программа такого типа называется рефлекторным агентом, что отсылает нас к нервным рефлексам нижнего уровня у человека и животных, не связанных мышлением[77]. Например, рефлекс моргания у человека соединяет выходные сигналы низкоуровневых цепей обработки данных зрительной системы непосредственно с двигательной зоной, управляющей веками, так что любая быстро появляющаяся область в поле зрения вызывает сильное моргание. Вы можете проверить это прямо сейчас: попробуйте ткнуть себя (не слишком сильно) пальцем в глаз. Эту рефлекторную систему можно рассматривать как простое «правило» в следующем виде:

Мигательный рефлекс «не знает, что делает»: задача (защитить глазное яблоко от инородных предметов) нигде не представлена; знание (что быстро движущаяся область соответствует предмету, приближающемуся к глазу, и что предмет, приближающийся к глазу, может его повредить) также нигде не представлено. Поэтому, когда нерефлекторная часть вас хочет закапать лекарство в глаза, рефлекторная часть все равно моргает.

Другой всем известный рефлекс — экстренное торможение, когда впереди идущая машина неожиданно останавливается или на дорогу шагает пешеход. Быстро решить, нужно ли тормозить, нелегко: в 2018 г., после того как экспериментальный автомобиль на автопилоте убил пешехода, компания Uber объяснила, что «маневр экстренного торможения запрещен, когда транспортное средство находится под компьютерным управлением, во избежание возможного неуправляемого поведения транспортного средства»[78]. Таким образом, задача разработчика очевидна — не убивать пешеходов, — но политика агента (если он активирован) некорректно ее реализует. Опять-таки задача в агенте не представлена: никакое автономное транспортное средство сегодня не знает, что людям не нравится, когда их убивают.

Рефлекторные действия участвуют и в таких более рутинных задачах, как соблюдение рядности: если автомобиль хотя бы минимально отклонится от идеального положения в ряду, простая система контроля с обратной связью может повернуть рулевое колесо в противоположном направлении и исправить отклонение. Величина поворота будет зависеть от того, насколько быстро машина смещается в сторону. Контрольные системы этого типа обычно разрабатываются так, чтобы минимизировать квадрат бокового отклонения, нарастающего со временем. Разработчик создает закон управления с обратной связью, по которому при определенных условиях в отношении скорости и кривизны дороги приближенно реализуется эта минимизация[79]. Аналогичная система действует всякий раз, когда вы идете и затем останавливаетесь; если бы она прекратила работать, вы тут же упали бы. Как и в случае мигательного рефлекса, довольно трудно отключить этот механизм и позволить себе упасть.

Итак, рефлекторные агенты выполняют задачу разработчика, но не знают, в чем она заключается и почему они действуют определенным образом. Из этого следует, что они не могут в действительности принимать решения сами; кто-то другой, обычно разработчик или процесс биологической эволюции, должен все решить заранее. Очень трудно создать хорошего рефлекторного агента путем обычного программирования, за исключением очень простых задач наподобие игры в крестики-нолики или экстренного торможения. Даже в этих случаях рефлекторный агент крайне негибок и не может изменить свое поведение, если обстоятельства указывают, что реализуемая политика уже не годится.

Одним из способов создания более мощных рефлекторных агентов является процесс обучения на примерахГ. Вместо того чтобы устанавливать правила поведения или задавать функцию вознаграждения либо цель, человек может дать примеры решения проблем и верное решение для каждого случая. Например, мы можем создать агента-переводчика с французского языка на английский, предоставив примеры предложений на французском языке с правильным переводом на английский. (К счастью, парламенты Канады и ЕС ежегодно создают миллионы таких примеров.) Затем алгоритм контролируемого обучения обрабатывает примеры и создает комплексное правило, которое берет любое предложение на французском языке в качестве входа и делает перевод на английский язык. Нынешний чемпион среди обучающихся алгоритмов машинного перевода является разновидностью так называемого глубокого обучения и создает правило в виде искусственной нейронной сети с сотнями слоев и миллионами параметровГ. Другие алгоритмы глубокого обучения оказались очень хороши для классифицирования объектов в изображениях и распознавания слов в речевом сигнале. Машинный перевод, распознавание речи и визуальных объектов — три самые важные подобласти в сфере ИИ, поэтому перспективы глубокого обучения вызывают такой энтузиазм.

Можно почти бесконечно спорить о том, приведет ли глубокое обучение напрямую к ИИ человеческого уровня. По моему мнению, которое я прокомментирую в дальнейшем, оно далеко отстает от необходимогоГ, но пока давайте сосредоточимся на том, как эти методы вписываются в стандартную модель ИИ, в которой алгоритм оптимизирует фиксированную задачу. Для глубокого обучения, как и для любого контролируемого обучающегося алгоритма, «вводимая в машину задача» обычно состоит в максимизации предсказательной точности, или, что то же самое, минимизации ошибок. Это во многом кажется очевидным, но в действительности имеет два варианта понимания, в зависимости от того, какую роль выученное правило должно играть во всей системе. Первая роль — это восприятие: сеть обрабатывает сенсорный входной сигнал и выдает информацию остальной системе в форме вероятностных оценок воспринимаемого. Если это алгоритм распознавания объектов, он может сказать: «70 % вероятность, что это норфолкский терьер, 30 % вероятность, что это норвичский терьер»[80]. Остальная система решает, какое внешнее действие предпринять на основе этой информации. Такая задача, связанная с восприятием, беспроблемна в следующем смысле: даже «безопасная» сверхинтеллектуальная ИИ-система, в противоположность «небезопасной», основанной на стандартной модели, должна иметь как можно более точную и отлаженную систему восприятия.