Совместимость. Как контролировать искусственный интеллект - Стюарт Рассел

В настоящее время мы знаем, как это сделать в относительно простых случаях, но для более сложных теорий количество возможных новых понятий, которые можно было бы ввести, становится просто колоссальным. Это делает нынешний успех методов глубокого обучения в сфере компьютерного зрения еще более интригующим. Глубокие сети обычно с успехом ищут полезные промежуточные признаки, такие как глаза, ноги, полосы и углы, хотя пользуются очень простыми алгоритмами обучения. Если бы мы смогли лучше понять, как это происходит, то применили бы тот же подход к формированию новых понятий на более выразительных языках, необходимых для науки. Это само по себе стало бы громадным благом для человечества, а также заметным шагом на пути к универсальному ИИ.

Обнаружение действий

Способность к разумному поведению в течение длительного периода времени требует навыка иерархического планирования и управления своими действиями на многочисленных уровнях абстрагирования — в широком спектре от написания докторской диссертации (триллион действий) до единичной команды системы управления движением, передаваемой пальцу, напечатания одного символа в сопроводительном письме к заявке на грант.

Наши действия структурированы в сложные иерархии с десятками уровней абстрагирования. Эти уровни и входящие в них действия являются принципиально важным элементом нашей цивилизации и передаются от поколения к поколению посредством языка и практических навыков. Например, такие действия, как поимка дикого кабана, обращение за визой или покупка билета на самолет, могут включать миллионы примитивных действий, но мы можем рассматривать их как единые комплексы, поскольку они уже входят в «библиотеку» действий, описанных нашей речью и культурой, а также потому, что мы (примерно) знаем, как они выполняются.

Когда высокоуровневые действия попадают в библиотеку, мы может последовательно составлять из них действия еще более высокого уровня, такие как празднование летнего солнцестояния всем племенем или археологические раскопки летом в отдаленной части Непала. Попытка спланировать подобные мероприятия с нуля, начав с шагов управления движением самого нижнего уровня, обречена на провал, поскольку они включают миллионы или миллиарды шагов, многие из которых практически непредсказуемы. (Где будет найден дикий кабан и в какую сторону побежит?) Напротив, имея в библиотеке соответствующие высокоуровневые действия, нужно запланировать лишь около десятка шагов, поскольку каждый шаг представляет собой большой фрагмент общего действия. На это способен даже маломощный человеческий мозг, однако это дает нам «суперсилу» для долгосрочного планирования.

Были времена, когда подобных действий как таковых не существовало. Например, чтобы получить право на полет на самолете в 1910 г., нужно было пройти долгий, затратный и непредсказуемый процесс изучения вопроса, написания писем и переговоров с пионерами авиации. В библиотеку добавились и другие действия: мы пишем электронные письма, гуглим и пользуемся Uber. В 1911 г. Альфред Норт Уайтхед писал: «Цивилизация развивается, расширяя количество важных операций, которые мы можем осуществлять не задумываясь»[127].

Знаменитая обложка Сола Стейнберга для журнала The New Yorker (рис. 6) блистательно демонстрирует в пространственной форме, как интеллектуальный агент управляет собственным будущим. Непосредственное будущее исключительно тонко детализировано — в действительности мой мозг уже загрузил конкретные последовательности актов двигательного контроля для того, чтобы напечатать следующие слова. Если заглянуть немного вперед, деталей становится меньше: так, я планирую закончить этот раздел, перекусить, написать еще фрагмент и посмотреть, как Франция играет с Хорватией в Кубке мира. Еще дальше в будущем мои планы становятся более обширными, но и более расплывчатыми: вернуться из Парижа в Беркли в начале августа, прочитать курс аспирантам и закончить эту книгу. По мере движения индивида во времени будущее приближается к настоящему, и планы становятся более подробными, тогда как могут появиться и новые неопределенные планы на более отдаленное будущее. Планы ближайшего будущего становятся такими подробными, что исполняются напрямую системой управления движением.

В настоящее время у нас имеются лишь некоторые фрагменты этой общей картины для ИИ-систем. При наличии иерархии абстрактных действий, в том числе знания о том, как систематизировать каждое из абстрактных действий в подраздел, состоящий из конкретных действий, у нас есть алгоритмы, которые могут составить комплексные планы достижения поставленных целей. Это алгоритмы, способные выполнять абстрактные иерархические планы так, что у агента всегда имеется «готовое к исполнению» примитивное физическое действие, даже если будущие действия остаются абстрактными и пока невыполнимы.

Главным отсутствующим элементом пазла является метод построения иерархии абстрактных действий. Например, можно ли начинать с нуля, когда робот будет знать только, что может посылать разные электрические токи к различным двигателям, и самостоятельно выяснять, какие действия нужно предпринять, чтобы стоять? Важно понимать, что я не спрашиваю, можем ли мы научить робота стоять, — это легко сделать методом обучения с подкреплением, вознаграждая робота за то, что его голова остается как можно дальше от пола[128]. Чтобы научить робота стоять, обучающий его человек уже должен знать, что значит стоять, и идентифицировать правильный вознаграждающий сигнал. Мы хотим, чтобы робот самостоятельно узнал, что стояние — это полезное абстрактное действие, обеспечивающее выполнение обязательного условия (пребывание в вертикальном положении) для того, чтобы ходить, бегать, здороваться за руку, или заглядывать в окно, следовательно, является частью многих абстрактных планов достижения всевозможных целей. Аналогично мы хотим, чтобы робот овладел для себя такими действиями, как перемещение с одного места на другое, подбирание предметов, открывание дверей, завязывание узлов, приготовление ужина, поиск моих ключей, строительство домов, и многими другими, не имеющими названия ни на одном человеческом языке, потому что мы, люди, их еще не открыли.

Я считаю эту способность самым важным шагом на пути к достижению ИИ человеческого уровня. Это стало бы, если снова воспользоваться фразой Уайтхеда, расширением количества важных операций, которые ИИ-системы способны выполнять не задумываясь. Многочисленные исследовательские группы по всему миру упорно трудятся над решением этой проблемы. Например, в статье компании DeepMind от 2018 г. о достижении человеческого уровня в компьютерной игре Quake III Arena Capture the Flag утверждается, что их обучающаяся система «по-новому конструирует временное иерархическое пространство представлений для обеспечения… согласованных по времени последовательностей действий»[129]. (Я не вполне понимаю, что имеется в виду, но это, определенно, похоже на приближение к цели изобретения новых высокоуровневых действий.) Я подозреваю, что у нас пока нет полного ответа, но это достижение, которое может случиться в любой момент, когда удастся просто правильным образом свести воедино уже имеющиеся идеи.