Миры, которые я вижу. Любопытство, исследования и открытия на заре ИИ - Fei-Fei Li

изобилие еды поражало воображение. В комнатах отдыха было больше закусок, напитков и профессионального оборудования для приготовления эспрессо, чем в Стэнфорде или Принстоне, а практически в каждом здании Google такая комната была на каждом этаже. И все это еще до того, как я попал в кафетерии.

Далее последовали технологии. После стольких лет, проведенных в нервотрепке из-за нестабильных проекторов и неудачных продуктов для видеоконференций 2000-х годов, совещания в Google были похожи на что-то из научной фантастики. Современная система телеприсутствия была встроена в каждую комнату, от залов заседаний, рассчитанных на пятьдесят человек, до кабинок размером со шкаф для одного, и все активировалось одним нажатием на сенсорный экран.

А еще был талант - просто поразительная глубина таланта. Я не мог не покраснеть, вспоминая два изнурительных года, которые ушли на то, чтобы привлечь трех коллег для помощи в создании окружающего интеллекта для больниц. Здесь же в первый день меня ждала команда из пятнадцати человек, готовая к работе. И это было только начало - всего за восемнадцать месяцев мы выросли в двадцать раз. Доктора наук с блестящими дипломами, казалось, были повсюду, и это укрепляло ощущение, что все возможно. Каким бы ни было будущее ИИ, Google Cloud стал для меня окном в мир, который мчался к нему так быстро, как только мог.

Мои пятницы в Стэнфорде только подчеркивали это сравнение, поскольку слух о моей новой должности распространился, и запросы на стажировку стали ежедневным явлением. В какой-то степени это было понятно, поскольку мои студенты (и иногда профессора) просто делали все возможное, чтобы наладить связи. Однако меня беспокоило то, что все без исключения разговоры на эту тему заканчивались одним и тем же: что наиболее интересные для них исследования невозможны вне частной лаборатории. Даже в таком месте, как Стэнфорд, бюджеты просто не были достаточно большими. Часто они даже не были близки к этому. Корпоративные исследования были не просто более прибыльным вариантом, но и все чаще единственным.

И наконец, были данные - товар, на котором основывался весь бренд Google. ImageNet стал моим первым взглядом на потенциал данных в достаточно большом масштабе, и почти все мои исследования с тех пор строились на этой идее. Десятилетия моделей автомобилей с Джоном, кипы фотографий в паре с описаниями с Андреем, целая страна из изображений Street View и записей Бюро переписи населения с Тимнитом - объемы данных продолжали расти, а вместе с ними росли и возможности ИИ. Теперь меня окружало не только неописуемое изобилие, но и категории, о которых я раньше даже не подозревал: данные от сельскохозяйственных предприятий, стремящихся лучше понять растения и почву, данные от клиентов из медиаиндустрии, желающих упорядочить свои библиотеки контента, данные от производителей, работающих над сокращением дефектов продукции, и многое другое.

По мере того как тянулись месяцы, я ходил туда-сюда, балансируя между двумя учреждениями, которые лучше всего подходят для того, чтобы внести свой вклад в будущее ИИ. Оба были полны талантов, творчества и видения. Оба имели глубокие корни в истории науки и техники. К ним даже можно было добраться по одной и той же автостраде, расположенной всего в нескольких выездах на 101-е шоссе. Но только у одной из них, похоже, хватало ресурсов для адаптации, поскольку барьеры на пути к успеху росли, как гора, возвышающаяся над горизонтом, а ее пик был намного выше облаков.

Мои мысли постоянно возвращались к тем восьмистам графическим процессорам, пробивающим себе дорогу через вычислительную нагрузку, которую профессор и ее студенты даже не могли себе представить. Так много транзисторов. Столько тепла. Столько денег. Слово "головоломка" не передавало того ужаса, который я начинал испытывать.

ИИ становился привилегией. Исключительно эксклюзивной.

 

Еще со времен ImageNet было ясно, что масштаб важен, но в последние годы это понятие приобрело почти религиозное значение. Средства массовой информации были перенасыщены стоковыми фотографиями серверных помещений размером с городской квартал и бесконечными разговорами о "больших данных", укрепляя идею масштаба как своего рода магического катализатора, призрака в машине, который отделял старую эру ИИ от бездыханного, фантастического будущего. И хотя анализ мог стать немного упрощенным, он не был ошибочным. Никто не мог отрицать, что нейронные сети действительно процветали в эпоху изобилия: ошеломляющие объемы данных, массивные многоуровневые архитектуры и акры взаимосвязанного кремния действительно привели к историческим изменениям.

Что это означало для науки? Что это говорит о наших усилиях как мыслителей, если секрет нашей работы может быть сведен к чему-то столь голому, количественному? К тому, что в конечном итоге кажется грубой силой? Если идеи, которые, казалось бы, проваливались при слишком малом количестве слоев, или слишком малом количестве обучающих примеров, или слишком малом количестве GPU, внезапно оживали, когда их количество просто достаточно увеличивалось, какие уроки мы должны были извлечь о внутренней работе наших алгоритмов? Все чаще и чаще мы обнаруживали, что наблюдаем за ИИ эмпирически, как будто он возникает сам по себе. Как будто ИИ - это нечто, что нужно сначала определить, а потом понять, а не разрабатывать на основе первых принципов.

Характер наших отношений с искусственным интеллектом менялся, и это было интригующей перспективой для ученого. Но с моего нового места работы в Google Cloud, откуда с высоты птичьего полета открывается вид на мир, все больше зависящий от технологий на всех уровнях, сидеть сложа руки и удивляться тому, что все это происходит, было роскошью, которую мы не могли себе позволить. Все, что могло делать это новое поколение ИИ - хорошее или плохое, ожидаемое или иное, - было осложнено отсутствием прозрачности, присущей его конструкции. Тайна была вплетена в саму структуру нейронной сети - некоего колоссального множества крошечных, тонко взвешенных единиц принятия решений, бессмысленных по отдельности, ошеломляюще мощных при организации в самых больших масштабах и, таким образом, практически не поддающихся человеческому пониманию. Хотя мы могли говорить о них в некотором теоретическом, отстраненном смысле - что они могут делать, какие данные им нужны для этого и каков общий диапазон их характеристик после обучения, - что именно они делают внутри, от одного обращения к другому, было совершенно непрозрачно.

Особенно тревожным следствием этого факта стало появление угрозы, известной как "атаки противника", при которых исходные данные подготавливаются с единственной целью - запутать алгоритм машинного обучения, чтобы добиться неинтуитивных и даже разрушительных целей. Например, фотография, на которой, казалось бы, изображено нечто однозначное - жираф на фоне голубого неба, - может быть изменена с помощью тонких колебаний цветов отдельных пикселей, которые, хотя