Миры, которые я вижу. Любопытство, исследования и открытия на заре ИИ - Fei-Fei Li

среды на организмы, живущие в ней? Даже сейчас наше познание несет на себе отпечаток мира, населенного бесчисленными поколениями предков, которые жили, умирали и со временем приспосабливались. Именно это делает выводы Торпа и Бидермана и даже нашей лаборатории в Калтехе столь поразительными: мы распознаем естественные образы почти мгновенно, потому что именно такие сенсорные стимулы - данные, другими словами, - сформировали нас. ImageNet - это шанс дать нашим алгоритмам тот же опыт: ту же широту, ту же глубину, ту же впечатляющую беспорядочность.

Наконец, после множества обескураживающих бесед, которых мне хватило бы на всю жизнь или две, я встретил своего первого сторонника. Профессор Кай Ли, ведущий специалист в области архитектуры микропроцессоров - искусства компоновки миллионов и миллионов транзисторов нанометрового размера в самые сложные устройства в мире, - понимал силу экспоненциального мышления лучше других. Он верил, что я что-то задумал, и, хотя он не мог внести свой вклад напрямую, поскольку наши области были лишь слабо связаны в рамках факультета информатики , он знал, что нам понадобится серьезная вычислительная мощность, чтобы начать работу. Не задумываясь, он пожертвовал нам начальный комплект рабочих станций. Это было именно то проявление поддержки, в котором я нуждался.

Кай был единственным китайским иммигрантом среди преподавателей информатики в Принстоне. Он родился в 1950-х годах и принадлежал к поколению, которое оказалось в числе первых студентов, поступивших в колледж после Культурной революции, и в итоге приехал в Америку, чтобы поступить в аспирантуру в 1980-х годах - в период, когда такая иммиграция была редкостью, а достойных доверия сверстников было мало. Этот опыт оставил в нем колоритную личность, сочетающую в себе интеллектуальную интенсивность моей матери и сдержанный юмор моего отца. Кай выглядел как профессор, с черными волосами, уложенными на бок, и строгим гардеробом. Но у него была теплая улыбка и щедрая душа. Мы быстро сблизились.

Чем больше я узнавал о Кае, тем больше начинал понимать, почему он рассматривал мои идеи в более благоприятном свете, чем другие. Он завоевал репутацию пионера в области эффективного соединения микропроцессоров с огромными хранилищами памяти и стал одним из основателей компании, которая коммерциализировала его исследования и в итоге была продана за более чем 2 миллиарда долларов. Он не только рано поверил в силу больших данных, но и был экспертом по их использованию. К сожалению, он также находился на пороге длительного отпуска по личным обстоятельствам, что прервало мое пребывание в качестве его протеже. Однако положительным моментом в его уходе стала необходимость найти нового советника для необычайно способного студента по имени Цзя Дэн. Кай описывал его как идеального сотрудника: молодой ум с неистощимым инженерным талантом, жаждущий новых испытаний.

Кай и Цзя были полярными противоположностями во многих отношениях. Если Кай был веселым и общительным, то Цзя - сдержанным. Если Кай носил свою страсть на рукаве, то отношение Цзя было настолько безэмоциональным, что я боялась, что не смогу понять, заинтересовала ли его наша работа. Из наших первых разговоров я понял, что он просто гениален - это было бы очевидно даже без рекомендации Кая, - но я никогда не встречал никого, кто мог бы так полностью скрыть накал своего интеллекта.

Если говорить о мозге, то мое внимание привлек статус Цзя как новичка в этой области. Его необычное происхождение не только наделило его инженерными навыками такого уровня, которые вряд ли есть у среднего студента, изучающего компьютерное зрение, но и избавило его от бремени ожиданий. Это был нестандартный, если не сказать рискованный проект, и он далеко не соответствовал тогдашней моде в этой области. Цзя этого не знал.

И вот мы, команда из двух человек, приступили к проекту, который, казалось, должен был потребовать тысячи участников, если не больше, и все это ради гипотезы, которую большинство моих коллег отвергали с порога. На бумаге все это не имело смысла. Но впервые в жизни я почувствовал уверенность, которую не нужно было подвергать сомнению. Неважно, сколько времени это займет, я был уверен, что у нас получилось что-то грандиозное. Возможно, так сложилось исторически.

 

Я откинулся на спинку кресла и шумно выдохнул, поворачивая стул, чтобы осмотреть голые стены моего нового офиса в здании компьютерных наук в Принстоне. Несмотря на то что я работаю уже почти четыре месяца, большую часть пространства у моих ног по-прежнему занимали частично открытые картонные коробки. Джиа сидела напротив меня на диване, который на данный момент представлял собой все мои усилия по оформлению интерьера.

"Хорошо. Давайте посмотрим, сможем ли мы оценить масштаб этой штуки".

Используя WordNet в качестве отправной точки, мы начали с того, что вычистили из него жир. Несмотря на то, что его преимуществом был невероятный размер и детализация, мы знали, что большая часть его содержимого нам не понадобится. ImageNet предназначался для описания мира вещей, а не действий или описаний, поэтому наши первые отсечения были очевидны: глаголы и прилагательные. Но даже с существительными было сложно: абстрактные понятия, такие как "истина" или "осознание", например, не могут быть сфотографированы. В список попали только существительные, обозначающие физические объекты - вообще говоря, вещи, достаточно осязаемые, чтобы их можно было сосчитать: один предмет, два предмета, сто предметов. Все остальное было вычеркнуто.

В общем, мы вырезали большую часть из 140 000 записей WordNet, оставив визуальное, поддающееся подсчету подмножество чуть больше 22 000. Это все еще было во много раз больше, чем любая коллекция обучающих изображений для машинного обучения, о которой я когда-либо слышал, но это было значительное сокращение по сравнению с тем, с чего мы начали. И это было поразительно близко к оценке Бидермана в 30 000.

"А как насчет разнообразия?" спросила Цзя. "Сколько разных изображений нам нужно для каждой категории?"

А, подумал я. Ну вот, теперь мы куда-то попали.

"Давайте мыслить биологически", - сказал я. "Как растут дети? Как развивался наш вид? Реальный мир - это сплошной беспорядок, верно? Ничто не бывает черно-белым. Все меняется. И все же мы учимся разбираться в нем. Мы живем внутри всех этих деталей и, естественно, становимся экспертами". Я поднял кружку, стоявшую на моем столе. "Но вы спрашивали о числах. Так скажите мне, в скольких вариантах эта кружка может появиться на фотографии?"

Цзя на мгновение задумался. "Во-первых, это размер. Он может выглядеть больше или меньше в зависимости от того, насколько близко он находится к камере".

"Верно. Но мне нужно количество. Сколько разных размеров?"

Он снова задумался, потом пожал плечами.