Homo Roboticus? Люди и машины в поисках взаимопонимания - Джон Маркофф

На семинаре Хинтон и Сейновски встретились впервые. В Калифорнийском университете уже предложили новый подход к созданию модели работы мозга. Так называемая параллельная распределенная обработка была альтернативой символьному подходу, который тогда доминировал в области искусственного интеллекта и когнитивных наук. Двое исследователей быстро поняли, что смотрят на проблему одинаково. Они видели силу нового подхода на основе сетей датчиков, или «нейронов», взаимосвязанных представляющей силу связей матрицей параметров. Чтобы сеть распознавала образ при таком подходе, нужно было представить его в виде графа весовых коэффициентов. Этот подход оказался несравненно эффективней, чем первоначальная символьная модель искусственного интеллекта.

Все изменилось в 1982 г., когда бывший научный руководитель Сейновски по физике Джон Хопфилд создал то, что получило название нейронной сети Хопфилда. Подход Хопфилда отличался от прежних моделей нейронных сетей, созданных разработчиками первых персептронов, тем, что позволял отдельным нейронам независимо менять свои параметры. Свежий взгляд на идею нейронных сетей вдохновил Хинтона и Сейновски на тесное сотрудничество.

Молодые ученые к этому времени получили свои первые преподавательские должности: Хинтон – в Университете Карнеги – Меллона, Сейновски – в Университете Джона Хопкинса, но они достаточно крепко сдружились, чтобы четырехчасовая поездка не была препятствием для встреч по выходным. Было понятно, что найден способ превращения первоначальной модели нейронных сетей в более мощную обучающуюся систему. Они знали, что люди учатся путем наблюдений и обобщений, и сконцентрировались на имитировании этого процесса. Новый вид многослойной сети назвали «машиной Больцмана» в честь австрийского физика Людвига Больцмана. В эту модель они заложили более эффективный подход к машинному обучению и добились самого значительного прогресса со времени первого однослойного алгоритма обучения, разработанного Розенблаттом.

Политический спор вокруг персептронов миновал Сейновски. Как студент-физик, он был далек от мира искусственного интеллекта в конце 1960-х гг., когда Мински и Пейперт заварили бучу. Но он прочел книгу «Персептроны», и она понравилась ему прекрасными геометрическими построениями. Тогда он пропустил мимо ушей их вывод о том, что персептрон не удастся применить к миру многоуровневых систем. Теперь появилась возможность доказать, что они ошибались.

Хинтон и Сейновски создали альтернативную модель, но им нужно было доказать ее эффективность по сравнению с популярными в то время системами, основанными на правилах. Чтобы продемонстрировать преимущества новой технологии, Сейновски с помощью аспиранта в течение лета занимался проблемами языка, обучая свою нейронную сеть произносить английские фразы. В то время у него не было опыта в лингвистике, поэтому он пошел в школьную библиотеку и взял учебник с изложением правил произношения. Нужно было знать весь этот невероятно сложный набор правил и исключений, чтобы правильно говорить по-английски.

В разгар работы по созданию нейронной сети, способной освоить правильное произношение, в Балтимор приехал Хинтон. Он был настроен скептически.

«Вряд ли из этого что-то выйдет, – сказал он. – Английский – невероятно сложный язык, и простая сеть не освоит его».

Друзья решили начать с упрощенной версии языка. Они вновь отправились в библиотеку и нашли книжку для детей с очень небольшим набором слов. Теперь сеть была настроена на усвоение языка из детской книги. В течение часа после того, как система начала работать, исследователей одолевали сомнения. Сначала она генерировала невнятные звуки, похожие на лепет младенца, но по мере обучения их качество улучшалось. Наконец пара слов прозвучала правильно, и процесс продолжался до тех пор, пока речь не стала идеальной. Машина запоминала и общие правила, и исключения.

Исследователи вернулись в библиотеку и взяли другое учебное пособие, где на одной стороне страницы приводилась транскрипция рассказа пятиклассника о делах в школе и о поездке к бабушке, а на другой – правильное звучание каждого слова, транскрибированное фонологом. Это было то, что нужно для обучения, и информацию пропустили через нейронную сеть. Объем текстов был относительно небольшим, но система начала говорить, как пятиклассник. Исследователи были поражены и раззадорены.

Они взяли словарь на 20 000 слов и решили посмотреть, как далеко можно зайти с их нейронной сетью. На этот раз программу запустили на неделю на довольно мощном для того времени мини-компьютере VAX компании Digital Equipment Corp. Она училась, училась и училась и в конце концов стала произносить слова, которые раньше не видела. Результаты были удивительно хорошими.

Программа получила имя Nettalk. Она состояла из 300 смоделированных элементов, которые разработчики называли нейронами. Они были организованы в виде трех слоев – входного для считывания слов, выходного для генерирования речи и «скрытого», связывавшего первые два. Нейроны соединялись друг с другом с помощью 18 000 «синапсов» – связей, имевших численные значения, которые могли рассматриваться как веса. Если такие простые сети могли «учиться» слышать, видеть, говорить и в целом повторять многое из того, что делают люди, они, очевидно, были перспективным новым направлением и в сфере искусственного интеллекта, и в сфере усиления интеллекта.

После успеха с Nettalk пути Сейновски и Хинтона разошлись. Сейновски переехал в Калифорнию и стал работать в Институте Солка, где сосредоточился на теоретических проблемах нейробиологии. Занимаясь исследованиями мозга, он уверовал в силу разнообразия как базового принципа биологии и, таким образом, фундаментально отошел от пути, по которому шло развитие современных цифровых вычислений. Хинтон получил место в отделении информатики Торонтского университета и за следующие два десятилетия усовершенствовал машину Больцмана. К первоначальной контролируемой модели он добавил возможность неконтролируемого (автоматического) обучения. Интернет стал божьим даром, открыв доступ к огромным массивам изображений, видео– и аудиозаписей. Разработки двух исследователей в конечном итоге открыли новые возможности таким компаниям, как Google, Microsoft и Apple, горевшим желанием создать интернет-сервисы на основе распознавания речи и образов.

Полный разворот судьбы персептрона в какой-то мере связан и с правильно организованной пиар-кампанией, продолжавшейся не один год. Еще до первой встречи Сейновски и Хинтона в Сан-Диего пренебрежительным отзывом Сеймура Пейперта о персептроне заинтересовался способный молодой французский студент Ян Лекун. Увидев его, Лекун направился в библиотеку и проштудировал все что можно о способных обучаться машинах. Сын авиаинженера, он с детства возился с авиационной аппаратурой и был помешан на электронике еще до поступления в колледж. Лекун изучал астрофизику, но больше все же интересовался тонкостями программирования. Он прочитал всю литературу о персептроне, начиная с 1950-х гг., и пришел к выводу, что эту тему забросили. На начало 1980-х гг. пришелся расцвет экспертных систем, и никто не писал о нейронных сетях.

В Европе Лекун был одиноким рыцарем. На последнем курсе он изучал электротехнику и начал работу над диссертацией под руководством человека, который не имел представления о его теме. Вскоре после поступления в аспирантуру ему попалась малоизвестная статья Хинтона и Сейновски о машине Больцмана. «Я должен поговорить с этими ребятами! Похоже, только они что-то понимают», – подумал он.