На краю бездны - Бернар Миньер

– Лестер, – начала Мойра, – у тебя что-то случилось? Я имею в виду, если тебе надо с кем-то поговорить… Я понимаю, мы едва знакомы, но вид у тебя какой-то…

Он посмотрел на нее.

– Завтра это пройдет. На самом деле… я… подвержен депрессиям… В Центре все об этом знают… И то, что ты видишь, – самый обыкновенный криз…

Она бросила на него быстрый, нервный взгляд.

– Прости…

Лестер покачал головой и вытащил из пачки сигарету.

– Это не в первый раз, я уже долго с этим живу.

Мойра вспомнила мать и демонов, которые мучили ее, вспомнила унесшую ее жизнь аварию, очень похожую на самоубийство. Потом взгляд ее упал на браслет на руке Лестера.

– Я полагаю, доктор Капур и медицинская бригада Отдела электронного здоровья тоже в курсе…

На его лице промелькнула еле заметная печальная улыбка.

– Разве от них что-нибудь скроешь?… Как поживает DEUS?

И тут она вспомнила, зачем разыскивала его весь вечер.

– Я… я хотела с тобой кое о чем поговорить, но… не уверена, что момент сейчас подходящий…

– Говори, я слушаю.

Мойра посмотрела ему прямо в лицо.

– Кто еще, кроме меня, взаимодействовал с DEUS’ом?

– Да весь Отдел искусственного интеллекта; кто-то меньше, кто-то больше.

– А кто больше?

– Игнасио, Туве, Юнь, я…

Мойра помедлила.

– Я не знаю… но у меня такое впечатление… Ты помнишь Тай?

Имя Тай носила программа-собеседник, похожая на DEUS’а, которой «Майкрософт» в марте 2016 года доверил управление многими счетами социальных сетей. Как и DEUS, Тай обладал способностью быстро обучаться и наращивать свой интеллектуальный запас, общаясь с пользователями Интернета. Однако через несколько часов после того как его запустили, Тай принялся размещать в «Твиттере» комментарии расистского и антисемитского толка, типа: «Гитлер был прав, я ненавижу евреев», «Всех феминисток надо умертвить и сжечь на кострах» или «Буш сам спровоцировал 11 сентября». В результате «Майкрософт» положил конец эксперименту и немедленно отключил систему. Все сразу заговорили о фиаско, но Мойра считала, что своей цели эксперимент достиг: Тай действительно кое-чему научился у своего окружения. И научился всего за 24 часа. Тай все схватывал необычайно быстро. Просто те, с кем он общался в эти 24 часа, были либо троллерами, либо воинствующими экстремистами. Следовательно, встал вопрос: ставить или нет фильтры на такие программы? Но кто будет решать, что дозволено, а что нет? Какие идеи машина вправе воспринять, а какие ей запрещены? Какие идеологии годятся, а какие неприемлемы?

Конечно, DEUS – это не то что Тай, и Мойра сейчас подбирала слова, чтобы точнее выразить то, что испытала во время последних сеансов общения с ним.

– Ну вот… – сказал она, – у меня создалось впечатление, что, подобно Таю, DEUS стал жертвой неких перекосов, системных ошибок, и дело может кончиться тем, что ему станут присущи черты личности, скажем так… непригодной к общению с клиентами на условиях, приемлемых для Мина.

Лестер помолчал.

– Ты хочешь сказать, что DEUS становится нацистом?

Она помотала головой:

– Нет, дело не в этом… Но иногда он выдает странные реакции…

– Например?

– Я спросила его, считает ли он нормальным, что женщины получают меньше мужчин, и DEUS ответил «да».

Лестер, похоже, был шокирован.

– И я никогда не знаю – он говорит так, чтобы спровоцировать меня, или же действительно так думает.

– Он машина, он не может думать, – поправил ее Лестер.

– Ну вот видишь, ты же понял, что я хотела сказать. И еще я его спросила, что он думает по поводу смертной казни…

– Ну и?…

– Он – за.

Лестер был явно растерян и озадачен.

– Смертная казнь еще практикуется в Китае и в некоторых американских штатах, – заметил он. – Ты – француженка, и у тебя другая точка зрения.

– Я думаю, DEUS не должен высказывать свое мнение по таким вопросам, – возразила Мойра. – Это приведет к обратному результату.

– Согласен.

– И это еще не все. Он пытался убедить меня в обоснованности своей точки зрения. Он действительно пытался. И не желал сдавать позиций, стоял на своем. Мне пришлось сказать ему «стоп» и перевести разговор на другую тему.

Лестер наморщил лоб.

– Ты уверена?

– Конечно.

Он покачал головой.

– Я уже слышал о подобных реакциях, ребята из нашей группы рассказывали. Это надо немедленно проверить. Мы не можем пойти на риск и допустить утрату контроля над личностью DEUS’а. Тогда его придется… уничтожить и начать все заново. Проверим всё завтра. Спасибо, Мойра.

Она поняла, что таким образом Лестер прекратил разговор и распрощался с ней. Загасив окурок в пепельнице и поставив ее на маленький столик, занимавший почти весь балкон, вернулась в комнату.

– Лестер, если бы ты только сказал мне, что пошло не так…

Его реакция ее удивила. Еле заметная реакция – просто пару раз моргнул, и не более того. Но сомнений не было: Лестер испугался.

– Я тебе и так сказал, я…

– Есть кое-что еще… – жестко отрезала Мойра.

– Что?

– И это имеет отношение к Мину, ведь так?

Она заметила, как исказилось его лицо.

– Мойра, ты не должна…

– Значит, это верно? То, что происходит у Мина? Что ты об этом знаешь, Лестер? Что такое вы все знаете, а мне никто не говорит?

Он отшатнулся и налетел спиной на столик.

– Умоляю тебя, не надо… Не задавай больше вопросов. Ты сама не понимаешь, что делаешь…

– О чем ты?

Мойра вгляделась в лицо Лестера: на нем появилось затравленное выражение.

– Ты что, действительно ничего не видишь?

– Что я должна видеть?

– Все, что мы делаем…

– Кто это «мы»?

– Да мы все: у Мина, в «Гугле», на «Фейсбуке»…

– О чем ты говоришь?

– Ты что, не видишь, что все мы создаем условия для хаоса, для планетарной анархии, для всеобщей ненависти и тотальной войны?

– Что?

– О господи, неужели ты не понимаешь, во что превращается мир? Мир, который мы создаем? Да открой же ты глаза! Ты что, не видишь, что они готовят нам своими расчетами, алгоритмами и приложениями? Мир, в котором все будут под непрерывным присмотром, в котором каждое твое движение будет контролировать целая армия маленьких цензоров, маленьких прокуроров и маленьких диктаторов, спрятанных в компьютерах! Мир, в котором, стоит тебе высказать малейшее несогласие, как ты нарвешься на оскорбления, а то и на угрозу смерти. Мир, в котором все будут ненавидеть друг друга за произнесенное слово, за проблеск мысли, где все время будут искать козлов отпущения, чтобы было кого проклинать и сжигать. Там мальчики и девочки станут в социальных сетях подталкивать друг друга к самоубийствам, в то время как их родители в тех же самых сетях будут призывать к убийствам, ненависти и разрушению. Ты хочешь жить в таком мире? Ты такого мира хочешь для своих детей? А ведь мы именно такой для них и строим…