Неуязвимость. Отчего системы дают сбой и как с этим бороться - Андраш Тилчик

Чем больше Перроу узнавал об аварии на АЭС Three Mile Island, тем больший интерес его охватывал. Это была крупная катастрофа, но причины ее вполне тривиальны: она произошла не из-за сильного землетрясения или большой технологической ошибки, а стала следствием ряда небольших сбоев: некачественно проведенные слесарные работы на трубопроводе, застрявший клапан компенсатора давления и неправильно понятый световой индикатор.

Эта авария развивалась стремительно. Только подумайте: изначальная ошибка при обслуживании труб; последующее отключение насосов, нагнетавших горячую воду в парогенератор; рост давления в активной зоне реактора; открытие компенсаторного клапана и неудача при его закрытии, а также ошибочное указание датчика положения клапана – все это произошло в течение тринадцати секунд. За десять минут был нанесен непоправимый ущерб реактору АЭС.

Перроу было понятно, что обвинять во всем операторов станции – это нечестный прием. Официальное расследование изображало коллектив смены АЭС главными виновниками аварии, но Перроу осознавал, что их ошибки кажутся таковыми только при суждении задним числом. Он назвал их «ретроспективными ошибками»{31}.

Возьмем, например, главную из этих ошибок – предположение операторов, что в реакторе находилось слишком много, а не слишком мало воды. Когда техники сделали это предположение, доступные им показания датчиков не свидетельствовали о том, что уровень охлаждающей жидкости в реакторе был слишком низким. По их представлениям, никакой опасности перегрева твэлов не было. Поэтому они сосредоточились на другой серьезной проблеме: риске переполнения системы. Хотя некоторые показания приборов и могли бы помочь установить истинную проблему, операторы посчитали, что это – результат ошибки измерительных инструментов. И такой вывод был вполне обоснован: ряд приборов действительно работал неправильно. До того как расследование установило невероятное стечение небольших сбоев, принимаемые операторами решения выглядели вполне логичными.

Такой вывод был пугающим. Происходит одна из самых ужасных аварий в истории атомной отрасли, но ее нельзя объяснить явными человеческими ошибками или значительным внешним воздействием. Она произошла из-за комбинации незначительных сбоев, которые соединились самым причудливым образом.

По мнению Перроу, авария на Three Mile Island была не аномальным событием, а проявлением фундаментальных свойств атомной электростанции как системы. Инцидент развивался скорее под воздействием связей между различными частями системы, чем по вине самих ее частей{32}. Влага, попавшая в систему сжатого воздуха, не составила бы большой проблемы сама по себе. Но из-за связи этой системы с работой насосов, парогенератора, целого ряда клапанов и задвижек и в конечном счете реактора возникшая в ней проблема оказала столь большое влияние на ситуацию.

В течение многих лет Перроу и группа его учеников продирались сквозь частокол мельчайших деталей сотен аварий и чрезвычайных происшествий – от авиакатастроф до взрывов на химических предприятиях. И везде возникала одна и та же картина: разные части системы неожиданно вступали во взаимодействие друг с другом, причудливым образом сочетались небольшие сбои, а люди не понимали, что же происходило на самом деле.

По концепции Перроу, системы оказываются подвержены таким срывам под воздействием двух факторов. Если мы это осознаем, то сможем определить, какие из систем являются наиболее уязвимыми.

Первый фактор касается того, как различные части системы взаимодействуют друг с другом. Некоторые системы линейны: это как сборочный конвейер на автомобильном заводе, где все происходит в легко предсказуемой последовательности. Каждая машина проходит от первого узла сборки ко второму, затем к третьему и так далее. На каждом из этих этапов на нее устанавливаются различные детали. И если на каком-то из них происходит сбой, то сразу становится очевидным, на каком именно. Понятны также и последствия: машины могут не достигнуть следующего сборочного узла и скопиться на том, где произошел сбой. В системах такого рода различные их части взаимодействуют друг с другом преимущественно в очевидном и предсказуемом режиме.

Другие системы, такие как АЭС, являются более сложными: их части с большей вероятностью вступают в скрытое или неожиданное взаимодействие. Сложные системы скорее похожи на тонкую паутину, чем на сборочный конвейер. Многие их части находятся в тесной связи и могут легко воздействовать одна на другую. Даже, казалось бы, не имеющие друг к другу отношения части могут быть связаны косвенно, а некоторые подсистемы взаимодействуют со многими частями основной системы. Поэтому, когда что-то идет не так, проблемы «выскакивают» везде, и сложно сделать однозначный вывод о том, что вообще происходит.

Усложняет ситуацию тот факт, что значительная часть работы сложных систем проходит незаметно для невооруженного глаза. Представьте, что вы идете по тропе, которая спускается по краю скалы. Вы находитесь всего в нескольких шагах от пропасти, но вас оберегают ваши органы чувств. Ваша голова и глаза сконцентрированы на том, чтобы не дать вам оступиться или подойти слишком близко к краю.

Теперь представьте, что вы вынуждены идти по тому же маршруту, используя бинокль. Сейчас вы уже не можете видеть всю картину целиком. Вместо этого вам приходится ориентироваться по узким и не всегда четким секторам видимости. Вы смотрите туда, куда должна ступить левая нога. Потом сдвигаете бинокль, чтобы определить расстояние до края тропы. Затем готовитесь передвинуть правую ногу и снова переводите взгляд на тропу. А представьте, что вы бежите по тропе вниз, полагаясь только на эпизодически возникающие и нечеткие картины. Именно это мы и делаем, когда пытаемся управлять сложной системой.

Перроу быстро понял, что различие между линейной и сложной системами заключается не в их продвинутости. Сборочный конвейер на автозаводе точно не назовешь простым, и тем не менее его части взаимодействуют друг с другом преимущественно линейным и понятным образом. Или возьмите плотины. Они представляют собой вершину инженерного искусства, но не являются сложными.

В случае со сложными системами мы не можем забраться внутрь, чтобы посмотреть, что творится «в животе у чудовища». В оценке большинства ситуаций мы вынуждены опираться на непрямые показатели. Например, на АЭС мы не можем послать кого-то посмотреть, что происходит в активной зоне действующего реактора. Мы должны собирать воедино всю картину по маленьким кусочкам – показаниям датчиков давления, замерам расхода воды и т. п. Мы видим кое-что, но не все. Поэтому наш диагноз легко может стать ошибочным.

И вот когда мы имеем дело со сложными взаимодействиями внутри системы, небольшие изменения в ней могут произвести огромный эффект. На АЭС Three Mile Island чашка нерадиоактивной воды вызвала потерю тысяч литров радиоактивной охлаждающей жидкости. Это «эффект бабочки» из теории хаоса: концепция, согласно которой взмах крыльев бабочки в Бразилии может создать условия для торнадо в Техасе{33}. Пионеры теории хаоса понимали, что всех наших моделей и измерений никогда не будет достаточно для предсказания последствия «эффекта бабочки». Перроу утверждал нечто подобное: мы просто не можем в достаточной степени понять комплексные системы, чтобы предсказать все возможные последствия даже небольшого сбоя.