О пользе тестирования планов непрерывности
Мы часто слышим, что учиться лучше на чужих ошибках. Спорить с этим сложно, поэтому обратимся к недавнему прошлому – вероятно, некоторые из вас помнят историю, случившуюся в 2018 году, когда ложное предупреждение о ракетном нападении подарило жителям Гавайев ровно 38 незабываемых минут, наполненных яркими впечатлениями. Особую остроту ситуации придал углубляющийся кризис, вызванный ядерными и ракетными испытаниями в КНДР, ведь Гавайи – ближайшая американская цель, доступная для северокорейских ракет (эксперты утверждают, что такая дальность уже подтверждена испытаниями). Граждане 50-го штата в панике прощались с родными, пытались найти убежища, а некоторые решили напоследок позволить себе то, чего прежде никогда не позволяли. В общем, увлекательных рассказов в сети достаточно, и, судя по ним, скучно не было никому.
Разумеется, тревога оказалась ложной, граждане облегченно выдохнули, а губернатор штата принёс извинения, сославшись на пресловутый человеческий фактор, так как «…во время передачи дежурной смены, сотрудник службы чрезвычайных ситуаций по ошибке нажал не на ту кнопку на своём компьютере…». В общем, на этот раз всё закончилось хорошо, но осадочек, как говорится, остался. В том, что у каждой аварии есть имя, фамилия и должность, сомневаться, к сожалению, не приходится. Это регулярно подтверждается опытом, который, как известно, является единственным критерием истины. Ошибиться может каждый, но как же могло так получиться, что ошибочное сообщение было дезавуировано так поздно? Ведь, казалось бы, чего проще? Что они там делали почти 40 минут, пока весь штат без преувеличения стоял на ушах?
Время от времени мне приходится участвовать в тестировании DRP (disaster recovery plan – план аварийного восстановления), и я давно заметил, что как только ситуация начинает отклоняться от прописанного сценария (как правило, линейного), персонал вначале впадает в ступор, а потом начинает заниматься творчеством.
- Не получилось восстановить резервную копию, как предписано DRP?
- Спокойно, сейчас найдём предыдущую!
- Не поднялась база данных?
- Без паники, давайте переустановим сервер!
- Пользователи не получили наше оповещение?
- Ничего, перебьются, главное же вовремя всё восстановить!
Вот и в этой гавайской истории с самого начала было ощущение, что опции отмены ошибочного оповещения просто не было в сценарии, и всё, никакой конспирологии (а конспирологии на эту тему развели изрядно). Эта версия полностью подтвердилась после публикации результатов расследования, выявившего серьёзные нарушения как в самих планах реагирования на чрезвычайные ситуации, так и в отношении сотрудников местного МЧС к этим самым планам. В общем, классика – хотели как лучше, а получилось как всегда. Чёткого плана на случай ракетной угрозы просто не существовало (а была, скорее всего, линейная последовательность действий без требуемой детализации), процедуры отмены оповещения (я знал!) не было вовсе, взаимодействие между МЧС и другими ведомствами не было отработано (подозреваю, что другие ведомства вообще не подозревали о существовании каких-то там планов).
Дальше – больше! Сотрудники службы были недостаточно обучены (тренировок, похоже, вообще не проводили) и игнорировали даже имеющиеся инструкции. А местному начальству вся эта деятельность была вообще не интересна, потому что нарушавших инструкции сотрудников никак за это не наказывали. Разъяснительная работа с населением тоже не проводилась – а зачем, и так сойдёт, правда?
Оргвыводы по результатам расследования вообще прекрасны, чем-то очень родным и знакомым повеяло. Уволен один «стрелочник», непосредственно отправивший злополучное сообщение. Интересно, что он был единственным ответственным за это действие. То есть, если бы этот сотрудник во время настоящей ракетной атаки решил перекусить в ближайшем «Макдональдсе», то никаких сигналов тревоги никто бы вообще не услышал. Хорошо хоть теперь за это отвечают двое, lessons learned, как говорится. Никто из руководства, насколько я понял, не пострадал. Да, процедуру отмены оповещения таки прописали, и теперь «…в случае ошибки оповещение может быть отменено за несколько секунд…», что не может не радовать.
Граждане, регулярно тестируйте свои планы обеспечения непрерывности, если, конечно, они у вас есть. Только тренировки, максимально приближенные к реальности, могут выявить все ошибки, неточности и уязвимые места этих важнейших документов, чтобы однажды не получилось как у гавайцев. Ну, а если таких планов пока нет, то самое время заняться их созданием. Всё-таки учиться на своём опыте обычно гораздо больнее, чем на чужом. Алоха!
Заместитель директора Департамента ИТ-услуг
