Никита Кузнецов: почему исправный код не гарантирует, что продукт однажды не перестанет работать
В IT принято говорить о том, что легко продемонстрировать: новых функциях, интерфейсе, производительности, алгоритмах и моделях искусственного интеллекта. При этом значительная часть надёжности цифрового продукта зависит от вещей, которые пользователь никогда не видит.
DNS-записи, TLS-сертификаты, сервисные аккаунты, секреты, таймауты, повторные запросы, логи и настройки внешних сервисов обычно остаются за пределами внимания. Но именно они способны в один момент сделать недоступным продукт, который ещё вчера работал без проблем.
IT-инженер Никита Кузнецов называет эту область «критичной скукой» — техническими элементами, которые редко дают заметный результат, пока работают исправно.
«Люди чинят витрину и забывают, что дом стоит на трубах. Пока вода идёт, трубы никого не интересуют. Потом в субботу вечером труба лопается, и выясняется, что витрина ни при чём».
По его словам, сложность современных систем только усиливает проблему. Пользователь видит один сайт или приложение, тогда как за привычным нажатием кнопки могут стоять десятки взаимосвязанных компонентов. И отказ любого из них способен нарушить весь пользовательский сценарий.
IT-инженер Никита Кузнецов — о невидимой инфраструктуре, от которой зависит стабильность цифрового продукта.
Исправное приложение ещё не означает исправный продукт
С точки зрения пользователя продукт — единое целое. Ему неважно, отвечает ли отдельно API, работает ли база данных или запущены ли все микросервисы. Если кнопка не выполняет действие, значит, сервис не работает.
Инженер же может видеть совершенно другую картину: сервер отвечает, база доступна, процессор не перегружен, приложение запущено, а последнего релиза не было несколько дней.
Тем не менее пользовательский сценарий может оставаться неработоспособным.
Это одна из особенностей распределённых систем: исправность отдельных компонентов не означает исправность всей цепочки.
Кузнецов предлагает поэтому относиться к инфраструктуре не как к второстепенному техническому слою, а как к фундаменту продукта.
«Критичная скука работает как фундамент: её не видно на картинке, но на ней стоит всё, что вы потом называете продуктом».
У новой функции обычно есть конкретный исполнитель, задача, срок, тесты и релиз. С инфраструктурными объектами ситуация часто сложнее. Не всегда очевидно, кто отвечает за домен, сертификаты, сервисные аккаунты или доступы подрядчиков.
Пока система работает, отсутствие владельца почти незаметно. Когда возникает авария, именно этот вопрос становится одним из первых.
DNS способен отключить сервис без единого изменения в коде
Один из наиболее наглядных примеров — DNS.
Характерная фраза во время подобных аварий, по словам Кузнецова, звучит так: «Но мы же ничего не деплоили».
И действительно, код может не меняться вообще.
Серверы работают, база отвечает, приложение доступно по внутреннему или прямому адресу. Но пользователь вводит привычный домен и не может открыть сайт.
«DNS — это табличка на доме, которую никто не читает, пока не потерял вход. Потом вся компания стоит в подъезде и спорит, кто виноват в коде».
DNS связывает доменное имя с информацией, необходимой для поиска соответствующего ресурса. На результат влияют, в частности, рекурсивные резолверы, авторитетные DNS-серверы и кэширование.
Поэтому ошибка в записи может проявляться неодинаково для разных пользователей. Из-за TTL старое значение способно некоторое время сохраняться в кэше. В результате у одного человека сайт уже открывается, а у другого всё ещё нет.
Такая ситуация легко заставляет команду искать проблему непосредственно в приложении, хотя сбой произошёл ещё до того, как запрос дошёл до него.
Кузнецов называет подобные ситуации «авариями вне репозитория». Сломаться может объект, который никогда не менялся вместе с исходным кодом: DNS-запись, сертификат, сетевое правило, секрет, внешний аккаунт или конфигурация провайдера.
Особенно опасны настройки, которые появились несколько лет назад и пережили несколько поколений продукта. Код могли полностью переписать, инфраструктуру — перенести, сотрудников — заменить, а старая DNS-запись продолжит существовать просто потому, что когда-то её создали вручную.
Главный вопрос здесь не в самой технологии. Риск появляется тогда, когда у критической зависимости нет понятного владельца, истории изменений и регулярной проверки.
Никита Кузнецов объясняет, почему DNS и другие внешние зависимости способны сделать недоступным исправно работающий сервис
Сертификат может истечь в точно известный день
TLS-сертификаты Кузнецов приводит как другой показательный пример.
В отличие от многих программных ошибок срок действия сертификата заранее известен.
«Сертификат не ломает систему внезапно. Он ломает её ровно в тот день, который все видели и никто не поставил в календарь».
Продление сертификатов сегодня во многих случаях можно автоматизировать. Однако автоматизация сама по себе не исключает необходимость контроля: команда должна понимать, действительно ли механизм обновления работает и что произойдёт, если он остановится.
Причины отказа могут быть вполне банальными. Уведомления отправляются на старый адрес, автоматическое обновление перестало выполняться, ответственный сотрудник сменил должность, а резервного контроля не существует.
В результате браузер начинает предупреждать пользователя о проблеме с защищённым соединением, а часть клиентов может отказаться от дальнейшего подключения.
Для пользователя при этом нет разницы, где именно произошла проблема. Если безопасно открыть сервис невозможно, сервис для него не работает.
Временный доступ легко становится постоянным
Отдельный риск связан с техническими учётными записями и правами доступа.
«Самая страшная учётка — не хакерская. А та, которую завели “на пару дней” и забыли выключить».
Типичный сценарий выглядит просто. Команде срочно требуется подключить новый сервис или дать подрядчику доступ к инфраструктуре. Чтобы не тратить время, права предоставляют с запасом и планируют ограничить их позже.
Релиз заканчивается, появляются новые задачи, и о временном решении забывают.
Через год ключ или аккаунт всё ещё работает.
Проблема усугубляется, если команда уже не может определить, кому принадлежит учётная запись, зачем она нужна и какие последствия будут после её отключения.
Иногда потенциально ненужный доступ сохраняют именно из-за отсутствия документации: никто не уверен, что старый ключ действительно больше не используется.
Похожая проблема возникает с человеческими знаниями.
«Незаменимый человек с полным доступом — это не гордость команды. Это дыра, которую назвали компетенцией».
Опыт специалиста может быть критически важен, однако если только один сотрудник знает, как восстановить определённый процесс, или обладает необходимыми правами, его недоступность становится техническим риском.
Поэтому управление доступами связано не только с безопасностью. Это ещё и вопрос непрерывности работы компании.
Для критических систем необходимо понимать, кто имеет доступ, зачем он предоставлен, когда его проверяли и существует ли способ восстановить работу без участия одного конкретного специалиста.
Никита Кузнецов о наблюдаемости: логи и телеметрия должны помогать быстро восстановить цепочку событий во время сбоя
В микросервисной архитектуре проблема часто возникает на стыках
Архитектурная схема распределённой системы обычно выглядит логично: отдельно авторизация, платежи, каталог, уведомления, аналитика и другие сервисы.
Кузнецов предлагает обращать внимание не только на сами блоки, но и на связи между ними.
«Все рисуют квадратики. Почти никто не рисует дороги. А падает обычно дорога».
Ключевую роль здесь играют таймауты и повторные запросы.
Допустим, сервис обычно отвечает за 200 миллисекунд, но из-за нагрузки начинает отвечать несколько секунд. Другой компонент воспринимает задержку как ошибку и повторяет запрос. Затем делает это снова.
Если одновременно так поступают тысячи клиентов, система сама увеличивает нагрузку на компонент, который уже испытывает проблемы.
Так возникает retry storm — поток повторных запросов, способный усилить исходный сбой. Для снижения такого риска применяют ограничение числа повторов, exponential backoff, jitter и circuit breaker.
Но повторять запрос можно далеко не всегда.
Если первая операция фактически выполнилась, но подтверждение не дошло до клиента, повторный запрос может привести к дублированию действия. Поэтому при проектировании retry-механизмов необходимо учитывать идемпотентность операций.
Формула «при ошибке попробуем ещё раз» сама по себе не является стратегией отказоустойчивости. Важно понимать, какие ошибки временные, сколько повторов допустимо и что произойдёт при массовом повторении запросов.
Большое количество логов ещё не означает хорошую наблюдаемость
После возникновения сбоя возникает другая проблема: команда может располагать огромным объёмом логов и при этом не понимать, что именно произошло.
«Если после аварии вы полчаса ищете нужную строчку, у вас нет наблюдаемости. У вас есть дневник, который никто не вёл для чтения».
В распределённой системе один пользовательский запрос может пройти через API-шлюз, систему авторизации, несколько сервисов и базу данных. Если каждый компонент ведёт собственный журнал без общего контекста, восстановить последовательность событий становится сложно.
Современный подход к observability включает не только логи, но и traces и metrics. Distributed tracing позволяет проследить путь конкретного запроса через систему, а spans показывают отдельные этапы этого пути.
Связь логов с trace ID и span ID помогает объединить события разных компонентов вокруг одной операции.
В результате инженер получает возможность увидеть не просто отдельную ошибку, а понять, где именно пользовательский сценарий начал отклоняться от нормы.
Для Кузнецова принципиально важно различать два подхода: «мы собираем данные» и «мы понимаем систему».
Во время аварии нужны конкретные ответы: когда началась проблема, какой сценарий пострадал первым, через какие компоненты прошёл запрос, где возникла задержка и насколько широко распространился сбой.
Если на поиск этих ответов уходят часы ручного анализа, наблюдаемость существует скорее формально.
О проблеме система должна сообщить раньше пользователя
Ещё один показатель зрелости инфраструктуры — кто первым обнаруживает сбой.
Если первым сигналом для технической команды становится обращение клиента, часть времени на реакцию уже потеряна.
При этом мониторинг не должен ограничиваться проверкой доступности сервера. Сервис способен отвечать на технический запрос и одновременно плохо выполнять основную пользовательскую функцию.
Поэтому контролировать необходимо не только CPU, память и доступность отдельных компонентов, но и ошибки, задержки, очереди, внешние зависимости и выполнение ключевых пользовательских операций.
Хороший алерт не обязательно означает проблему для клиента. Напротив, его задача — дать команде возможность заметить деградацию до того, как она превратится в полноценную аварию.
Иногда даже несколько минут раннего предупреждения позволяют локализовать проблему и не допустить её распространения.
Почему «скучные» задачи постоянно откладывают
У профилактической инженерной работы есть одна особенность: её успех часто невозможно показать.
Новую функцию можно открыть на демонстрации. Новый интерфейс можно показать руководству. Ускорение системы можно выразить цифрой.
А результат своевременно продлённого сертификата выглядит иначе: ничего не произошло.
DNS продолжил работать.
Старый ключ удалили, и никто этого не заметил.
Проблемный сервис перестал принимать избыточные запросы до того, как сбой распространился дальше.
Мониторинг предупредил команду раньше пользователей.
«Скучные вещи не приносят демо. Их не показывают на совещании. Поэтому они живут без хозяина, пока не устроят совещание сами».
В этом и заключается парадокс профилактики: чем лучше она работает, тем меньше заметных событий создаёт.
После крупной аварии компании обычно быстро находят время и ресурсы для аудита доступов, документации, мониторинга и резервирования. Но более зрелый подход предполагает заниматься этими вопросами до того, как инфраструктура вынужденно продемонстрирует свою значимость.
Четыре вопроса к каждой критической зависимости
Кузнецов предлагает не превращать управление надёжностью в бесконечный список формальных правил. Для каждой критически важной зависимости достаточно начать с четырёх вопросов:
Кто отвечает? Когда проверяем? Как узнаём о проблеме? Что делаем после сигнала?
Для сертификата нужен владелец и автоматическая проверка срока действия. Для DNS — понятная процедура изменения и возможность проверить фактическое разрешение домена.
Для технического аккаунта необходимы назначение, минимально необходимые права и регулярный пересмотр доступа.
Для межсервисного вызова — таймауты, ограниченные повторы и заранее определённое поведение при отказе.
Для пользовательского запроса — телеметрия, позволяющая восстановить его путь через систему.
Главная задача — перестать полагаться на человеческую память.
«Если у критичной скуки нет владельца, срока проверки и сигнала до аварии, это не инфраструктура. Это надежда».
В этом подходе надёжность продукта определяется не только качеством кода и архитектурой. Важна способность команды контролировать простые и малозаметные зависимости, без которых сложная система перестаёт существовать с точки зрения пользователя.
Можно использовать микросервисы, современные модели искусственного интеллекта и масштабную инфраструктуру, но при этом столкнуться с банальной проблемой: никто не знает, когда истекает сертификат, кому принадлежит старый административный ключ или почему один сервис несколько раз повторяет запрос к перегруженной зависимости.
Поэтому при поиске будущих точек отказа полезно смотреть не только на самые сложные элементы системы. Иногда гораздо больше информации дают обычные списки DNS-записей, сертификатов и сервисных аккаунтов, правила межсервисного взаимодействия и попытка восстановить один пользовательский запрос по логам.
И для каждого критического элемента стоит задать четыре простых вопроса: кто за него отвечает, когда его проверяли в последний раз, как система сообщит о проблеме и что произойдёт, если он перестанет работать прямо сейчас?