Никита Кузнецов

У сфері ІТ зазвичай говорять про те, що легко продемонструвати: нові функції, інтерфейс, продуктивність, алгоритми та моделі штучного інтелекту. При цьому значна частина надійності цифрового продукту залежить від речей, яких користувач ніколи не бачить.

DNS-записи, TLS-сертифікати, сервісні облікові записи, секрети, тайм-аути, повторні запити, журнали та налаштування зовнішніх сервісів зазвичай залишаються поза увагою. Але саме вони можуть в одну мить зробити недоступним продукт, який ще вчора працював без проблем.

ІТ-інженер Микита Кузнєцов називає цю сферу «критичною нудьгою» — технічними елементами, які рідко дають помітний результат, доки працюють без збоїв.

«Люди лагодять вітрину й забувають, що будинок стоїть на трубах. Поки тече вода, труби нікого не цікавлять. Потім у суботу ввечері труба лопається, і виявляється, що вітрина тут ні до чого».

За його словами, складність сучасних систем лише посилює цю проблему. Користувач бачить лише один сайт або додаток, тоді як за звичним натисканням кнопки можуть стояти десятки взаємопов’язаних компонентів. І відмова будь-якого з них може порушити весь сценарій взаємодії з користувачем.

IT-инженер Никита Кузнецов — о невидимой инфраструктуре, от которой зависит стабильность цифрового продукта
ІТ-інженер Микита Кузнєцов — про невидиму інфраструктуру, від якої залежить стабільність цифрового продукту.

Надійний додаток ще не означає надійний продукт

З точки зору користувача продукт — це єдине ціле. Йому байдуже, чи відповідає окремо API, чи працює база даних або чи запущені всі мікросервіси. Якщо кнопка не виконує дію, значить, сервіс не працює.

А інженер може бачити зовсім іншу картину: сервер відповідає, база даних доступна, процесор не перевантажений, додаток запущено, а останнього оновлення не було вже кілька днів.

Проте сценарій користувача може залишатися непрацездатним.

Це одна з особливостей розподілених систем: справність окремих компонентів не означає справності всього ланцюжка.

Тому Кузнєцов пропонує ставитися до інфраструктури не як до другорядного технічного шару, а як до фундаменту продукту.

«Критична нудьга слугує фундаментом: її не видно на зображенні, але на ній тримається все, що ви потім називаєте продуктом».

У нової функції зазвичай є конкретний виконавець, завдання, термін, тести та реліз. З інфраструктурними об’єктами ситуація часто складніша. Не завжди очевидно, хто відповідає за домен, сертифікати, сервісні облікові записи або доступи підрядників.

Поки система працює, відсутність власника майже непомітна. Коли трапляється аварія, саме це питання стає одним із перших.

DNS може вимкнути сервіс без жодних змін у коді

Один із найнаочніших прикладів — DNS.

За словами Кузнєцова, типова фраза під час таких аварій звучить так: «Але ж ми нічого не розгорнули».

І справді, код може взагалі не змінюватися.

Сервери працюють, база даних відповідає, додаток доступний за внутрішньою або прямою адресою. Але користувач вводить звичний домен і не може відкрити сайт.

«DNS — це табличка на будинку, яку ніхто не читає, доки не загубить вхід. Потім усі стоять у під’їзді й сперечаються, хто винен у коді».

DNS пов’язує доменне ім’я з інформацією, необхідною для пошуку відповідного ресурсу. На результат впливають, зокрема, рекурсивні резолвери, авторитетні DNS-сервери та кешування.

Тому помилка у записі може проявлятися по-різному для різних користувачів. Через TTL старе значення може деякий час зберігатися в кеші. У результаті у однієї людини сайт уже відкривається, а в іншої — ще ні.

Така ситуація легко змушує команду шукати проблему безпосередньо в додатку, хоча збій стався ще до того, як запит дійшов до нього.

Кузнєцов називає такі ситуації «аваріями поза репозиторієм». Зламатися може об’єкт, який ніколи не змінювався разом із вихідним кодом: DNS-запис, сертифікат, мережеве правило, секрет, зовнішній обліковий запис або конфігурація провайдера.

Особливо небезпечними є налаштування, які з’явилися кілька років тому й збереглися протягом кількох поколінь продукту. Код могли повністю переписати, інфраструктуру — перенести, співробітників — замінити, а старий DNS-запис продовжуватиме існувати просто тому, що колись його створили вручну.

Головне питання тут не в самій технології. Ризик виникає тоді, коли критична залежність не має чітко визначеного власника, історії змін та регулярної перевірки.

Никита Кузнецов объясняет, почему DNS и другие внешние зависимости способны сделать недоступным исправно работающий сервис
Микита Кузнєцов пояснює, чому DNS та інші зовнішні залежності можуть призвести до того, що сервіс, який працює безперебійно, стане недоступним

Термін дії сертифіката може закінчитися у точно визначений день

Кузнєцов наводить TLS-сертифікати як ще один показовий приклад.

На відміну від багатьох програмних помилок, термін дії сертифіката відомий заздалегідь.

«Сертифікат не руйнує систему раптово. Він руйнує її саме того дня, який усі бачили, але ніхто не позначив у календарі».

Сьогодні у багатьох випадках поновлення сертифікатів можна автоматизувати. Однак сама по собі автоматизація не виключає необхідності контролю: команда має розуміти, чи справді механізм оновлення працює і що станеться, якщо він зупиниться.

Причини відмови можуть бути цілком банальними. Повідомлення надсилаються на стару адресу, автоматичне оновлення перестало виконуватися, відповідальний співробітник змінив посаду, а резервного контролю немає.

У результаті браузер починає попереджати користувача про проблему із захищеним з’єднанням, а частина клієнтів може відмовитися від подальшого підключення.

При цьому для користувача немає різниці, де саме виникла проблема. Якщо безпечно відкрити сервіс неможливо, сервіс для нього не працює.

Тимчасовий доступ легко перетворюється на постійний

Окремий ризик пов’язаний із технічними обліковими записами та правами доступу.

«Найстрашніший обліковий запис — це не той, що створили хакери. А той, який завели «на кілька днів» і забули вимкнути».

Типовий сценарій виглядає просто. Команді терміново потрібно підключити новий сервіс або надати підряднику доступ до інфраструктури. Щоб не витрачати час, права надають із запасом, а обмежити їх планують пізніше.

Реліз добігає кінця, з’являються нові завдання, і про тимчасове рішення забувають.

Через рік ключ або обліковий запис все ще працює.

Проблема ускладнюється, якщо команда вже не може визначити, кому належить обліковий запис, для чого він потрібен і які наслідки матиме його відключення.

Іноді потенційно непотрібний доступ зберігають саме через відсутність документації: ніхто не впевнений, що старий ключ дійсно більше не використовується.

Схожа проблема виникає з людськими знаннями.

«Незамінна людина з повним доступом — це не гордість команди. Це прогалина, яку назвали компетенцією».

Досвід фахівця може бути надзвичайно важливим, однак якщо лише один співробітник знає, як відновити певний процес, або має необхідні права, його відсутність стає технічним ризиком.

Тому управління доступом пов’язане не лише з безпекою. Це ще й питання безперебійної роботи компанії.

Щодо критичних систем необхідно розуміти, хто має доступ, з якою метою його надано, коли його перевіряли та чи існує спосіб відновити роботу без участі одного конкретного фахівця.

Никита Кузнецов о наблюдаемости: логи и телеметрия должны помогать быстро восстановить цепочку событий во время сбоя
Микита Кузнєцов про можливість спостереження: журнали та телеметрія мають допомагати швидко відтворити ланцюжок подій під час збою

У мікросервісній архітектурі проблема часто виникає на стиках

Архітектурна схема розподіленої системи зазвичай має логічну структуру: окремо авторизація, платежі, каталог, сповіщення, аналітика та інші сервіси.

Кузнєцов пропонує звертати увагу не лише на самі блоки, а й на зв’язки між ними.

«Усі малюють квадратики. Майже ніхто не малює доріг. А зазвичай саме дорога руйнується».

Ключову роль тут відіграють тайм-аути та повторні запити.

Припустимо, сервіс зазвичай відповідає за 200 мілісекунд, але через навантаження починає відповідати через кілька секунд. Інший компонент сприймає затримку як помилку і повторює запит. Потім робить це знову.

Якщо тисячі клієнтів одночасно роблять це, система сама збільшує навантаження на компонент, який уже має проблеми.

Так виникає retry storm — потік повторних запитів, здатний посилити початковий збій. Для зменшення такого ризику застосовують обмеження кількості повторів, exponential backoff, jitter та circuit breaker.

Але повторювати запит можна далеко не завжди.

Якщо перша операція фактично виконалася, але підтвердження не надійшло до клієнта, повторний запит може призвести до дублювання дії. Тому під час проектування механізмів повторної спроби (retry) необхідно враховувати ідемпотентність операцій.

Формула «у разі помилки спробуємо ще раз» сама по собі не є стратегією відмовостійкості. Важливо розуміти, які помилки є тимчасовими, скільки повторів допустимо та що станеться у разі масового повторення запитів.

Велика кількість логів ще не означає хорошу спостережуваність

Після виникнення збою виникає інша проблема: команда може мати у своєму розпорядженні величезний обсяг логів і при цьому не розуміти, що саме сталося.

«Якщо після аварії ви півгодини шукаєте потрібний рядок, у вас немає можливості простежити за подіями. У вас є щоденник, який ніхто не вів для того, щоб його читати».

У розподіленій системі один запит користувача може пройти через API-шлюз, систему авторизації, кілька сервісів і базу даних. Якщо кожен компонент веде власний журнал без загального контексту, відновити послідовність подій стає складно.

Сучасний підхід до observability охоплює не лише логи, а й traces та metrics. Distributed tracing дає змогу простежити шлях конкретного запиту через систему, а spans показують окремі етапи цього шляху.

Зв’язок логів із trace ID та span ID допомагає об’єднати події різних компонентів навколо однієї операції.

У результаті інженер отримує можливість не просто побачити окрему помилку, а зрозуміти, де саме сценарій користувача почав відхилятися від норми.

Для Кузнєцова принципово важливо розрізняти два підходи: «ми збираємо дані» та «ми розуміємо систему».

Під час аварії потрібні конкретні відповіді: коли виникла проблема, який сценарій постраждав першим, через які компоненти пройшов запит, де виникла затримка та наскільки широко поширився збій.

Якщо на пошук цих відповідей витрачаються години ручного аналізу, то спостережуваність існує скоріше формально.

Система має повідомити про проблему раніше, ніж користувач

Ще один показник зрілості інфраструктури — хто першим виявляє збій.

Якщо першим сигналом для технічної команди стає звернення клієнта, частина часу на реагування вже втрачена.

При цьому моніторинг не повинен обмежуватися перевіркою доступності сервера. Сервіс може відповідати на технічний запит і водночас погано виконувати основну функцію для користувачів.

Тому контролювати потрібно не лише процесор, пам’ять та доступність окремих компонентів, а й помилки, затримки, черги, зовнішні залежності та виконання ключових операцій користувачів.

Хороший алерт не обов’язково означає проблему для клієнта. Навпаки, його завдання — дати команді можливість помітити погіршення ситуації до того, як воно переросте у повноцінну аварію.

Іноді навіть кілька хвилин попередження дають змогу локалізувати проблему та запобігти її поширенню.

Чому «нудні» завдання постійно відкладають

Профілактична інженерна робота має одну особливість: її успіх часто неможливо продемонструвати.

Нову функцію можна продемонструвати. Новий інтерфейс можна показати керівництву. Прискорення роботи системи можна виразити цифрою.

А результат своєчасно продовженого сертифіката виглядає інакше: нічого не сталося.

DNS продовжив працювати.

Старий ключ видалили, і ніхто цього не помітив.

Проблемний сервіс припинив приймати надмірну кількість запитів ще до того, як збій поширився далі.

Моніторинг попередив команду раніше, ніж користувачів.

«Нудні речі не приносять демо. Їх не показують на нараді. Тому вони залишаються без господаря, доки самі не організують нараду».

У цьому й полягає парадокс профілактики: чим ефективніша вона, тим менше помітних подій вона спричиняє.

Після серйозної аварії компанії зазвичай швидко знаходять час і ресурси для аудиту доступу, документації, моніторингу та резервування. Однак більш зрілий підхід передбачає вирішення цих питань до того, як інфраструктура буде змушена продемонструвати свою важливість.

Чотири запитання щодо кожної критичної залежності

Кузнєцов пропонує не перетворювати управління надійністю на нескінченний перелік формальних правил. Для кожної критично важливої залежності достатньо почати з чотирьох питань:

Хто відповідає? Коли проводимо перевірку? Як дізнаємося про проблему? Що робимо після отримання повідомлення?

Для сертифіката потрібен власник та автоматична перевірка терміну дії. Для DNS — зрозуміла процедура зміни та можливість перевірити фактичне розширення домену.

Для технічного облікового запису необхідні призначення, мінімально необхідні права та регулярний перегляд доступу.

Для міжсервісних викликів — тайм-аути, обмежена кількість повторів та заздалегідь визначена поведінка у разі відмови.

Для запиту користувача — телеметрія, що дозволяє відстежити його шлях через систему.

Головне завдання — перестати покладатися на людську пам’ять.

«Якщо критична несправність не має відповідального, терміну перевірки та попереджувального сигналу перед аварією, це не інфраструктура. Це надія».

У цьому підході надійність продукту визначається не лише якістю коду та архітектурою. Важливою є здатність команди контролювати прості та малопомітні залежності, без яких складна система перестає існувати з точки зору користувача.

Можна використовувати мікросервіси, сучасні моделі штучного інтелекту та масштабну інфраструктуру, але при цьому зіткнутися з банальною проблемою: ніхто не знає, коли закінчується термін дії сертифіката, кому належить старий адміністративний ключ або чому один сервіс кілька разів повторює запит до перевантаженої залежності.

Тому під час пошуку потенційних точок відмови варто звертати увагу не лише на найскладніші елементи системи. Іноді набагато більше інформації дають звичайні списки DNS-записів, сертифікатів та сервісних облікових записів, правила взаємодії між сервісами та спроба відтворити один запит користувача на основі логів.

І щодо кожного критичного елемента варто поставити чотири прості запитання: хто за нього відповідає, коли його перевіряли востаннє, як система повідомить про проблему та що станеться, якщо він перестане працювати прямо зараз?