Як один комп’ютерний файл випадково вивів з ладу 20% інтернету вчора — простою мовою

Вчорашній збій показав, наскільки сучасний веб залежить від невеликої кількості основних постачальників інфраструктури.

Фактично, ця залежність настільки велика, що одна помилка в конфігурації зробила значну частину інтернету повністю недоступною на кілька годин.

Багато з нас працюють у криптоіндустрії, бо розуміють небезпеки централізації у фінансах, але події вчорашнього дня чітко нагадали, що централізація в ядрі інтернету — не менш нагальна проблема для вирішення.

Очевидні гіганти, такі як Amazon, Google та Microsoft, керують величезними частинами хмарної інфраструктури.

Але не менш критичними є компанії на кшталт Cloudflare, Fastly, Akamai, DigitalOcean, а також постачальники CDN (сервери, які прискорюють доставку сайтів по всьому світу) чи DNS (інтернет-«адресна книга»), такі як UltraDNS та Dyn.

Більшість людей майже не знають їхніх імен, але їхні збої можуть бути не менш руйнівними, як ми побачили вчора.

Для початку ось список компаній, про які ви, можливо, ніколи не чули, але які критично важливі для стабільної роботи інтернету.

Категорія Компанія Що контролюють Вплив у разі збою

Core Infra (DNS/CDN/DDoS)	Cloudflare	CDN, DNS, захист від DDoS, Zero Trust, Workers	Величезна частина глобального веб-трафіку не працює; тисячі сайтів стають недоступними.
Core Infra (CDN)	Akamai	Корпоративний CDN для банків, логінів, комерції	Основні корпоративні сервіси, банки та системи входу виходять з ладу.
Core Infra (CDN)	Fastly	CDN, edge compute	Потенціал глобального збою (як у 2021: Reddit, Shopify, gov.uk, NYT).
Cloud Provider	AWS	Обчислення, хостинг, зберігання, API	SaaS-додатки, стрімінгові платформи, fintech та IoT-мережі виходять з ладу.
Cloud Provider	Google Cloud	YouTube, Gmail, корпоративні бекенди	Масштабні перебої у сервісах Google та залежних додатках.
Cloud Provider	Microsoft Azure	Корпоративні та урядові хмари	Збої Office365, Teams, Outlook та Xbox Live.
DNS Infrastructure	Verisign	.com та .net TLD, root DNS	Катастрофічні глобальні збої маршрутизації для великої частини вебу.
DNS Providers	GoDaddy / Cloudflare / Squarespace	DNS-менеджмент для мільйонів доменів	Цілі компанії зникають з інтернету.
Certificate Authority	Let’s Encrypt	TLS-сертифікати для більшості вебу	HTTPS ламається глобально; користувачі бачать помилки безпеки всюди.
Certificate Authority	DigiCert / GlobalSign	Корпоративний SSL	Великі корпоративні сайти втрачають довіру до HTTPS.
Security / CDN	Imperva	DDoS, WAF, CDN	Захищені сайти стають недоступними або вразливими.
Load Balancers	F5 Networks	Корпоративне балансування навантаження	Банківські, лікарняні та урядові сервіси можуть вийти з ладу по всій країні.
Tier-1 Backbone	Lumen (Level 3)	Глобальний інтернет-бекбон	Проблеми маршрутизації викликають глобальні затримки та регіональні збої.
Tier-1 Backbone	Cogent / Zayo / Telia	Транзит та піринг	Регіональні або національні перебої в інтернеті.
App Distribution	Apple App Store	Оновлення та встановлення iOS-додатків	Екосистема iOS-додатків фактично завмирає.
App Distribution	Google Play Store	Дистрибуція Android-додатків	Android-додатки не можуть встановлюватися чи оновлюватися глобально.
Payments	Stripe	Інфраструктура веб-платежів	Тисячі додатків втрачають можливість приймати платежі.
Identity / Login	Auth0 / Okta	Аутентифікація та SSO	Входи ламаються у тисячах додатків.
Communications	Twilio	2FA SMS, OTP, повідомлення	Велика частина глобальних 2FA та OTP-кодів не працює.

Що сталося вчора

Вчорашнім винуватцем була Cloudflare — компанія, яка маршрутизує майже 20% всього веб-трафіку.

Зараз компанія повідомляє, що збій почався з невеликої зміни конфігурації бази даних, яка випадково призвела до дублювання елементів у файлі для виявлення ботів.

Цей файл раптово перевищив суворе обмеження розміру. Коли сервери Cloudflare спробували його завантажити, вони зазнали невдачі, і багато сайтів, що використовують Cloudflare, почали повертати HTTP 5xx помилки (коди помилок, які бачить користувач, коли сервер не працює).

Ось проста ланцюжок подій:

Ланцюжок подій

Невелика зміна в базі даних спричинила велику ланцюгову реакцію.

Проблема почалася о 11:05 UTC, коли оновлення дозволів змусило систему під час створення файлу для оцінки ботів витягувати додаткову, дубльовану інформацію.

Зазвичай цей файл містить близько шістдесяти елементів. Дублікати перевищили жорстку межу у 200. Коли машини по мережі завантажили завеликий файл, компонент для ботів не зміг запуститися, і сервери повернули помилки.

За словами Cloudflare, були уражені як поточний, так і старий шляхи серверів. Один повертав 5xx помилки. Інший присвоював бот-оцінку нуль, що могло хибно позначити трафік для клієнтів, які блокують за бот-оцінкою (Cloudflare’s bot vs. human detection).

Діагностика була складною, оскільки поганий файл перебудовувався кожні п’ять хвилин з кластеру бази даних, що оновлювався по частинах.

Якщо система брала дані з оновленої частини, файл був поганим. Якщо ні — добрим. Мережа відновлювалася, потім знову ламалася, коли версії змінювалися.

За словами Cloudflare, цей вмикально-вимикальний патерн спочатку виглядав як можливий DDoS, особливо оскільки стороння сторінка статусу також вийшла з ладу приблизно в той же час. Фокус змістився, коли команди пов’язали помилки з конфігурацією виявлення ботів.

О 13:05 UTC Cloudflare застосувала обхід для Workers KV (перевірки входу) та Cloudflare Access (система аутентифікації), щоб обійти несправну поведінку та зменшити вплив.

Основне виправлення відбулося, коли команди припинили генерувати та розповсюджувати нові бот-файли, завантажили відомий добрий файл і перезапустили основні сервери.

Cloudflare повідомляє, що основний трафік почав надходити о 14:30, а всі залежні сервіси відновилися до 17:06.

Збій підкреслює деякі компроміси в дизайні.

Системи Cloudflare застосовують суворі обмеження для забезпечення передбачуваної продуктивності. Це допомагає уникати надмірного використання ресурсів, але також означає, що некоректний внутрішній файл може викликати жорстку зупинку замість плавного відновлення.

Оскільки виявлення ботів знаходиться на основному шляху для багатьох сервісів, збій одного модуля призвів до каскадних проблем у CDN, функціях безпеки, Turnstile (альтернатива CAPTCHA), Workers KV, Access та входах у дашборд. Cloudflare також відзначила додаткову затримку, оскільки інструменти для налагодження споживали CPU, додаючи контекст до помилок.

З боку бази даних вузька зміна дозволів мала широкі наслідки.

Зміна змусила систему «бачити» більше таблиць, ніж раніше. Завдання, яке формує файл для виявлення ботів, не фільтрувало їх достатньо жорстко, тому захопило дубльовані імена колонок і розширило файл понад ліміт у 200 елементів.

Помилка завантаження потім викликала збої серверів і 5xx-відповіді на уражених шляхах.

Вплив залежав від продукту. Основні CDN та сервіси безпеки повертали серверні помилки.

Workers KV спостерігав підвищені 5xx-показники, оскільки запити до його шлюзу проходили через несправний шлях. Cloudflare Access мав збої аутентифікації до обходу о 13:05, а входи в дашборд ламалися, коли Turnstile не міг завантажитися.

Cloudflare Email Security тимчасово втратила джерело репутації IP, що знизило точність виявлення спаму на певний період, хоча компанія заявила, що критичного впливу на клієнтів не було. Після відновлення доброго файлу черга спроб входу короткочасно перевантажила внутрішні API, перш ніж ситуація нормалізувалася.

Таймлайн простий.

Зміна в базі даних була впроваджена о 11:05 UTC. Перші помилки, що впливали на клієнтів, з’явилися близько 11:20–11:28.

Команди відкрили інцидент о 11:35, застосували обхід Workers KV та Access о 13:05, припинили створення та розповсюдження нових файлів близько 14:24, завантажили відомий добрий файл і побачили глобальне відновлення о 14:30, а повне відновлення відзначили о 17:06.

За словами Cloudflare, автоматичні тести виявили аномалії о 11:31, а ручне розслідування почалося о 11:32, що пояснює перехід від підозри на атаку до відкоту конфігурації менш ніж за дві години.

Час (UTC) Статус Дія або вплив

11:05	Зміна впроваджена	Оновлення дозволів у базі даних призвело до дубльованих записів
11:20–11:28	Початок впливу	Сплеск HTTP 5xx, оскільки файл ботів перевищив ліміт у 200 елементів
13:05	Пом’якшення	Обхід Workers KV та Access зменшує площу помилок
13:37–14:24	Підготовка до відкоту	Зупинка розповсюдження поганого файлу, перевірка відомого доброго файлу
14:30	Відновлення ядра	Добрий файл впроваджено, основний трафік маршрутизується нормально
17:06	Вирішено	Залежні сервіси повністю відновлені

Цифри пояснюють як причину, так і локалізацію проблеми.

П’ятихвилинний цикл перебудови неодноразово повертав погані файли, оскільки різні частини бази даних оновлювалися.

Ліміт у 200 елементів захищає використання пам’яті, і типовий показник близько шістдесяти залишав достатній запас, поки не з’явилися дублікати.

Ліміт спрацював як задумано, але відсутність толерантного «безпечного завантаження» для внутрішніх файлів перетворила погану конфігурацію на збій, а не на м’яку помилку з резервною моделлю. За словами Cloudflare, це ключова зона для посилення.

Cloudflare заявляє, що посилить валідацію внутрішньої конфігурації, додасть більше глобальних вимикачів для функціональних конвеєрів, зупинить споживання великої кількості CPU під час інцидентів через звіти про помилки, перегляне обробку помилок у модулях і покращить розповсюдження конфігурації.

Компанія назвала це найгіршим інцидентом з 2019 року і вибачилася за вплив. За словами Cloudflare, атаки не було; відновлення відбулося шляхом зупинки поганого файлу, відновлення відомого доброго файлу та перезапуску серверних процесів.

Публікація How a single computer file accidentally took down 20% of the internet yesterday – in plain English вперше з’явилася на CryptoSlate.