Incidente · Pleno
Fastly 2021: configuração válida de cliente aciona bug latente
Incidente real. Pontos centrais: deploy progressivo.
Resposta curta
Incidente real. Pontos centrais: deploy progressivo. Em 8 de junho de 2021, a Fastly publicou o resumo de uma interrupção global ocorrida no mesmo dia. O post é a fonte deste caso. Segundo a empresa, um bug de software ainda não descoberto veio à tona quando foi acionado por uma alteração de configuração de cliente que era válida.
01 · CONTEXTO
Uma configuração válida e um bug que ninguém tinha visto
Em 8 de junho de 2021, a Fastly publicou o resumo de uma interrupção global ocorrida no mesmo dia. O post é a fonte deste caso. Segundo a empresa, um bug de software ainda não descoberto veio à tona quando foi acionado por uma alteração de configuração de cliente que era válida.
Um CDN é uma rede de servidores de borda compartilhada, posicionada entre os usuários e os sites dos clientes. Este caso mostra o que significa dividir uma mesma camada entre muitos clientes.
02 · O GATILHO
Um deploy de maio e uma configuração de junho
Em 12 de maio, a Fastly iniciou um deploy de software que introduziu um bug. O bug podia ser acionado por uma configuração específica de cliente, em circunstâncias específicas. No começo de 8 de junho, um cliente enviou uma alteração de configuração válida que incluía essas circunstâncias, e 85% da rede passou a devolver erros.
Em 12 de maio, a Fastly iniciou um deploy de software que introduziu um bug.
No começo de 8 de junho, um cliente enviou uma alteração de configuração válida.
Essa alteração incluía as circunstâncias específicas que acionavam o bug.
A rede devolveu erros em 85% da sua extensão.
A interrupção atingiu os clientes da Fastly e quem depende deles.
03 · A RESPOSTA
Do primeiro minuto à correção definitiva
Segundo a Fastly, a interrupção foi detectada em até um minuto; em seguida a causa foi identificada e isolada e a configuração foi desativada. Em até 49 minutos, 95% da rede operava normalmente.
| Horário (UTC) | Evento |
|---|---|
| 09:47 | Início da interrupção global |
| 09:48 | Interrupção identificada pelo monitoramento da Fastly |
| 09:58 | Postagem de status publicada |
| 10:27 | Engenharia da Fastly identifica a configuração do cliente |
| 10:36 | Serviços afetados começam a se recuperar |
| 11:00 | Maioria dos serviços recuperada |
| 12:35 | Incidente mitigado |
| 12:44 | Postagem de status resolvida |
| 17:25 | Começa o deploy da correção do bug |
Às 09:48 UTC, o monitoramento da Fastly identificou a interrupção global.
Às 10:27 UTC, a engenharia da Fastly identificou a configuração do cliente.
A causa foi isolada e a configuração foi desativada.
Às 10:36 UTC, os serviços afetados começaram a se recuperar.
Às 12:35 UTC, o incidente foi considerado mitigado.
Às 17:25 UTC, começou o deploy da correção do bug.
04 · COMPROMISSOS
O que o post promete fazer
Na conclusão, a Fastly afirma que, apesar de as condições que acionaram a interrupção serem específicas, a empresa deveria tê-la antecipado.
| Compromisso declarado | |
|---|---|
| Correção do bug | Implantar a correção na rede o mais rápido e com a maior segurança possível |
| Post-mortem | Conduzir um post-mortem completo dos processos e práticas seguidos no incidente |
| Testes e qualidade | Descobrir por que o bug não foi detectado durante os processos de garantia de qualidade e de testes de software |
| Remediação | Avaliar formas de melhorar o tempo de remediação |
| Plataforma | Aproveitar plenamente as capacidades de isolamento do WebAssembly e do Compute@Edge para criar mais resiliência desde a base |
05 · LIÇÕES
Perguntas para o seu desenho
Este caso convida a olhar a disponibilidade pelo raio de alcance: quanto do sistema uma única mudança consegue atingir?
Também convida a olhar a rotina de operação: quão rápido o monitoramento percebe um problema, quão rápido a equipe encontra o gatilho e o que é preciso para desativá-lo?
Perguntas frequentes
O que é Fastly 2021: configuração válida de cliente aciona bug latente?
Incidente real. Pontos centrais: deploy progressivo.
O que o design de Fastly 2021: configuração válida de cliente aciona bug latente cobre?
Ele está organizado nestas seções: Uma configuração válida e um bug que ninguém tinha visto, Um deploy de maio e uma configuração de junho, Do primeiro minuto à correção definitiva, O que o post promete fazer e Perguntas para o seu desenho.
Quanto tempo leva Fastly 2021: configuração válida de cliente aciona bug latente e qual é o nível?
Leva cerca de 12 minutos para ler e tem nível Pleno.
Agora projete você mesmo
Rode este caso como uma entrevista na escola de System Design: você toma as decisões, o tutor as questiona e você vê a nota do seu desenho.