Rogers jul/2022: filtro de rotas removido derruba a rede de um país

01 · CONTEXTO

Um núcleo IP para todos os serviços

Em 8 de julho de 2022, a operadora canadense Rogers Communications teve uma queda de rede que afetou mais de 12 milhões de usuários de internet a cabo e de redes celulares. Este caso segue a falha do gatilho técnico à recuperação, com base na carta da empresa ao regulador e em uma revisão independente encomendada pelo próprio regulador.

Segundo a revisão independente, como as redes móvel e fixa compartilhavam um núcleo IP comum, o alcance da queda foi extremo, com perda catastrófica de todos os serviços. A mesma revisão afirma que esse compartilhamento é comum entre operadoras, para equilibrar custo e desempenho, e que a falha não decorreu de um erro de projeto da arquitetura.

1. Dois conjuntos de serviços atendem os clientes: os móveis (celular) e os de internet fixa.

2. Os dois serviços passam pelos roteadores de distribuição e chegam a um mesmo núcleo IP.

3. A revisão independente registra que esse núcleo comum é uma escolha frequente para equilibrar custo e desempenho, e que ele ampliou o alcance da queda.

02 · O GATILHO

Um filtro removido numa fase da atualização

A Rogers fazia uma atualização do seu núcleo IP em sete fases, e a remoção do filtro ocorreu na sexta. Segundo a revisão independente, funcionários removeram o filtro de política (uma lista de controle de acesso) dos roteadores de distribuição no esforço de limpar arquivos.

De acordo com a carta da empresa ao regulador, sem o filtro todas as rotas possíveis para a internet passaram pelos roteadores e excederam a capacidade do núcleo. A revisão independente descreve o resultado como um núcleo inundado de informação de roteamento IP, que acabou travando.

1. Os roteadores de distribuição aplicam o filtro de política, a única proteção do núcleo contra o excesso de rotas.

2. Durante uma fase da atualização, o filtro é removido dos roteadores de distribuição.

3. Todas as rotas possíveis passam ao núcleo, que excede a capacidade e trava.

4. A Rogers deixa de anunciar sua presença e as outras redes não a encontram.

5. Os serviços móveis e os de internet fixa ficam fora do ar.

03 · O ALCANCE

Muito além dos clientes da Rogers

Do lado de fora, a Cloudflare viu picos de atualizações BGP e retirada de prefixos IP. A Rogers não anunciava sua presença, e por isso outras redes não a encontravam.

O efeito atravessou quem dependia da infraestrutura da Rogers. O Interac saiu do ar e nenhuma empresa do país conseguiu aceitar cartão de débito, mesmo as que usavam outro provedor de internet. O uso do 911 a partir de celulares na rede da Rogers foi prejudicado, e alguns serviços do governo federal foram afetados.

04 · A RECUPERAÇÃO

A gestão da rede dependia da rede quebrada

A queda cortou também o acesso interno a sistemas da empresa, o que atrapalhou a mobilização de uma equipe e a identificação do problema. Alguns funcionários conseguiram se conectar por SIMs de emergência em redes alternativas, graças a acordos recíprocos com outras operadoras; outros se deslocaram a locais centralizados para obter acesso à rede.

A revisão independente aponta que a rede de gestão dependia do núcleo IP e que o centro de operações e outros sites remotos críticos não tinham conectividade redundante de provedores alternativos. No início, a equipe também não tinha acesso aos logs de erro dos roteadores que falharam e levou cerca de 14 horas, desde o começo da queda, para apontar a causa raiz.

1. A rede de gestão dependia do núcleo IP, que estava fora do ar.

2. Funcionários remotos não conseguem acessar a rede de gestão.

3. O centro de operações não tinha conectividade redundante de um provedor alternativo para gerenciar a rede.

4. No início a equipe não tinha acesso aos logs de erro dos roteadores que falharam, e levou cerca de 14 horas para apontar a causa raiz.

5. Depois da queda, a Rogers implantou conectividade de reserva de terceiros no centro de operações e uma rede de gestão física e lógica separada.

Havia ajuda de fora: as duas concorrentes contatadas ofereceram assistência. A Rogers, porém, concluiu que não era possível transferir seus usuários para outras redes, citando a falta de acesso ao banco de dados de usuários e a carga excessiva que isso imporia.

05 · O QUE MUDOU

Medidas após a queda e lições de projeto

Segundo a revisão independente, a Rogers adicionou salvaguardas aos roteadores do núcleo contra nova sobrecarga, implantou uma rede de gestão separada e conectividade de reserva de terceiros. Também trocou o algoritmo de avaliação de risco e fez mudanças organizacionais para melhorar a colaboração entre operações e engenharia. No plano regulatório, o governo anunciou políticas exigindo ajuda mútua entre as operadoras em caso de queda.