[2020 - 07/07 08/07] Incidente: Quedas e instabilidades na plataforma | 3C Plus Help Center
[2020 - 07/07 08/07] Incidente: Quedas e instabilidades na plataforma
No dia 07 de Julho, instabilidades em nosso serviço fizeram com que a plataforma tivesse o funcionamento impactado ou interrompido em diversos momentos:
09h31 > 09h38 - Indisponível - Agentes e ligações desconectadas
10h30 > 11h00 - Instável - Demora na conexão das ligações
14h18 > 14h30 - Instável - Falhas na identificação de CXP
14h39 > 14h57 - Instável - Falhas na identificação de CXP
15h16 > 15h26 - Instável - Falhas na identificação de CXP
15h37 > 15h45 - Instável - Falhas na identificação de CXP
21h56 > 22h05 - Indisponível - Agentes e ligações desconectadas
Também, no dia 08 de Julho tivemos um novo incidente:
10h42 > 11h01 - Indisponível - Agentes e ligações desconectadas
Nosso time interrompeu todas as tarefas para dar atenção à este problema que impactava toda nossa base operacional.
Trabalhamos incessantemente na identificação da causa das falhas no período de 07/07/2020 09h31 até 08/07/2020 11h30 onde realizamos diversas ações para tentar mitigar o problema e reduzir ao máximo o tempo de indisponibilidade.
Identificamos que a instabilidade partia de uma má distribuição dos serviços sob a infra-estrutura Kubernetes. Isso fez com que, em alguns momentos, a carga fosse toda para um lado ou para outro, tornando o sistema instável de uma forma bastante complexa de ser percebida.
Em 08/07/2020 às 10h50 quando a ultima queda ocorreu, pudemos verificar que o micro-serviço kube-dns estava subdimensionado para a estrutura que aumentou recentemente. Nosso time então pode fazer um ajuste de auto-scale e reinicializar os serviços forçando-os à subirem de forma equilibrada.
Persistimos acompanhando tudo de perto por aqui e trabalhando arduamente para que isso não volte à ocorrer. Sentimos muito pelos transtornos causados e pedimos que continuem contando conosco, mesmo nestes momentos estamos dedicados totalmente à manter sua operação rodando com a máxima disponibilidade possível.