Tag: post-mortem

  • Interrupções no serviço isaCloud 2026-01-13

    Reading Time: 2 minutes

    Na terça-feira, dia 13/01/2026, por volta de 06:40 AM foi percebida uma instabilidade na conexão com o servidor primário que atende o isaCloud Messenger na região nordeste-1 do datacenter Magalu Cloud.

    Nesse momento, tentamos acessar a console de gerenciamento dos serviços no Magalu Cloud, porém a própria console estava indisponível – já era um sinal de que algo mais generalizado estava ocorrendo.

    Conseguimos abrir chamado com o time do Magalu Cloud, informamos qual a instância e região que estavam indisponíveis e recebemos a informação de que o time de engenharia já estava atuando.

    Ficamos acompanhando na página de status de serviços deles e de fato o incidente foi registrado. Apesar de não especificar o problema, indicava que o serviço de Virtual Machines da região NE-1 estavam sendo impactados.

    A linha do tempo do incidente deles está neste link:

    https://status.magalu.cloud/incident/AthcGya5reLhDSid0WReNRcYrBAn5biUjH5iIhWyX-tLvo5gFdkQqRbyMIq-CwDIrV18uBzuQSGji6lCJtDNng==

    Do lado do isaCloud, ativamos nossa contingência na região BR-SE-1 (São Paulo) por volta de 8:40 AM. Usuários levaram no máximo 1h para conseguirem reconectar após a ativação da contingência devido à propagação de DNS na desec.io.

    Algumas medidas foram tomadas após o incidente para reduzir ainda mais o tempo de ativação da contingência:

    • Entradas no desec.io foram configuradas como CNAME para entradas que estão na Cloudflare pois esta oferece um TTL bem mais baixo (300s contra 3600s da desec.io).
    • O mecanismo de detecção dos papéis primário / standby do nosso cluster irá executar algumas ações automaticamente tão logo identificar uma mudança nesses papéis.

    Por fim, gostaria pessoalmente de agradecer a todos os usuários pela compreensão de sempre e garantir que os 2 incidentes ocorridos em 1 ano de operação do isaCloud resultaram num amadurecimento dos nossos processos de backup e contingência.

    Saibam que o isaCloud é provido com muito carinho e comprometimento com cada um de vocês 💜

    Com carinho,
    Isadora

  • Interrupções no serviço isaCloud em 25 e 27/10/2025

    Reading Time: < 1 minute

    Nos últimos dias o serviço isaCloud passou por dois momentos de interrupção de serviço causados por uma falha técnica no ambiente de nuvem no datacenter primário utilizado pelo mensageiro.

    O isaCloud utiliza uma estrutura que conta com 4 datacenters, sendo dois no Brasil (Magalu Cloud) – um na região sudeste e outro na região nordesta – e dois na Europa (Contabo, Scaleway) – em dois diferentes provedores na Alemanha. Essa estrutura mantém uma replicação de 3 datacenters em tempo real e o 4º datacenter como base de monitoramento.

    Estamos ainda buscando com o Magalu Cloud mais detalhes técnicos sobre a interrupção de serviços que afetou nossa estrutura primária na região sudeste, mas no dia 25/10/2025 houve pelo menos um incidente em escala que foi reportado na status page deles:

    https://status.magalu.cloud/incident/AthcGya5reLhDSid0WReNRcYrBAn5biUjH5iIhWyX-vFGxu2AVIl1XMKcVUe4263npb7HAJWa_x3E6xjZMqFow==

    Sobre o incidente do dia 27/10/2025, ainda estamos buscando mais detalhes.

    A indisponibilidade total das duas interrupções somadas foi de mais de 20h, sendo que, no dia 27/10/2025, quando estava completando 3h de interrupção, executamos o plano de contingência e ativamos o datacenter secundário em outra região no Brasil.

    Conforme novas informações chegarem, atualizaremos esta publicação.

    Com carinho,
    Isadora

    Atualização – 28/10/2025 15:50

    Conforme o RCA enviado pelo time Magalu Cloud, o que afetou a instância primária do isaCloud tanto no dia 25 quanto no dia 27 foi uma falha no tenant físico onde estavam diversas instâncias. Foi confirmado pelo time deles que as instâncias foram migradas para um outro tenant do cluster.

    Por hora o isaCloud utilizará outra região como site primário e manterá o mecanismo de replicação para as demais regiões do Magalu, bem como para os 2 datacenters alocados na Europa.

    Com carinho,
    Isadora