InfoQ.com: A última grande atualização da AWS envolveu a reinicialização de aproximadamente 10% de suas máquinas. Não foi possível mover ao menos algumas das instâncias do Cassandra para os outros 90% de máquinas que não possuem o Xen e não precisariam ser reinicializadas?
Wong: Consideramos isso junto da AWS e descobrimos que não era possível completar a migração para os outro 90% a tempo. Poderíamos migrar algumas da instâncias, porém não havia garantia de que essas instâncias não seriam afetadas da mesma forma. Não tivemos acesso a informações mais detalhadas sobre a causa raiz do problema que gerou a reinicialização. Tudo que tivemos foi um quadro informativo das instâncias que seriam impactadas com a reinicialização. Tivemos a oportunidade de reinicializar os nós Cassandra a tempo para ajudar a antecipar o impacto.
InfoQ.com: Antes da atualização, houve a tentativa de tirar de produção 10% de suas máquinas com o Chaos Monkey para ver como o sistema lidaria com esse incidente?
Wong: Tiramos 33% de nossas máquinas com o Chaos Gorilla antes da atualização para entender como o sistema lidaria com a indisponibilidade de uma zona. Não tentamos tirar 10%, um por um durante uma certa quantidade de dias, o que simularia diferentes tipos de falha.