Eletrifique a cerca
Cenário
Recentemente eu passei por dois incidentes críticos no meu ambiente de trabalho. Quando digo crítico, é crítico mesmo. Derrubou o ambiente virtual inteiro (90% da operação). Começa que o DNS está lá, e a falta do DNS inutiliza praticamente 100% do ambiente para o usuário final (cerca 600 usuários diretos, sem contar os indiretos).
No primeiro deles, o incidente durou cerca de 16 horas. Iniciou às 11:30 da manhã e finalizou por volta das 03:00am do dia seguinte quando a equipe que tratou o incidente conseguiu levantar as primeiras VMs críticas para o funcionamento do negócio. A sorte desse dia é que era Copa do Mundo e, como regra no Brasil, todos os usuários estavam deixando o trabalho exatamente no início do incidente para assistir o jogo da seleção e iriam voltar somente no dia seguinte. Pouca gente percebeu o problema. Com exceção da equipe que tratou o incidente que sabia muito bem da gravidade dele.
No segundo, o incidente durou menos tempo. Cerca de 3 a 4 horas. E apesar de não ser dia de expediente normal, existia uma grande quantidade de colegas trabalhando, com hora extra autorizada. O incidente foi de menor duração porém o impacto foi maior. Afetou bastante a organização que pagou hora extra para funcionários que não trabalharam porque “os sistemas estavam indisponíveis”.
O que esses dois incidentes têm em comum? Ambos foram causados por mim. Sim. Eu. Com mais de 20 anos de experiência em gestão de infraestrutura de TI. Com bastante conhecimento em redes e configurações de ativos. Enfim, um técnico bastante confiável (modéstia a parte). Porém, num momento de distração causado por cansaço e excesso de confiança, dei conta de errar na configuração de switch, na hora de atribuir VLAN a uma porta. O resultado foi a interrupção de comunicação entre os controladores do cluster, causando queda de do ambiente virtualizado, criando o caos na infraestrutura.
Iniciativa
O livro The Visible Ops Handbook (Spafford, Kim and Behr) me trouxe o conceito de eletrificar a cerca em volta dos seus ativos mais críticos. E isso faz todo sentido. Se eu já tivesse eletrificado a cerca em volta desses switches, esses incidentes dificilmente teriam ocorridos. A organização teria processos mais bem definidos para alterar uma configuração tão crítica como essa.
Para eletrificar a cerca na prática decidimos por usar um conjunto de ferramentas, principalmente Ansible e Git. Os ativos de rede possuem módulos Ansible para a sua configuração. A ideia é que toda a configuração fique em playbooks Ansible e versionados no Git. Os administradores não terão mais credencial de acesso direto a esses ativos de rede, somente ao repositório Git. Farão alterações em uma branch, seguido de um Merge Request. Esse Merge Request será revisado por um par. Somente após a revisão e o aceite do Merge Request é que uma pipe-line de integração contínua vai aplicar, de forma automática, a alteração proposta. Somente o integrador terá acesso de administração ao ativo.
Conclusão
Com a cerca eletrificada a gente evita que um descuido gere um incidente de grandes proporções, principalmente por conta da revisão e por um processo mais bem definido. Além disso, passamos a ter o histórico de alteração da configuração dos ativos, o que ajuda muito na investigação de um incidente, saber o que foi alterado nos últimos tempos. A iniciativa promete deixar o ambiente bem mais estável.
Isso não deixa o processo mais burocrático? Pois é, nem toda burocracia é ruim! Assim que tiver os resultados volto a escrever sobre isso.
Primeira vez que escrevo um post no Write Freely. Resolvi migrar do Sites Google pelo tamanho que estava a única página que eu usava como, no final das contas, um blog. Outra questão é que aqui eu consigo registrar melhor as datas de cada leitura. Obrigado Caio pela mãozinha!
Eu demorei um tempo pra escrever a nota sobre esse mangá, por alguns motivos; o maior deles é a preguiça. Eu não sou bom com palavras, e acho que escrever sobre este é muito difícil. Acaba virando uma bola de neve, quanto mais tempo eu demoro, mais difícil vai ficando, minha memória é mais que péssima. Agora é um momento de tédio, enquanto espero o pessoal chegar para fazermos um rolê aqui em casa.
Em games, sou o cara que gosta de procurar e colecionar achievements. Quando gosto muito de algum jogo, não penso duas vezes antes de platinar. Recentemente, o My Anime List adicionou um sistema de badges, que funcionam de forma parecida. Uma das formas de conseguir essas insígneas é ler um mangá ou ver um anime de uma stack criada pela equipe do site. Foi ai que resolvi ler “Emperor and I”, do desafio “Unusual Pets”, para ganhar a bagde de um pinguinzinho fofo no meu perfil. Fiquei entre esse, “Pet Shop of Horrors” e “Daidokoro no Dragon”, mas acabei decidindo pelo tamanho e pelo penguim.
Vou jogar uma bomba aqui: confesso que, nesta releitura, gostei muito mais do mangá. Digo bomba porque quem me conhece sabe que eu poderia falar mal do Tezuka por uns dois séculos e sem pausas. Mesmo que sem propriedade nenhuma, gratuitamente mesmo. O que eu já tive contato foi a obra mais infantil dele, que era amplamente publicada aqui no Brasil, como Don Drácula e Rei Leão, alguns capítulos soltos de Black Jack, fora meu contato com os animes (principalmente Astro Boy, que passava na TV Globinho). Ayako era o único título mais adulto que conhecia e, na primeira vez que li, não gostei. Hoje, boto a culpa num preconceito bastante infundado, fruto de uma adolescência bastante rancorosa e amarga.