postmortem

Pessoal,

Nosso servidor no DatabaseMart começou a se comportar de forma inesperada.

O I/O de disco começou a subir muito e ficou impraticável manter a operação lá.

O suporte não conseguiu solucionar, portanto, fizemos rollback para OVH.

Estamos de volta na OVH, finalizando ainda algumas configurações.

O que podemos melhorar?

Vamos colocar o bolha.io, site estático fora da OVH para poder comunicar problemas quando ocorrem.

Vamos colocar o mattermost.bolha.chat fora da OVH para que vocês possam falar conosco em caso de um problema nos servidores principais.

Vamos criar uma conta no mastodon.social para informar de problema que possam estar acontecendo nos servidores da OVH.

Vamos colocar um NGINX no servidor do KUMA (status.bolha.us) para não depender do NGINX que roda nos servidores da OVH.

E os dados?

Fizemos um backup ontem às 19hs das VMs do servidor da DatabaseMart e restauramos do lado de cá.

Como podemos ver se está no ar ou não?

Acesse sempre o https://status.bolha.us e https://bolha.io para ter informações.

Conhece o Coletivo Bolha?

Então vem conhecer o bolha.io!

Nós temos muito mais para compartilhar contigo!

Conhece o HackSpace da Bolha?

Vem conhecer o espaço que usamos para estudar o fediverso!

Nosso site

WriteFreely

Siga nosso founder.

@gutocarvalho@bolha.us @gutocarvalho@bolha.photos @gutocarvalho@bolha.forum @gutocarvalho@bolha.review @gutocarvalho@bolha.tube @gutocarvalho@bolha.studio @gutocarvalho@bolha.network

Writefreely

@gutocarvalho@bolha.blog @notamental@bolha.blog @poesias@bolha.blog @contos@bolha.blog

Sites

Quer apoiar nosso trabalho? Você pode!

Te vejo no mastodon da bolha.us!

[s]

Ontem ocorreu um problema, não em nosso servidor, mas em nosso provedor.

Nosso provedor informou que um RACK de REDE teve pane.

Isso deixou nosso servidor fora no período da tarde por cerca de 4 horas.

Já voltamos!

[s] Guto

Conhece o Coletivo Bolha?

Então vem conhecer o bolha.io!

Nós temos muito mais para compartilhar contigo!

Conhece o HackSpace da Bolha?

Vem conhecer o espaço que usamos para estudar o fediverso!

Nosso site

WriteFreely

Siga nosso founder.

@gutocarvalho@bolha.us @gutocarvalho@bolha.photos @gutocarvalho@bolha.forum @gutocarvalho@bolha.review @gutocarvalho@bolha.tube @gutocarvalho@bolha.studio @gutocarvalho@bolha.network

Writefreely

@gutocarvalho@bolha.blog @notamental@bolha.blog @poesias@bolha.blog @contos@bolha.blog

Sites

Quer apoiar nosso trabalho? Você pode!

Te vejo no mastodon da bolha.us!

[s]

1. A bolha saiu do ar ontem?

Sim, voltou hoje perto das oito da manhã

2. O que aconteceu?

Migramos de provedor, e na sequência foi preciso mudar de máquina no provedor novo por uma incompatibilidade de hardware com os discos.

Já estava tudo migrado praticamente.

3. Fala mais!

Não dava para colocar os 16TB na máquina instalada inicialmente.

Eles então levaram os discos NVME e SSD da máquina inicial para uma nova. Contudo, quando deu boot, a rede não subiu pois no boot o kernel detectou as placas de rede e configurou novos devices, não previstos na config.

Para resolver isso só via KVM ou IMPI e eu estava sem esse acesso, tive que pedir.

Em resumo, foi preciso esperar o provedor resolver via chat e ticket até a máquina funcionar.

4. E agora?

Tudo corrigido, estamos com uma máquina com 48 cores, quase 16TB SATA e quase 4 TB SSD, além de 256GB de RAM e 1Gbit de rede.

Estamos terminando de migrar e ajustar algumas coisas, mas estamos na casa nova.

5. Vai acontecer novamente?

Esperamos que não, vamos trabalhar para não acontecer novamente.

Pretendemos ficar no provedor e servidor por alguns anos.

Agradecemos a preocupação e as mensagens positivas!

Conhece o Coletivo Bolha?

Então vem conhecer o bolha.io!

Nós temos muito mais para compartilhar contigo!

Conhece o HackSpace da Bolha?

Vem conhecer o espaço que usamos para estudar o fediverso!

Nosso site

WriteFreely

Siga nosso founder.

@gutocarvalho@bolha.us @gutocarvalho@bolha.photos @gutocarvalho@bolha.forum @gutocarvalho@bolha.review @gutocarvalho@bolha.tube @gutocarvalho@bolha.studio @gutocarvalho@bolha.network

Writefreely

@gutocarvalho@bolha.blog @notamental@bolha.blog @poesias@bolha.blog @contos@bolha.blog

Sites

Quer apoiar nosso trabalho? Você pode!

Te vejo no mastodon da bolha.us!

[s]