Plataforma Botcenter caída
Incident Report for Adereso
Postmortem

Estimados Clientes.

A continuación explicamos la causa del error presentado hoy en la plataforma de BotCenter y las medidas que tomaremos para que no vuelva a ocurrir.

El error específicamente se debió a un colapso en la base de datos utilizada por la plataforma, este colapso se debió a un incremento en consultas realizadas.
La posibilidad de esta falla ya estaba identificada por lo que llevamos tres semanas trabajando en una mejora que consiste en pasar de una base de datos instalada en una sola maquina a tener multiples maquinas con la base de datos, técnicamente esto se considera un cluster), esto nos permite crecer rápidamente ante un aumento de consultas y evitar este tipo de colapsos. Esta mejora esta pronosticada para ser activada el día jueves 28 de mayo.

Esta solución traerá varias mejoras entre ellas.

  • Posibilidad de crecer sin tener downtime, hoy en día para crecer es necesario bajar la plataforma por unos minutos.
  • Un aumento de consultas por parte de un cliente ya no perjudicaran a otros clientes.

Un comentario general al respecto es que este tipo de mejoras específicamente la descentralización de algunas herramientas es un proceso que hemos estado llevando a cabo en diversas partes de la plataforma, durante los últimos dos meses, siendo este el último punto crítico pendiente por solucionar.

Posted May 28, 2020 - 00:10 GMT-04:00

Resolved
Ya se encuentra regularizado el rendimiento de la plataforma Botcenter.

Estaremos avisando por este medio el detalle del error y las medidas a tomar.
Posted May 27, 2020 - 13:31 GMT-04:00
Update
El funcionamiento de la plataforma Botcenter se encuentra normalizado, estamos terminando el proceso de recolección de información y mejora. Apenas esté listo, notificaremos la causa del error y las medidas a tomar al respecto.
Posted May 27, 2020 - 12:47 GMT-04:00
Monitoring
Se ha encontrado la causa del problema y se está trabajando para solucionarlo.

Estamos habilitando bots de apoco, mientras monitoreamos la situación.

Estimamos que la plataforma estará funcionando al 100% antes de las 14:00 horas. (Chile)


Apenas se encuentre solucionada la situación por completo, se subirá el detalle, mostrando la causa del error y las medidas que tomaremos para que no vuelva a ocurrir.
Posted May 27, 2020 - 12:11 GMT-04:00
Investigating
Estimados clientes,

La plataforma Botcenter está presentando un problema en estos momentos.

Esto perjudica directamente a todos los Bots conectados en la plataforma, impidiendo su correcto funcionamiento.

Por ahora, nos encontramos investigando la causa de esto, los mantendremos informados apenas tengamos alguna información al respecto.
Posted May 27, 2020 - 11:16 GMT-04:00
This incident affected: Botcenter API.