Intermitencia en Chatweb
Incident Report for Adereso
Postmortem

El día 23 de marzo de 2021, tuvimos un aumento inesperado en el tráfico a través de TalkCenter (Chat). Este aumento, fue de casi 10 veces más que el tráfico normal, provocando un colapso en el sistema.

Durante los primeros días, se investigaron diversas alternativas para recuperar rápidamente la funcionalidad de este servicio, siendo una de las más efectivas, el escalamiento vertical de la máquina que procesaba los mensajes de este sistema, lo cual permitió resolver el colapso total de la infraestructura.

Durante el periodo del 23 al 30 de marzo, se comenzó a planificar y construir los cambios de infraestructura que permitirán resolver los problemas de escalabilidad del código. Optando, finalmente, el día 4 de abril por desacoplar el manejo de websockets y pasarlos a una infraestructura mas moderna.

Durante el periodo 26 de marzo al 8 de abril, se diseñaron e implementaron ambientes de desarrollo para esta máquina, en los cuales se fueron haciendo pruebas con las nuevas piezas de este sistema. A medida que el nuevo sistema se desarrollaba y mostraba ser funcional y operativo, se fueron migrando clientes a estos nuevos ambientes.

El día 15 de abril se encuentran solo algunas empresas utilizando el nuevo sistema de Chat, con el fin de monitorear para poder finalmente aplicarlo para todas las empresas.

Posted Apr 23, 2021 - 19:29 GMT-04:00

Resolved
Esta incidencia ya se encuentra resuelta.
Posted Apr 23, 2021 - 14:30 GMT-04:00
Update
Actualmente, el Chat se encuentra operativo y funcionando sin problemas. Seguimos trabajando para mejorar el Chat y sus funciones.
Posted Mar 29, 2021 - 15:12 GMT-03:00
Update
Estimados clientes,

El Chat sigue funcionando sin complicaciones hasta el momento para la mayoría de los clientes. Sin embargo, continuamos trabajando en tener una solución definitiva.
Posted Mar 25, 2021 - 18:21 GMT-03:00
Update
El Chat se encuentra operativo y funcionando correctamente. Seguimos monitoreando el sistema para poder solucionar el trasfondo de esta incidencia.
Posted Mar 24, 2021 - 10:06 GMT-03:00
Update
Seguimos trabajando para estabilizar el Chat por completo. Puede que presente intermitencias actualmente y se muestre lento, pero ya estamos trabajando en ello.
Posted Mar 23, 2021 - 19:37 GMT-03:00
Update
Estamos trabajando para solucionar una intermitencia que se presentó durante los último minutos en el Chat.
Seguiremos actualizando a medida que solucionemos este problema.
Posted Mar 23, 2021 - 18:58 GMT-03:00
Monitoring
Hemos podido estabilizar el Chatweb, por lo que ahora debiese estar funcionando correctamente. De todas formas, nos encontramos monitoreando el sistema e implementando más mejoras para solucionar la incidencia completamente.
Posted Mar 23, 2021 - 16:52 GMT-03:00
Update
Seguimos trabajando para estabilizar el Chatweb.

Ayer, tuvimos un tráfico de 8x en chat, y esto sigue sucediendo hoy. Se pasó de 0.8 megas a 6.5 megas por segundo en tráfico. Hemos estado trabajando sin parar entre el día de ayer y hoy.

En base a lo anterior, se ha implementado lo siguiente:
- Hemos hecho incremento en capacidad de infraestructura de al menos 10x.
- Múltiples optimizaciones de la lógica del chat
- Estamos implementando cachés.
Posted Mar 23, 2021 - 16:03 GMT-03:00
Update
Seguimos trabajando en solucionar esta incidencia. Pedimos las disculpas pertinentes del caso y estamos trabajando para solucionarlo lo antes posible.
Estaremos actualizando apenas tengamos más información.
Posted Mar 23, 2021 - 15:30 GMT-03:00
Update
Hemos implementado mejoras para mitigar la lentitud del Chat que se presenta actualmente, lo cual ha mejorado notablemente la velocidad del mismo.

Este problema sucedió debido a un incremento de uso de algunos clientes del servicio de chat web (Talkcenter). La infraestructura se vio sobrepasada, por lo que se hicieron correcciones ayer esperando que sobresanaran los problemas.

Hoy, al encontrarnos en plena carga nuevamente, aparecieron nuevos problemas con la infraestructura. Anoche se tomaron múltiples medidas para resolver los problemas detectados. Estamos trabajando en resolverlos y mantendremos informados de los avances.
Posted Mar 23, 2021 - 14:28 GMT-03:00
Identified
Estamos al tanto de una lentitud generada en el Chatweb de Postcenter. Ya nos encontramos trabajando para solucionar esta lentitud lo antes posible.
Posted Mar 23, 2021 - 11:52 GMT-03:00
This incident affected: Canales (Chat Adereso).