Esther Yébenes
Esther Yébenes is a Senior DevOps Engineer specialized in infrastructure, automation, and system reliability, with more than 20 years of experience designing, managing, and evolving technology platforms across on-premises, cloud, and hybrid environments.
Throughout her career, she has contributed to large-scale technology transformation initiatives, data center migrations, high-availability architecture deployments, and the adoption of DevOps and SRE practices. She has led engineering teams, driven automation and observability initiatives, and supported organizations in improving the resilience, scalability, and efficiency of their platforms.
Today, she combines deep technical expertise with a people centered approach, believing that system reliability depends as much on the people who design and operate technology as it does on the technology itself.
In addition to her engineering work, Esther is an author and instructor of specialized courses on Linux, automation, and cloud infrastructure, reaching more than 40,000 Spanish and Portuguese speaking students. She is passionate about sharing knowledge and helping professionals build simpler, more robust, and sustainable systems.
Session
Nuestra plataforma procesa grandes volúmenes de eventos usando Kafka como almacén centralizado, y lo que comenzó siendo una arquitectura relativamente sencilla con algunos consumidores escribiendo sobre una base de datos MySQL compartida, fue evolucionando a medida que aumentaba el volumen de eventos
Para evitar los cuellos de botella de la base de datos principal, los consumidores se fueron moviendo a bases de datos independientes a la vez que fueron apareciendo distintos servicios agregadores encargados de recopilar y consolidar la información distribuida para construir una visión global de los datos. Cada una de estas escisiones resolvía un problema de saturación o lentitud, pero con el tiempo terminamos administrando más de 20 bases de datos y múltiples procesos de agregación, con una complejidad creciente tanto a nivel operativo como de mantenimiento. Consultas que deberían resolverse en segundos podían requerir horas de procesamiento
En esta charla compartiremos cómo rediseñamos la plataforma utilizando Kafka Connect y ClickHouse como núcleo de la capa analítica sin abandonar Kafka. Explicaremos la evolución de la arquitectura, los retos encontrados durante la migración y las lecciones aprendidas. Como resultado, conseguimos soportar picos de hasta 2 millones de mensajes procesados por segundo, podemos hacer consultas prácticamente en tiempo real y hemos simplificado de forma significativa la operación del sistema
Pero esta historia no trata únicamente de tecnología. También hablaremos de cómo la creación de un equipo sólido, la adquisición progresiva de conocimiento y la construcción de una visión compartida fueron elementos fundamentales para afrontar una transformación de este calibre. Porque las arquitecturas evolucionan, pero son las personas quienes hacen posible el cambio