GenAI in a box: Construyendo una Plataforma de IA en Kubernetes
El auge de la IA Generativa ha creado un dilema para los equipos de infraestructura y operaciones: los desarrolladores necesitan moverse rápido, pero enviar información sensible a APIs de LLMs públicos puede romper políticas de soberanía de datos y complicar los controles de costes de la nube con facturas impredecibles. ¿La solución? Traer la IA a tus propios datos.
En esta charla, exploraremos cómo construir una plataforma interna de IA basada en open-source y "air-gapped" en Kubernetes. Descubre cómo combinar modelos abiertos (Gemma 4), bases de datos vectoriales (PostgreSQL con pgvector) y Model Context Protocol (MCP) para empaquetar un entorno seguro. Aprenderás cómo los equipos de Platform Engineering pueden ofrecer despliegues de IA en formato "autoservicio", garantizando la seguridad de los datos corporativos y transformando los costes variables de las APIs en costes de infraestructura predecibles.
Diseñada para SREs e Ingenieros de Plataforma, esta sesión busca abordar la realidad de operar IA en producción dentro de una plataforma automatizada abordando:
FinOps y Soberanía: Alternativas viables a las APIs SaaS para cargas de trabajo sensibles y agentes autónomos de alto consumo.
Arquitectura en K8s: El LLM (Gemma) como carga stateless, Model Context Protocol (MCP) para integración segura, y PostgreSQL como motor stateful.
Operando Postgres + pgvector en K8s: Cómo gestionar los picos de recursos (CPU/RAM) que introducen las búsquedas vectoriales para evitar la inestabilidad del clúster, y cómo automatizar el almacenamiento persistente.
Platform Engineering (GitOps): Cómo empaquetar toda esta complejidad bajo un enfoque declarativo para ofrecer entornos de IA aislados en formato "autoservicio" a los desarrolladores en cuestión de minutos.
Miguel es especialista en Datos e IA en Google Cloud, donde se centra en arquitecturas de datos y su integración con aplicaciones para soluciones empresariales. Actualmente, dedica la mayor parte de su tiempo a optimizar la capa de datos para sistemas de IA Generativa a gran escala y a compartir estrategias prácticas sobre cómo las arquitecturas de datos modernas pueden impulsar el futuro de la IA.