AGIL es una startup tecnológica chilena enfocada en el sector gastronómico, que ofrece una plataforma de e-commerce y gestión digital para restaurantes y comercios de alimentos. Su principal propuesta es permitir que estos negocios vendan directamente a sus clientes a través de canales propios (como su propia web), reduciendo la dependencia de aplicaciones de delivery externas y evitando altas comisiones. Su CEO y Founder es Raul Miranda Susmann.
A través de su solución, AGIL integra funcionalidades como pedidos online, logística de entregas, programas de fidelización, gestión de clientes y marketing digital, todo en un solo ecosistema. Su objetivo es ayudar a los restaurantes a aumentar su rentabilidad, mejorar la relación con sus clientes y tomar decisiones basadas en datos, impulsando así su digitalización y crecimiento sostenible en el mercado.
Desafíos del Cliente
AGIL enfrentaba un problema crítico de rendimiento en su infraestructura de datos: su base de datos Amazon RDS era utilizada tanto para las operaciones transaccionales del día a día como para la generación de informes históricos para sus clientes. Esta dualidad generaba una sobrecarga significativa que afectaba directamente la experiencia de los restaurantes y comercios que dependían de la plataforma.
Los principales desafíos identificados fueron los siguientes:
Degradación del rendimiento operacional: Las consultas de datos históricos para la generación de informes consumían una cantidad considerable de recursos en RDS, afectando la velocidad de las transacciones activas de la plataforma.
Escalabilidad limitada: A medida que la base de clientes de AGIL crecía, el volumen de datos históricos aumentaba exponencialmente, haciendo inviable mantener una arquitectura basada exclusivamente en RDS para todas las cargas de trabajo.
Tiempos de respuesta elevados en informes: La generación de reportes para los clientes finales (restaurantes y comercios) tomaba tiempos inaceptables, impactando negativamente en la percepción del servicio y en la toma de decisiones basada en datos.
Costos operacionales crecientes: Para compensar la sobrecarga, se requería escalar verticalmente la instancia RDS de forma continua, lo que incrementa los costos de infraestructura sin resolver el problema de fondo de manera sostenible.
Descripción de la solución
La solución diseñada por XNex@ Connect para AGIL consistió en implementar un pipeline ETL (Extract, Transform, Load) completamente automatizado mediante AWS Glue, el cual permite descargar la base de datos RDS de las consultas históricas y centralizar los datos procesados en Amazon DynamoDB, un servicio NoSQL de alta disponibilidad y rendimiento escalable.
Extracción (Extract): AWS Glue se conecta directamente a la instancia Amazon RDS mediante un conector JDBC. Los jobs de Glue extraen los datos históricos de pedidos, clientes, transacciones y métricas de fidelización, con ejecuciones programadas que garantizan la actualización periódica sin impactar las operaciones productivas.
Transformación (Transform): Mediante scripts Python ejecutados en el entorno serverless de AWS Glue, los datos extraídos son limpiados, normalizados y enriquecidos según las reglas de negocio de AGIL. Esto incluye el cálculo de métricas agregadas, la consolidación de registros por período y la adecuación del modelo de datos al esquema optimizado para DynamoDB.
Carga (Load): Los datos transformados son cargados en tablas de Amazon DynamoDB, diseñadas con un esquema de acceso optimizado para las consultas de informes. DynamoDB proporciona latencias de lectura en milisegundos de un solo dígito, independientemente del volumen de datos almacenados, garantizando tiempos de respuesta constantes a escala.
La orquestación de los jobs fue configurada mediante AWS Glue Workflows, permitiendo definir dependencias entre tareas, manejo de errores y notificaciones automáticas vía Amazon SNS ante cualquier falla en el proceso. El AWS Glue Data Catalog fue utilizado como repositorio centralizado de metadatos, facilitando el gobierno y la trazabilidad de los datos a lo largo del pipeline.
Seguridad y Gobierno de Datos
La seguridad de los datos fue un pilar fundamental en el diseño de la solución. Se implementaron los siguientes controles para garantizar la protección e integridad de la información en todo el pipeline:
Control de acceso mediante IAM: Se configuraron roles y políticas de AWS IAM con el principio de mínimo privilegio, asegurando que los jobs de AWS Glue solo tengan acceso a los recursos estrictamente necesarios (RDS, DynamoDB, S3 y CloudWatch Logs).
Cifrado en tránsito y en reposo: Todas las comunicaciones entre componentes se realizan mediante TLS. Los datos almacenados en DynamoDB están cifrados en reposo utilizando AWS KMS (Key Management Service), garantizando la confidencialidad de la información sensible de los clientes de AGIL.
Gobierno con AWS Glue Data Catalog: El catálogo de datos centraliza la definición de esquemas, versiones y linaje de datos, facilitando la auditoría y el cumplimiento normativo. Cada transformación aplicada queda registrada, permitiendo trazabilidad completa del origen al destino.
Monitoreo y alertas con Amazon CloudWatch: Se configuraron dashboards y alarmas en CloudWatch para monitorear el estado de los jobs ETL, tiempos de ejecución, errores y consumo de recursos, garantizando visibilidad operacional en tiempo real.
Resultados Obtenidos
- Rendimiento de Reportería (Eficiencia): Mejora en los tiempos de generación de informes de hasta 10 veces más rápido (pasando de minutos a milisegundos).
- Latencia de Datos: Reducción de los tiempos de respuesta a milisegundos de un solo dígito, garantizando una velocidad constante sin importar el volumen de datos.
- Carga de Infraestructura (RDS): Disminución de la carga operativa al dedicar la base de datos RDS exclusivamente al 100% de las operaciones transaccionales, eliminando el tráfico de consultas históricas.
- Escalabilidad y Disponibilidad: Capacidad de escalamiento automático para absorber picos de carga sin intervención manual ni sobre-aprovisionamiento.
¿Como XNex@ Connect puede ayudar en tu viaje a la nube?
XNex@ Connect es una empresa consultora especializada en adopción y modernización sobre Amazon Web Services, comprometida con el acompañamiento a organizaciones de diversos sectores en cada etapa de su transformación digital, desde la definición del caso de negocio y la evaluación de cargas de trabajo, hasta la migración, optimización y evolución hacia arquitecturas cloud nativas. Facilitamos la incorporación de capacidades avanzadas como analítica de datos e inteligencia artificial generativa, reduciendo la complejidad técnica y acelerando la obtención de valor. Nuestro objetivo es habilitar equipos más autónomos, eficientes y preparados para innovar de forma continua en la nube.