Construiré pipelines de datos en AWS y Databricks, ETL y apps AI RAG

Parte de la información se ha traducido automáticamente.

India

Hablo Inglés
Ingeniero de datos en la nube con experiencia práctica en AWS (Glue, Lambda, S3), Python/PySpark y SQL. Construyo pipelines ETL escalables, automatizo la ingestión de datos y optimizo flujos de trabaj...
Acerca de este Servicio

Soy un ingeniero de datos que crea soluciones de pipelines ETL en Databricks y AWS con PySpark, desde la ingesta hasta plataformas en producción.


Ingeniero senior y líder técnico con 4 años de experiencia. Certificado: AWS Certified Data Engineer - Associate y Microsoft Certified Azure Database Administrator Associate.


Resultados seleccionados:

  • Migré 15+ TB desde SQL Server a AWS Aurora PostgreSQL con menos de 5 minutos de inactividad usando DMS, Glue PySpark y Step Functions
  • Azure Databricks lakehouse procesando 50M+ registros por día: arquitectura medallion, Delta Lake, Unity Catalog, Azure Data Factory
  • Streaming de 2M+ eventos por día con Kafka/MSK y Spark Structured Streaming
  • Rendimiento de Spark reducido en 45%, costos reducidos en 30%, incidencias de esquema reducidas en 90% (80+ pipelines), fallos de Airflow reducidos en 40% (30+ DAGs)


Soluciones de IA:

  • Chatbots RAG con citas y lenguaje natural hacia SQL, empaquetados como apps FastAPI con interfaz web
  • Open source en GitHub (OsamaZaidi75): pharma-rag y sql-rag


La experiencia de proyectos incluye trabajo para un cliente farmacéutico Fortune 500.


Paquetes: Data Task Sprint (200 USD), Pipeline Build (750 USD), Data Platform / AI App (1500 USD). Envíame un mensaje antes de encargar para confirmar el alcance.

Plataforma de destino:

Databricks Lakehouse

•

Postgresql

•

Amazon S3

Herramientas y plataformas:

Azure Data Factory

•

Otros