Construiré un data lakehouse empresarial, databricks, ingeniería de datos y pipeline de etl

Parte de la información se ha traducido automáticamente.

Ajay Bidyarthy

India

Hablo Inglés

1 pedido completado

Ingeniero de IA en FD, Python, MLOps, LLM, Neo4j, Grafana, Logstash, AWS Bedrock, REST

Soy ingeniero senior de AI y científico de datos especializado en Python, AI/ML, ingeniería de datos y automatización inteligente, ayudando a las empresas a convertir datos complejos en soluciones esc...

Acerca de este Servicio

Descripción del proyecto:

Diseñé y desarrollé un Data Lakehouse de nivel empresarial usando Databricks para centralizar, procesar, transformar y gestionar datos de múltiples fuentes. Construí pipelines escalables de ETL/ELT usando PySpark y SQL, implementé flujos de trabajo de ingesta y transformación de datos, y organicé los datos en capas estructuradas para análisis e informes.

Stack tecnológico:

Databricks y Apache Spark
PySpark y Python
SQL
Azure Data Lake Storage
ETL/ELT
Arquitectura Data Lakehouse
Delta Lake
Azure Data Factory
Power BI

Impacto en el negocio:

Creé una plataforma de datos escalable y centralizada para análisis empresariales
Automatizé los flujos de trabajo de ingesta y transformación de datos
Mejoré la calidad, coherencia y accesibilidad de los datos
Reduje el procesamiento manual de datos y el mantenimiento de pipelines
Permití informes empresariales más rápidos y confiables, y una toma de decisiones basada en datos