Ayudaré a construir notebooks de pyspark y optimizar trabajos

Parte de la información se ha traducido automáticamente.

India

Hablo Inglés

4 pedidos completados

Databricks, Unity Catalog, ADF, DLT

Herramientas con las que trabajo - Databricks, Unity Catalog, DLT, Azure, SQL Lo que ayudo a hacer: - Diseñar y construir pipelines ETL usando Azure Data Factory y Databricks - Optimizar trabajos de ...
Acerca de este Servicio

¿Tu trabajo de PySpark tarda horas? ¿Tu consulta SQL se agota?

Encontraré exactamente qué lo está ralentizando y lo arreglaré.

He optimizado trabajos de PySpark procesando miles de millones de registros en entornos de producción. Sé exactamente dónde buscar.


Lo que arreglo:

  • Transformaciones y acciones lentas en PySpark
  • Desbalanceo en particiones y problemas de memoria
  • Consultas SQL ineficientes en grandes conjuntos de datos
  • Ajuste de configuración de Spark
  • Optimización de DataFrame y estrategia de caché


Compartes tu código. Yo analizo, arreglo y explico exactamente qué estaba mal y por qué.

Envíame un mensaje primero con tu problema. Te diré honestamente si puedo ayudarte.

Idioma:

Inglés

Experiencia técnica:

apache spark

Databricks

Otros

Experiencia:

Canalización de datos

Desarrollo ETL

industria:

Análisis de Datos

Etiquetas relacionadas