Haré limpieza de datos, deduplicación y formateo en archivos de datos desordenados
Ingeniero de datos en Python: web scraping, pipelines ETL y enriquecimiento de datos
Nivel 1
Ha cumplido determinados criterios de rendimiento y muestra un gran potencial en la plataforma.
Acerca de este Servicio
El archivo tiene 40,000 filas, lo han editado tres personas y la misma empresa aparece como Acme, ACME Ltd y Acme Limited. arreglar eso a mano toma una semana y puede introducir nuevos errores en el proceso. La limpieza de datos hecha en código toma una tarde y se puede ejecutar de nuevo el próximo mes.
Lo que puedo arreglar
- Duplicados, incluyendo coincidencias cercanas que una fórmula de hoja de cálculo nunca detectará
- Fechas, nombres, direcciones, monedas y mayúsculas inconsistentes
- Columnas fusionadas o divididas, y archivos que necesitan reestructuración antes de ser útiles
- Codificación, delimitadores y filas que se rompen al importar
Lo que entrego
- Un archivo limpio: CSV, Excel, JSON o una Google Sheet
- Un registro de cambios que indica qué se modificó, fusionó o eliminó, con el conteo de filas
- El script de limpieza, si quieres ejecutarlo tú mismo la próxima vez
El trabajo más grande que he realizado procesó más de 100 millones de archivos JSON en CSV listo para análisis.
Excel se queda sin capacidad antes que la mayoría de estos trabajos. Para archivos de más de 50,000 filas o que requieran fuzzy matching, lo hago en Python y Pandas. Envíame el archivo y dime cómo quieres que quede. Confirmaré el alcance y te daré una cotización antes de que hagas el pedido.
Mi porfolio
FAQ
Traducción automática
¿Puedes fusionar varios archivos en uno?
Sí, y la mayor parte del trabajo en un pedido típico. Nombres de columnas diferentes, formatos de fecha distintos, filas que se superponen y un archivo con una columna adicional que nadie documentó. Los mapeo a un esquema único y te digo de dónde provienen las filas.
Mi archivo tiene 500,000 filas. ¿Es un problema?
No. A partir de unas 50,000 filas, el trabajo pasa de una hoja de cálculo a Python y Pandas, que son más rápidos y repetibles en lugar de más lentos. Medio millón de filas es un trabajo común. Envía una muestra y te confirmaré el nivel antes de que hagas el pedido.
¿Qué cuenta como duplicado?
Tú me dices, y esa es la parte que vale la pena acordar antes de empezar. Las coincidencias exactas son fáciles. El trabajo útil es la coincidencia difusa: Acme Ltd contra ACME Limited, la misma dirección escrita de cuatro formas, dos registros que solo difieren en espacios en blanco. Te muestro las coincidencias antes de fusionar.
¿Me dirás qué cambiaste?
Sí, cada pedido incluye un changelog: filas ingresadas, filas eliminadas, qué se fusionó, qué se descartó y por qué, y qué campos se estandarizaron. No deberías tener que confiar en un archivo limpio. Deberías poder revisarlo.
¿Recibo el script de limpieza?
Incluido en Standard y Premium, en Python, comentado, para que puedas ejecutarlo en la exportación del próximo mes sin hacer un pedido nuevo. Basic solo entrega el archivo limpio, que es la opción correcta si esto es realmente un trabajo puntual.
¿Puedes limpiar datos scrapeados con codificación dañada?
Sí, y es una situación común. Mojibake por codificación incorrecta, entidades HTML en campos de texto, espacios en blanco y saltos de línea fuera de lugar, números almacenados como texto con símbolos de moneda adjuntos. Envía una muestra y te diré qué se puede recuperar.
¿Puedes analizar los datos además de limpiarlos?
Tablas resumen, pivotes y gráficos están incluidos en Standard y Premium, y son útiles para verificar la limpieza. Si necesitas trabajo estadístico real o modelado, eso es otro trabajo y preferiría indicarte otro lugar en lugar de hacerlo de manera adecuada.
¿Esto puede ejecutarse automáticamente cada mes?
Sí, como un pipeline programado en lugar de un pedido repetido: el archivo llega, el script se ejecuta, y la versión limpia aparece donde la necesitas. Esa es mi tarea de pipeline de datos, no esta. Envíame un mensaje y te enviaré el enlace en lugar de cobrarte doce veces.
Mis datos contienen información personal. ¿Es eso un problema?
Dímelo antes de enviarlos. Puedo trabajar con ellos, y eliminaré los archivos fuente después de la entrega si lo solicitas, pero preferiría saberlo de antemano que encontrar nombres y direcciones en un archivo en el que no esperaba ver esa información. Datos pseudonimizados o muestreados están bien para definir el alcance.
¿Cómo sé qué paquete necesito?
Envía primero el archivo, o una muestra de él. Algunos trabajos parecen simples y necesitan coincidencia difusa entre tres fuentes; otros parecen aterradores y solo requieren buscar y reemplazar. Te diré en qué nivel está, o te haré una cotización personalizada, antes de que gastes algo.
93 comentarios sobre este Servicio
| (83) | ||
| (8) | ||
| (0) | ||
| (1) | ||
| (1) |
Desglose de calificaciones
- Nivel de comunicación del Freelancer
- Calidad de la entrega
- Valor de la entrega
Ordenar por
J jcummings72

Estados Unidos
I had 74,000 duplicate contacts and he was able to scrub the file and condense to no duplicates with all of the information. I’ve been trying to resolve this for years. He was able to turn it around within 24 hours. Thanks again!
USD 50-USD 100
$
4 días
Tiempo
Útil?S 
soweilam01

Emiratos Árabes Unidos
Colaboración continuaHighly recommend this seller for any project involving word and or excel.
USD 50
$
1 día
Tiempo
Útil?S 
soweilam01

Emiratos Árabes Unidos
Colaboración continuaVery detailed oriented and thorough seller. Happy reterning customer.
USD 50
$
4 días
Tiempo
Útil?J 
johncharlin

India
very good job done
USD 50
$
1 día
Tiempo
Útil?A aclaudiof

Puerto Rico
Job was done close to expectations, but not complete. Unfortunately it was delivered too late, and I couldn't meet my client due date. Supplier suggested a 50% discount, that ant the end was not given, and never delivered on time, with lack of response due to a private family event.
USD 100-USD 200
$
2 semanas
Tiempo
Útil?
93 comentarios sobre este Servicio
| (83) | ||
| (8) | ||
| (0) | ||
| (1) | ||
| (1) |
Desglose de calificaciones
- Nivel de comunicación del Freelancer
- Calidad de la entrega
- Valor de la entrega
Ordenar por
J jcummings72

Estados Unidos
I had 74,000 duplicate contacts and he was able to scrub the file and condense to no duplicates with all of the information. I’ve been trying to resolve this for years. He was able to turn it around within 24 hours. Thanks again!
USD 50-USD 100
$
4 días
Tiempo
Útil?S 
soweilam01

Emiratos Árabes Unidos
Colaboración continuaHighly recommend this seller for any project involving word and or excel.
USD 50
$
1 día
Tiempo
Útil?S 
soweilam01

Emiratos Árabes Unidos
Colaboración continuaVery detailed oriented and thorough seller. Happy reterning customer.
USD 50
$
4 días
Tiempo
Útil?J 
johncharlin

India
very good job done
USD 50
$
1 día
Tiempo
Útil?A aclaudiof

Puerto Rico
Job was done close to expectations, but not complete. Unfortunately it was delivered too late, and I couldn't meet my client due date. Supplier suggested a 50% discount, that ant the end was not given, and never delivered on time, with lack of response due to a private family event.
USD 100-USD 200
$
2 semanas
Tiempo
Útil?

