Configuraré una pipeline de análisis de eventos autoalojada con carga de datos en bruto en BigQuery
Acerca de este Servicio
Si quieres tener control total sobre tus datos de análisis sin depender completamente de plataformas de seguimiento de terceros, puedo configurar una pipeline de eventos autoalojada para ti.
Este proyecto está diseñado para equipos que desean una base de análisis limpia y práctica:
- seguimiento de eventos personalizado
- propiedad de eventos en bruto
- almacenamiento portátil
- consultas listas para BigQuery
- soporte para web, backend, app o juegos
Lo que entregaré
- despliegue de una API de ingestión de eventos
- recolección de eventos mediante clave API
- buffering de eventos a través de NATS JetStream
- almacenamiento de eventos en bruto como archivos Parquet particionados en Google Cloud Storage
- configuración de tabla externa en BigQuery para consultar datos en bruto
- configuración para tu primer productor de eventos
- versión de código abierto de Metabase (opcional)
Casos de uso típicos
- análisis de productos para aplicaciones web/móviles, extensiones de navegador
- sistema de seguimiento de eventos personalizado en backend
- fundación de eventos en bruto antes de dashboards o BI
- análisis de juegos
Nota importante sobre el alcance
Este proyecto configura la infraestructura de ingestión de eventos y análisis en bruto.
No incluye:
- un dashboard de análisis terminado
- implementación avanzada de BI
- una interfaz completa de análisis de productos
Requisitos del proyecto
- subdominio
- proyecto en GCP, VM que te ayudaré a configurar
Herramientas y plataformas:
Otros
FAQ
Traducción automática
¿Qué es DataQuery (oferta del proyecto actual)?
DataQueryEvent es una pipeline autoalojada de seguimiento de eventos en la app, ingestión y almacenamiento en bruto para análisis de productos, aplicaciones y juegos. Es un proyecto de código abierto desarrollado y mantenido por mí.
¿Es DataQuery una plataforma de análisis SaaS?
No. DataQuery es una pipeline de análisis autoalojada desplegada en tu infraestructura.
¿Quién aloja el sistema?
Sí, tú. La configuración predeterminada usa tu propia VM y servicios de Google Cloud donde sea necesario.
¿Qué pasa a medida que crece el volumen de eventos?
La configuración predeterminada empieza simple, generalmente en una VM, y puede escalarse después a medida que aumenta tu tráfico. La VM en la nube es fácil de escalar, normalmente el rendimiento de computación puede aumentarse simplemente ajustando configuraciones en la interfaz.
¿Dónde se almacenan los datos en bruto?
Los eventos en bruto se escriben en el almacenamiento blob en formato Parquet (Google Cloud Storage por defecto).
¿Qué tipo de productos pueden usar esto?
Aplicaciones web, sitios web, aplicaciones móviles, extensiones de Chrome, juegos y servicios backend.
¿Soy dueño de los datos?
Sí. El sistema está diseñado en torno a la propiedad de datos en bruto y portabilidad.
¿Puedes ayudar a definir el esquema de eventos?
Sí. Puedo ayudarte a estructurar nombres de eventos, parámetros y límites de productores.
¿Incluye esto dashboards?
No, este proyecto se centra en la ingestión y la infraestructura de análisis en bruto, pero puedo desplegar una versión de código abierto de Metabase para tus necesidades de BI. El desarrollo de dashboards puede añadirse por separado.
