Framework para recolección, procesamiento y publicación de datos

jenkins

Hola jaquers, estas últimas semanas @caroagse y yo hemos estado trabajando en un tool / framework para recolección, procesamiento y publicación de datos. Ayer liberamos la versión 1.0 y quisiera que le dieran una ojeada, que nos den feedback, si se entiende que es y para que sirve, etc:

https://flowbber.readthedocs.io/

Algunos use cases son:

  • Monitoreo de CPU, memoria, etc, de distintas máquinas.
  • Publicación a la nube de datos de sensores con Arduino desde un Raspberry PI.
  • Recolección de muestras de la velocidad de internet para su posterior visualización.
  • Visualización de la evolución de métricas de calidad de un repositorio de código (visualización en el tiempo de la evolución del coverage, de cantidad de tests, de tests pasando y fallando, de tests implementados con respecto al test plan).

Uno de los sinks principales (destinos de datos) es InfluxDB, que para los que no lo conocen es una base de datos de time series, es decir, para flujos de datos referidos en tiempo, y por ende se puede pegar a herramientas de visualización de datos como Grafana https://grafana.com/ y Chronograf https://docs.influxdata.com/chronograf/v1.3/introduction/getting-started/ , ambos permiten la creación de dashboards para la visualización de los datos

Creo que puede ser muy útil para las personas que trabajan en monitoreo, procesamiento de datos y aseguramiento de la calidad. Por ahora solo tiene unas pocas fuentes de datos y destinos de datos (sources and sinks), pero la idea es que ya que el core está listo, sigamos agregando más.

jenkins

Cambiamos de sitio web, readthedocs se quedó corto :confused:

Flowbber ahora vive en https://docs.kuralabs.io/flowbber/

Qué chiva, @cjenkins @caroagse ! ¿Puedo compartirlo en el grupo de daterxs de Latam?
Es más, ustedes deberían estar en ese grupo!

Carolina Aguilar
Si claro!! Dale, muchas gracias por compartirlo más bien :slight_smile: