¿Cómo ejecutar un proceso de carga / ETL de forma iterativa por fecha con / y en #kettle ?

08:00

Buenas,

hoy os traigo el como poder ejecutar un proceso de carga (o ETL) de forma iterativa con #kettle de forma sencilla.

Es un envoltorio, en que solo tendréis que poner vuestra ETL en medio y que reciba por parámetro la fecha.

El job principal tiene esta pinta:

Primero obtenemos el rango de fechas y por cada una de ellas ejecutamos el job "runForEachRow", bastante sencillo, ¿verdad?.

Algunos comentarios adicionales:

· La transformación getDates tiene un paso generar filas que se alimenta de:
- Un límite: por ejemplo 30.
- Una fecha inicial: por ejemplo 20160401. Le puse ese formato raruno, pero bien podríamos haberle puesto otro, por ejemplo separado por guiones o backslash.

· En el job de ejemplo hay un paso de escribir al log, en el que pongo que escriba el valor de la variable. Sólo mencionar que si queréis podéis sustituirlo por un paso que llame a una transformación y ahí pasarle como parámetro el valor de la fecha.

Es un paso inicial a algo que iré aumentando, así que estad atentos al desarrollo que seguro que os ayuda en vuestros proyectos.

Podéis encontrarlo en mi repo: https://github.com/fjpulidop/kettle_tools/tree/master/loop

Hasta la próxima!

You Might Also Like

1 comentarios

  1. Speaking about surfing. I would say it is one of the best sports but good coverage is not given to this sport on international media.
    http://www.qu.edu.sa
    http://www.coe.qu.edu.sa

    ReplyDelete

Sé respetuoso/a, en este blog caben todo tipo de opiniones con respeto y serenidad.

statistics :: ヽ(*・ω・)ノ

Contact Form :: (」゜ロ゜)」