Buenas,

hoy os traigo el como poder ejecutar un proceso de carga (o ETL) de forma iterativa con #kettle de forma sencilla.

Es un envoltorio, en que solo tendréis que poner vuestra ETL en medio y que reciba por parámetro la fecha.

El job principal tiene esta pinta:

Primero obtenemos el rango de fechas y por cada una de ellas ejecutamos el job "runForEachRow", bastante sencillo, ¿verdad?.

Algunos comentarios adicionales:

· La transformación getDates tiene un paso generar filas que se alimenta de:
- Un límite: por ejemplo 30.
- Una fecha inicial: por ejemplo 20160401. Le puse ese formato raruno, pero bien podríamos haberle puesto otro, por ejemplo separado por guiones o backslash.

· En el job de ejemplo hay un paso de escribir al log, en el que pongo que escriba el valor de la variable. Sólo mencionar que si queréis podéis sustituirlo por un paso que llame a una transformación y ahí pasarle como parámetro el valor de la fecha.

Es un paso inicial a algo que iré aumentando, así que estad atentos al desarrollo que seguro que os ayuda en vuestros proyectos.

Podéis encontrarlo en mi repo: https://github.com/fjpulidop/kettle_tools/tree/master/loop

Hasta la próxima!

¿Alguna vez os ha surgido la necesidad de contar el número de parámetros de entrada de la ETL, o el número de parámetros de entrada en un Mapping, o simplemente contar el número de campos que hay en un flujo de datos?.

Aquí pongo una solución, que podéis paquetizar y meter en una subtransformación:


· generateInputRows: recreo un número finito de parámetros de entrada.

· UDJCDenormalizer: este paso lo podéis encontrar mejor explicado en:

Pero básicamente consiste en pasar de columnas a filas.
· countInputRows: es un groupBy en el que agrupamos todas las filas y las contamos (independientemente del número de columnas).

· showLog: lo mostramos :)

Lo podéis encontrar en github:

git@github.com:fjpulidop/kettle_tools.git

¡Espero haberos ayudado!