¿Cómo ejecutar un proceso de carga / ETL de forma iterativa por fecha con / y en #kettle ?
mayo 10, 2016Buenas,
hoy os traigo el como poder ejecutar un proceso de carga (o ETL) de forma iterativa con #kettle de forma sencilla.
Es un envoltorio, en que solo tendréis que poner vuestra ETL en medio y que reciba por parámetro la fecha.
El job principal tiene esta pinta:
Algunos comentarios adicionales:
· La transformación getDates tiene un paso generar filas que se alimenta de:
- Un límite: por ejemplo 30.
- Una fecha inicial: por ejemplo 20160401. Le puse ese formato raruno, pero bien podríamos haberle puesto otro, por ejemplo separado por guiones o backslash.
· En el job de ejemplo hay un paso de escribir al log, en el que pongo que escriba el valor de la variable. Sólo mencionar que si queréis podéis sustituirlo por un paso que llame a una transformación y ahí pasarle como parámetro el valor de la fecha.
Es un paso inicial a algo que iré aumentando, así que estad atentos al desarrollo que seguro que os ayuda en vuestros proyectos.
Podéis encontrarlo en mi repo: https://github.com/fjpulidop/kettle_tools/tree/master/loop
Hasta la próxima!
1 comentarios
y en caso de tener una sentencia sql como podríamos hacer una carga incremental si tenemos algo asi "where date in ('2020-10-24')?
ResponderEliminarSé respetuoso/a, en este blog caben todo tipo de opiniones con respeto y serenidad.