source: intercambio/smid_carga_inicial.sh @ 4d5e736

Last change on this file since 4d5e736 was d16323b, checked in by jbecerra <jbecerra@…>, 10 years ago

Refinamiento de scripts de carga y actualización de procesos ETL

  • Property mode set to 100755
File size: 4.8 KB
RevLine 
[d16323b]1#! /bin/bash -l
2#Parametros del Repositorio Spoon
3export REPOSITORY_NAME="smid_etl"
4export REPOSITORY_USER="admin"
5export REPOSITORY_PASS="admin"
6#Ubicación de Kitchen
7export PATH_KITCHEN="/home/jbecerra/pentaho/data-integration"
8
9#stdout variables usadas
10echo "REPOSITORY_NAME=$REPOSITORY_NAME"
11echo "REPOSITORY_USER=$REPOSITORY_USER"
12echo "REPOSITORY_PASS=$REPOSITORY_PASS"
13echo "PATH_KITCHEN=$PATH_KITCHEN"
14
[771e299]15#Limpiar todas las tablas de hechos
[d16323b]16a="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_limpiar_grupo_1"
17b="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_limpiar_grupo_2"
18c="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_limpiar_grupo_3"
19d="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_limpiar_grupo_4"
20e="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_limpiar_grupo_5"
21f="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_limpiar_grupo_6"
22g="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_limpiar_grupo_7"
[771e299]23#Cargar las tablas de dimensiones
[d16323b]24h="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_dimensiones_grupo_0"
25i="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_dimensiones_grupo_1"
26j="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_dimensiones_grupo_2"
[771e299]27#Cargar las tablas de hechos
[d16323b]28k="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_hechos_grupo_1"
29l="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_hechos_grupo_2"
30m="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_hechos_grupo_3"
31n="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_hechos_grupo_4"
32o="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_hechos_grupo_5"
33p="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_hechos_grupo_6"
34q="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_hechos_grupo_7"
[771e299]35
36#Limpiar Directorio raiz Kitchen
37echo "Eliminando archivo log en directorio raiz"
38rm -rf job_borrar_directorio_flag*
39rm -rf job_limpiar_grupo_*
40rm -rf job_cargar_dimensiones_grupo_*
41
[af73296]42echo "Comenzando a ejecutar los Jobs"
[771e299]43echo "Eliminando archivos bandera"
[d16323b]44$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_borrar_directorio_flag > job_borrar_directorio_flag.log
[af73296]45
46echo 'Limpiando tablas de hechos'
47echo '                                 (  0%)'
[d16323b]48$a > job_limpiar_grupo_1.log &
49$b > job_limpiar_grupo_2.log &
50wait
[af73296]51echo '##########                       ( 30%)'
[d16323b]52$c > job_limpiar_grupo_3.log &
53$d > job_limpiar_grupo_4.log &
54wait
[af73296]55echo '####################             ( 60%)'
[d16323b]56$e > job_limpiar_grupo_5.log &
57$f > job_limpiar_grupo_6.log &
58wait
[af73296]59echo '##############################   ( 90%)'
60$g > job_limpiar_grupo_7.log
61echo '#################################(100%)'
[771e299]62
63echo "Comienza carga de dimensiones"
[af73296]64echo '                                 (  0%)'
[d16323b]65$h > job_cargar_dimensiones_grupo_0.log &
66$i > job_cargar_dimensiones_grupo_1.log &
67wait
[af73296]68echo '##############################   ( 90%)'
69$j > job_cargar_dimensiones_grupo_2.log
70echo '#################################(100%)'
[771e299]71echo "Finalizada carga de dimensiones"
72
73echo "Comienza carga de tablas de hechos"
[af73296]74echo '                                 (  0%)'
[d16323b]75$k > job_cargar_hechos_grupo_1.log &
76$l > job_cargar_hechos_grupo_2.log &
77wait
[af73296]78echo '##########                       ( 30%)'
[d16323b]79$m > job_cargar_hechos_grupo_3.log &
80$n > job_cargar_hechos_grupo_4.log &
81wait
[af73296]82echo '####################             ( 60%)'
[d16323b]83$o > job_cargar_hechos_grupo_5.log &
84$p > job_cargar_hechos_grupo_6.log &
85wait
[af73296]86echo '##############################   ( 90%)'
87$q > job_cargar_hechos_grupo_7.log
88echo '#################################(100%)'
[771e299]89echo "Finalizada carga de tablas de hechos"
90echo "Proceso Carga Inicial completado"
Note: See TracBrowser for help on using the repository browser.