Changeset d16323b in intercambio
- Timestamp:
- Sep 8, 2014, 8:45:55 AM (10 years ago)
- Branches:
- master
- Children:
- 4d5e736
- Parents:
- c81f47e
- Files:
-
- 2 edited
-
smid_actualizacion.sh (modified) (2 diffs)
-
smid_carga_inicial.sh (modified) (4 diffs)
Legend:
- Unmodified
- Added
- Removed
-
smid_actualizacion.sh
r65d547c rd16323b 1 #! /bin/bash -l 2 #Parametros del Repositorio Spoon 3 export REPOSITORY_NAME="smid_etl" 4 export REPOSITORY_USER="admin" 5 export REPOSITORY_PASS="admin" 6 #Ubicación de Kitchen 7 export PATH_KITCHEN="/home/jbecerra/pentaho/data-integration" 8 9 #stdout variables usadas 10 echo "REPOSITORY_NAME=$REPOSITORY_NAME" 11 echo "REPOSITORY_USER=$REPOSITORY_USER" 12 echo "REPOSITORY_PASS=$REPOSITORY_PASS" 13 echo "PATH_KITCHEN=$PATH_KITCHEN" 14 1 15 #Cargar las tablas de dimensiones 2 h=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_actualizar_dimensiones_grupo_0"3 i=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_actualizar_dimensiones_grupo_2"16 h="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_actualizar_dimensiones_grupo_0" 17 i="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_actualizar_dimensiones_grupo_2" 4 18 #Cargar las tablas de hechos 5 k=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_actualizar_hechos_grupo_1"6 l=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_actualizar_hechos_grupo_2"7 m=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_actualizar_hechos_grupo_3"8 n=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_actualizar_hechos_grupo_4"9 o=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_actualizar_hechos_grupo_5"10 p=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_actualizar_hechos_grupo_6"11 q=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_actualizar_hechos_grupo_7"19 k="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_actualizar_hechos_grupo_1" 20 l="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_actualizar_hechos_grupo_2" 21 m="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_actualizar_hechos_grupo_3" 22 n="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_actualizar_hechos_grupo_4" 23 o="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_actualizar_hechos_grupo_5" 24 p="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_actualizar_hechos_grupo_6" 25 q="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_actualizar_hechos_grupo_7" 12 26 13 27 #Limpiar Directorio raiz Kitchen … … 18 32 19 33 echo "Eliminando archivos bandera" 20 ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_borrar_directorio_flag > job_borrar_dorectorio_flag.txt34 $PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_borrar_directorio_flag > job_borrar_dorectorio_flag.txt 21 35 22 36 echo "Comenzando a ejecutar los Jobs" 23 37 echo "Comienza actualización de dimensiones" 24 $h > job_actualizar_dimensiones_grupo_1.txt | tee >($i > job_actualizar_dimensiones_grupo_2.txt ) 38 $h > job_actualizar_dimensiones_grupo_1.txt & 39 $i > job_actualizar_dimensiones_grupo_2.txt & 40 wait 25 41 echo "Finalizada actualización de dimensiones" 26 42 27 43 echo "Comienza actualización de tablas de hechos" 28 $k > job_actualizar_hechos_grupo_1.txt | tee >($l > job_actualizar_hechos_grupo_2.txt) | tee >($m > job_actualizar_hechos_grupo_3.txt) | tee >($n > job_actualizar_hechos_grupo_4.txt) | tee >($o > job_actualizar_hechos_grupo_5.txt) | $p > job_actualizar_hechos_grupo_6.txt 29 44 echo ' ( 0%)' 45 $k > job_actualizar_hechos_grupo_1.txt & 46 $l > job_actualizar_hechos_grupo_2.txt & 47 wait 48 echo '########## ( 30%)' 49 $m > job_actualizar_hechos_grupo_3.txt & 50 $n > job_actualizar_hechos_grupo_4.txt & 51 wait 52 echo '#################### ( 60%)' 53 $o > job_actualizar_hechos_grupo_5.txt & 54 $p > job_actualizar_hechos_grupo_6.txt & 55 wait 56 echo '############################## ( 90%)' 30 57 $q > job_actualizar_hechos_grupo_7.txt 58 echo '#################################(100%)' 31 59 echo "Finalizada actualización de tablas de hechos" 32 60 echo "Proceso de actualización completado" -
smid_carga_inicial.sh
raf73296 rd16323b 1 #! /bin/bash -l 2 #Parametros del Repositorio Spoon 3 export REPOSITORY_NAME="smid_etl" 4 export REPOSITORY_USER="admin" 5 export REPOSITORY_PASS="admin" 6 #Ubicación de Kitchen 7 export PATH_KITCHEN="/home/jbecerra/pentaho/data-integration" 8 9 #stdout variables usadas 10 echo "REPOSITORY_NAME=$REPOSITORY_NAME" 11 echo "REPOSITORY_USER=$REPOSITORY_USER" 12 echo "REPOSITORY_PASS=$REPOSITORY_PASS" 13 echo "PATH_KITCHEN=$PATH_KITCHEN" 14 1 15 #Limpiar todas las tablas de hechos 2 a=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_limpiar_grupo_1"3 b=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_limpiar_grupo_2"4 c=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_limpiar_grupo_3"5 d=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_limpiar_grupo_4"6 e=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_limpiar_grupo_5"7 f=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_limpiar_grupo_6"8 g=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_limpiar_grupo_7"16 a="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_limpiar_grupo_1" 17 b="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_limpiar_grupo_2" 18 c="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_limpiar_grupo_3" 19 d="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_limpiar_grupo_4" 20 e="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_limpiar_grupo_5" 21 f="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_limpiar_grupo_6" 22 g="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_limpiar_grupo_7" 9 23 #Cargar las tablas de dimensiones 10 h=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_cargar_dimensiones_grupo_0"11 i=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_cargar_dimensiones_grupo_1"12 j=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_cargar_dimensiones_grupo_2"24 h="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_dimensiones_grupo_0" 25 i="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_dimensiones_grupo_1" 26 j="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_dimensiones_grupo_2" 13 27 #Cargar las tablas de hechos 14 k=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_cargar_hechos_grupo_1"15 l=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_cargar_hechos_grupo_2"16 m=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_cargar_hechos_grupo_3"17 n=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_cargar_hechos_grupo_4"18 o=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_cargar_hechos_grupo_5"19 p=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_cargar_hechos_grupo_6"20 q=" ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_cargar_hechos_grupo_7"28 k="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_hechos_grupo_1" 29 l="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_hechos_grupo_2" 30 m="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_hechos_grupo_3" 31 n="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_hechos_grupo_4" 32 o="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_hechos_grupo_5" 33 p="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_hechos_grupo_6" 34 q="$PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_cargar_hechos_grupo_7" 21 35 22 36 #Limpiar Directorio raiz Kitchen … … 28 42 echo "Comenzando a ejecutar los Jobs" 29 43 echo "Eliminando archivos bandera" 30 ./kitchen.sh -rep=smid_etl -user=admin -pass=admin-dir=carga_inicial -job=job_borrar_directorio_flag > job_borrar_directorio_flag.log44 $PATH_KITCHEN/kitchen.sh -rep=$REPOSITORY_NAME -user=$REPOSITORY_USER -pass=$REPOSITORY_PASS -dir=carga_inicial -job=job_borrar_directorio_flag > job_borrar_directorio_flag.log 31 45 32 46 echo 'Limpiando tablas de hechos' 33 47 echo ' ( 0%)' 34 $a > job_limpiar_grupo_1.log | tee >($b > job_limpiar_grupo_2.log) 48 $a > job_limpiar_grupo_1.log & 49 $b > job_limpiar_grupo_2.log & 50 wait 35 51 echo '########## ( 30%)' 36 $c > job_limpiar_grupo_3.log | tee >($d > job_limpiar_grupo_4.log) 52 $c > job_limpiar_grupo_3.log & 53 $d > job_limpiar_grupo_4.log & 54 wait 37 55 echo '#################### ( 60%)' 38 $e > job_limpiar_grupo_5.log | tee >($f > job_limpiar_grupo_6.log) 56 $e > job_limpiar_grupo_5.log & 57 $f > job_limpiar_grupo_6.log & 58 wait 39 59 echo '############################## ( 90%)' 40 60 $g > job_limpiar_grupo_7.log … … 43 63 echo "Comienza carga de dimensiones" 44 64 echo ' ( 0%)' 45 $h > job_cargar_dimensiones_grupo_0.log | tee >($i > job_cargar_dimensiones_grupo_1.log ) 65 $h > job_cargar_dimensiones_grupo_0.log & 66 $i > job_cargar_dimensiones_grupo_1.log & 67 wait 46 68 echo '############################## ( 90%)' 47 69 $j > job_cargar_dimensiones_grupo_2.log … … 51 73 echo "Comienza carga de tablas de hechos" 52 74 echo ' ( 0%)' 53 $k > job_cargar_hechos_grupo_1.log | tee >($l > job_cargar_hechos_grupo_2.log) 75 $k > job_cargar_hechos_grupo_1.log & 76 $l > job_cargar_hechos_grupo_2.log & 77 wait 54 78 echo '########## ( 30%)' 55 $m > job_cargar_hechos_grupo_3.log | tee >($n > job_cargar_hechos_grupo_4.log) 79 $m > job_cargar_hechos_grupo_3.log & 80 $n > job_cargar_hechos_grupo_4.log & 81 wait 56 82 echo '#################### ( 60%)' 57 $o > job_cargar_hechos_grupo_5.log | tee >($p > job_cargar_hechos_grupo_6.log) 83 $o > job_cargar_hechos_grupo_5.log & 84 $p > job_cargar_hechos_grupo_6.log & 85 wait 58 86 echo '############################## ( 90%)' 59 87 $q > job_cargar_hechos_grupo_7.log
Note: See TracChangeset
for help on using the changeset viewer.
