Webinar: Oracle Data Integrator 12c (25-02-2015)

Data Integrator 12c
Moving Data to Transform Business
Joan Massegú
Consultor y Técnico Preventa del Área de Business Analytics Webinar

Webinar
Índice
© avanttic Consultoría Tecnológica, S.L.2
1  Introducción
2   Arquitectura de ODI 12c
3   Desarrollo con ODI 12c
4   Big Data con ODI 12c
5   Integración con otras herramientas
6   Migración de OWB 11g (Warehouse Builder) a ODI 12c
7   Actualización de ODI 11g a 12c
8   Conclusiones

Webinar
Introducción
•   Pertenece a la línea de productos de Business Analytics
•   Es la herramienta de integración de datos estratégica de Oracle
3 © avanttic Consultoría Tecnológica, S.L.
Oracle Data Integrator (ODI) en el portfolio de Oracle
Data Integration Engineered Systems
Packaged Analytics
& EPM Apps
Data Analytic
Tools
ODI

12c

Webinar
Introducción
Necesidades actuales en la integración de datos
Cualquier Fuente
de datos
Real Time,
Quality Data
Máximo rendimiento,
Alta disponiblidad
Interna o en
la Nube
Integrada,
Alta productividad

Webinar
Introducción
•   Procesos ELT para Data Warehouse / Integraciones ODS / Migraciones
•   BD Heterogéneas (cualquier origen/destino de datos), XML, …
•   Real time Data Warehouse
•   Con sus propios (KM’s) de soporte para CDC
•   Mediante la integración con OGG (GoldenGate)
•   Diseñado para arquitecturas SOA: exponer y consumir datos y procesos
•   MDM: linaje de los datos / análisis impacto de los cambios
•   Alta disponibilidad sobre WLS
•   Consolas monitorización infraestructura y ejecuciones
•   Conectores para BigData
•   Data Quality desde ODI e integración con EDQ
Principales características de ODI 12c

Webinar
Introducción
•   Diseño declarativo (KM)
•   Desarrollo orientado a flujos
•   Reutilización de código
•   Rendimiento optimizado para Oracle
Particionado/Paralelismo/Hints/Merge/Inserts múltiples destinos/…
•   Simulación ejecución
•   Depuración paso a paso
•   Funcionalidad extensible y/o customizable
Desarrollo de alta productividad con ODI 12c

Webinar
Índice
1   Introducción
2  Arquitectura de ODI 12c
8   Conclusiones

Webinar
Arquitectura de ODI 12c
•   Repositorios
•   ODI Studio
•   Agentes
•   Componentes J2EE
•   Management Pack
Componentes

Webinar
•   Almacenados en esquema BD
•   Repositorio Master
•   Topología de la infraestructura IT
•   Información de seguridad
•   Objetos versionados y archivados
•   Repositorios de trabajo (n)
•   Estructuras de datos (Modelos)
•   Proyectos
•   Información de ejecución
Repositorios de ODI
Master
Work

Exec

Webinar
•   Tipos Agente
•   Standalone
•   Collocated
•   J2EE
•   Responsabilidades
•   Listener
•   Scheduler
•   Procesos java ejecutándose
próximos al host de BD
Agentes ODI
Cualquier origen Cualquier destino
ODI
J2EE

(Dominio
WLS)

ODI
Console J2EE Agent Standalone
Agent
(Dominio
WLS)

Collocated Agent
Repositorio

ODI

Cliente (Cualquier Plataforma)
ODI
Studio

…
Cliente
web

ODI
Console

Webinar
•   Interface web
•   Monitorizar resultados
de ejecución
•   Lanzar procesos
•   Linaje y flujo de datos
ODI Console

Webinar
•   Gestión y Rendimiento
•   Gestión Configuración
•   Gestión SLM
•   Análisis histórico y reporting
ODI Management Pack

Webinar
1   Introducción
3  Desarrollo con ODI 12c
8   Preguntas y Respuestas
Índice

Webinar
Desarrollo con ODI
Flujo de un proceso ELT
Definir
topología
Elegir
estrategia
de carga
Coordinar

tareas
auxiliares
(preprocesar
ficheros/ftp/…
Ejecución y
Schedule
Monitorizar
Resultados
Modelo de
datos
(ing. inversa)
Desarrollar
mapping
(transformación)
Orquestar
flujo ELT
Validación

Webinar
Desarrollo con ODI
•   Topología
•   Designer
•   Data Model
•   Proyectos
•   Mappings
•   Packages
•   Execution Plans
•   Procedures
•   KM’s
•   Operador
•   Monitorizar estado ejecuciones
•   Programación
•   Seguridad
ODI Studio

Webinar
Desarrollo con ODI
Define
•   Fuentes de datos
•   Origen
•   Destino
•   Staging
•   Modelos datos
•   Lógico
•   Físico
•   Contextos de ejecución
•   Agentes en nuestra infraestructura
•   Repositorios ODI existentes
Topología
DIAgent_DES
DEV
PRO

Webinar
Desarrollo con ODI
Modelo
•   Describe conjuntos de Datastores
(Atributos, claves, filtros y condiciones)
•   Ingeniería inversa
•   Define reglas integridad
(Estáticas/Flujo)
•   Configuración para CDC
Designer

Webinar
Desarrollo con ODI
Contenido de un Proyecto
•   Variables, Secuencias
•   Procedimientos
•   Funciones
•   Mappings (Interfaces)
•   KM’s
•   Packages
•   Load Plans
Designer
MúlEples
implementaciones
función

Webinar
Desarrollo con ODI
Perspectivas
•   Lógica
•   Física
Estructura de un mapping
Propiedades
Físicas

•  Esquemas:
des,no,
staging

•  Estrategia
de
carga
(KM)

•  Opciones
(Borrar
temporales,

autocommit,
….)

Lógica
de
negocio

•  Objetos
de
datos
y
sus
Relaciones

•  Filtros
Restricciones

Webinar
Desarrollo con ODI
Plantillas de código especializadas en la ejecución de un tipo de tarea
•   LKM
•   IKM
•   CKM
•   JKM
•   RKM
•   SKM
Knowledge Modules (KM)

Webinar
Desarrollo con ODI
•   Objetos ejecutables
•   Mappings
•   Paquetes
•   Load Plans
•   Procedures
•   Escenarios (Casos)
•   Ejecución
•   Interactiva
•   Programada
•   Simulación
•   Ver resultado ejecución (Operador)
Ejecución de procesos ELT

Webinar
Desarrollo con ODI
Packages
•   Define secuencia ejecución
•   ODI Tools
•   Mappings
•   Procedimientos
Load Plans
•   Definen el flujo de carga
•   En serie
•   En paralelo
•   Ejecuta escenarios
•   Diferentes tipos de reinicio
•   Ejecución parcial
Orquestar el flujo de datos

Webinar
Desarrollo con ODI
•   Objetos debugables
•   Mappings
•   Escenarios
•   Procesos
•   Paquetes
•   Sobre cualquier agente
(sesiones en ejecución)
•   Ejecución paso a paso
•   Edición sentencias SQL
•   Ejecutar código modificado
Debugger integrado

Webinar
Desarrollo con ODI
•   Dos modos de journalizing
•   Simple
•   Consistente
•   Modelo publicación/suscripción
•   Journal/Vistas
•   Procesos de captura
•   Suscriptores
•   Dos implementaciones
•   Análisis Log transacciones
•   Triggers
•   ODI automatiza procesos
•   Despliegue
•   Control
Realtime Data Warehouse con Change Data Capture (CDC)

Webinar
Desarrollo con ODI
•   KM’s y Substitution API
•   SDK
•   Groovy scripts
•   Puede utilizar comandos del SDK
•   Automatizar la edición/ejecución objetos
•   Automatizar cambios masivos
Extendiendo/Personalizando ODI

Webinar
1   Introducción
4  Big Data con ODI 12c
8   Conclusiones
Índice

Webinar
Big Data con ODI 12c
•   Integración de datos en Hadoop
(Sistema ficheros local / HDFS / Hbase / BD SQL estándar)
•   Realizar validaciones y transformaciones de datos en Hadoop
•   Llevar los resultados obtenidos en Hadoop a otro almacén de datos
(Oracle / BD SQL estándar / Hbase)
•   Disponible a partir de ODI 11.1.1.6
•   Se licencia por separado
Application Adapter for Hadoop (ODIAAH)

Webinar28 © avanttic Consultoría Tecnológica, S.L.
Big Data con ODI 12c
Nombre
(KM)
Propósito
Origen
DesEno

LKM
File
to
Hive
Cargar
datos
de
local
o
HDFS
en
tablas
Hive
File
system
Hive

IKM
Hive
Control
Append
Integra
datos
en
Hive
en
modo
truncate/insert
Hive
Hive

IKM
Hive
Transform
Integra
datos
en
Hive
una
vez
transformados
con
un
script

desarrollado
en
Perl/Python

Hive
Hive

IKM
File-‐Hive
to
Oracle
(OLH-‐
OSCH)

Integra
datos
desde
HDFS
o
Hive
en
tablas
Oracle
File
system/Hive
Oracle

IKM
File-‐Hive
to
SQL
Integra
datos
desde
HDFS
o
Hive
en
BD
SQL
File
system/Hive
BD
SQL

IKM
SQL
to
Hive-‐HBase-‐File
Integra
datos
desde
BD
SQL
en
HDFS/Hbase/Hive
BD
SQL
Hive/HBase/

HDFS

IKM
Hive
to
Hbase
Incremental

Update

Integra
datos
desde
Hive
a
Hbase,
pudiendo
realizar
insert/
update.

Hive
HBase

LKM
HBase
to
Hive
Cargar
datos
de
Hbase
a
Hive
HBase
Hive

CKM
Hive
Validar
cumplimiento
restricciones
-‐
Hive

RKM
Hive
Ingeniería
inversa
de
tablas
Hive
-‐
Hive

RKM
HBase
Ingeniería
inversa
de
tablas
Hbase
-‐
HBase

KM’s incluidos en el Application Adapter for Hadoop (ODIAAH)

Webinar
1   Introducción
5  Integración con otras herramientas
8   Conclusiones
Índice

Webinar
Integración con otras herramientas
•   Cualquier agente puede exponer
transformaciones de ODI como WS
•   Los agentes J2EE pueden
exponer Data Services
•   Invocar Web Services y
procesar su respuesta
Arquitectura SOA

Webinar
•   Funcionalidad EDQ
•   Profiling
•   Validar direcciones
•   Estandarización/Análisis Sintáctico
•   Combinar y enriquecer registros
•   Integración EDQ con ODI
•   A través de ODI Tools
•   Monitorización estado jobs EDQ en Operador
•   Disponible desde 11.1.1.6
Enterprise Data Quality (EDQ)

Webinar
•   OGG transformaciones básicas “in-row” /
ODI transformaciones complejas (lookups, …)
•   Rendimiento OGG optimizado al procesar microbatches con ODI
•   Mismo mapping soporta bulk-loads y microbatches
•   GG es menos invasivo que CDC
Oracle GoldenGate (OGG) para Real Time Data Warehouse
32
EMP DEPT
DIM
FACT
DIM
DIMDIM
ODS Schema
DW Schema
Oracle BI
Log-based, Real-time Data Feeds
EMP DEPT
Oracle GoldenGate
Source OLTP
System
trans2 trans1trans3
Batch Feed
Historic AnalyticsReal-time Analytics
Oracle
Data Integrator
& Data Quality

Webinar
•   Podemos utilizar Journalizing de OGG sin reestructurar los mappings
•   Gestionar instancias Captura/Distribución OGG desde la topología ODI
•   Mantener parámetros configuración GG desde ODI
•   Interface gráfica despliegue procesos GG vía ODI
OracleGolden Gate (OGG)

Webinar
•   Linaje de los datos
•   Análisis de impacto
Master Data Management (MDM) con OBIEE

Webinar
1   Introducción
6  Migración de OWB 11g (Warehouse Builder) a ODI 12c
8   Conclusiones
Índice

Webinar
•   Porque…
•   OWB 11.2 es versión terminal
•   “Premier Support” de OWB 11.2 finalizó
en enero de 2015
•   La BD 12.x no incluye OWB en la instalación
•   OWB 11.2 NO estará certificado en BD > 12.1
•   Ahora
•   Oracle provee utilidad de migración de OWB 11.2.0.x a ODI 12.1.y*
•   Rediseño filosofía desarrollo de ODI orientándola a flujo
Migración de OWB 11g a ODI 12c
¿Por qué, cuándo y cómo?
*(x>=
3,
y>=4)

Webinar
•   Gradualmente
•   Integrando desarrollos OWB en los flujos ODI
•   Migrando automáticamente los proyectos OWB a ODI (utilidad migración)
•   Empezando a desarrollar en ODI los nuevos proyectos (y lo no migrable)
¿Por qué, cuándo y cómo?

Webinar
•   ODI 12c incorpora tecnología “Oracle Warehouse Builder”
•   ODI 12c puede coordinar
ejecución mappings y
workflows OWB
•   Invocación vía ODI Tools
•   Resultados ejecución
mappings/workflows
mostrados en “Operador”
Integrar desarrollos OWB actuales en ODI 12c

Webinar
1   Introducción
7  Actualización de ODI 11g a 12c
8   Preguntas y Respuestas
Índice

Webinar
Actualización de ODI 11g a 12c
•   Nomenclatura
•   Filosofía de desarrollo
•   Dos implementaciones de KM: Template style / Component style
•   Desarrollo de mappings (interfaces en 11g) orientado a flujo
•   Desaparecen interfaces temporales (amarillas)
•   Aparecen reusable mappings
•   Múltiples destinos en un mismo mapping
•   Agentes: +Collocated Agents, Standalone Agent administrado por WMF
•   Conversión interfaces en mappings
•   Conversión de internal ID a Global Unique Identifiers (GUID)
¿Qué ha cambiado?

Webinar
•   Rendimiento
•   Ejecución en paralelo automática
•   Ejecución tareas concurrentemente
•   KM’s para BigData (HDFS, Hbase, Hive) con SQOOP
•   Seguridad (encriptación pwds, etc. en exportaciones)
•   Soporte XML mejorado y añade JSON vía ODI Complex File Driver
•   Debugger paso a paso
•   Incorporación de tecnologías Oracle a la topología
•   Golden Gate
•   Warehouse Builder
•   Interface desarrollo orientada a flujo
Nuevas funcionalidades

Webinar
•   Modos ejecución ODI 12c
•   Mappings nativos 12c
•   Compatiblidad 11g
•   Como generar mappings en modo compatibilidad
•   Activando opción en la utilidad de actualización
•   Mediante una opción antes de importar un mapping
•   Todos los módulos se ejecutan de la misma manera
•   Es posible convertir mappings compatibles 11g a 12c
Modo compatibilidad
11g

11g

Webinar
1   Introducción
8  Conclusiones
Índice

Webinar
Oracle Data Integrator 12c
•   ODI 12c es una inversión segura
•   Consolida la experiencia de OWB y ODI para ofrecer elevada
productividad
•   Amplia cobertura funcional, pero extensible y costumizable
•   Alta disponibilidad, monitorización
•   Preparada para el presente … y el presente inminente
•   Conectores Big data
•   Real time (CDC, OGG)
•   Momento para migrar de OWB 11g a ODI 12g
Conclusiones

Joan.massegu@avanttic.com
Para más información contacte con nosotros a través de comercial@avanttic.com
BARCELONA
Aragó 182, 4ª planta
08011 Barcelona
Tel. 93 151 84 51
MADRID
Paseo de la Castellana, 135, 7ª
28046 Madrid
Tel. 91 116 17 89
el
partner

Webinar: Oracle Data Integrator 12c (25-02-2015)

Recommended

Recommended

More Related Content

What's hot

What's hot (7)

Viewers also liked

Viewers also liked (16)

Similar to Webinar: Oracle Data Integrator 12c (25-02-2015)

Similar to Webinar: Oracle Data Integrator 12c (25-02-2015) (20)

More from avanttic Consultoría Tecnológica

More from avanttic Consultoría Tecnológica (20)

Recently uploaded

Recently uploaded (20)

Webinar: Oracle Data Integrator 12c (25-02-2015)