Optativa - DW

Estratégias de Implantação

•Rodrigo Vitorino Moravia

Ciclo de Vida de um Data Warehouse

2 3
• Transformação,
Limpeza e
• Sincronismo dos Data
Dados dados Warehouse
1 Legacy
• Análise de registros
Dados
Legacy
• Análise contínua
• Avaliação de dados Legacy e de tendências de
pré-condicionamento qualidade de
• Lógica de conversão pré-teste dados e
• Definição de tabelas de monitoração do
mapeamento Data Warehouse
• Definição e documentação de
regras de negócio

• Validação de conversões
Características dos Processamentos de Legacy x Data Warehouse

• Nível de Isolamento

• Concorrência

• Integridade dos dados

• Segurança

• Recuperação e backup

• Disponibilidade

• Mecanismos de acesso
Nível de Isolamento

Legacy Data Warehouse

• É necessário que haja mecanismos para • Os serviços por sua natureza não se
evitar que duas transações sendo interferem dispensando mecanismos de
processadas simultaneamente se interfiram isolamento
mutuamente
Concorrência

Legacy Data Warehouse

• Para resolver problemas de concorrência é • Não existem problemas lógicos de

preciso dispor de vários níveis de isolamento concorrência que exijam mecanismos ou
e fazer com que os programadores os cuidados especiais, sendo mais fácil a
utilizem criteriosamente implementação de processamento paralelo
Integridade dos Dados

Legacy Data Warehouse

• A integridade dos dados deve ser • Como os dados não são atualizados não há
implementada via mecanismos do tipo a necessidade dos mecanismos de
“triggers” ou “constraints” preservação da integridade
Segurança (Controle de Acesso)

• Ambos precisam de mecanismos para evitar acessos indevidos

Recuperação e Backup

Legacy Data Warehouse

• Necessitam de mecanismos eficientes e • Prescidem da maior parte dos mecanismos

eficazes para assegurar a atomicidade e existentes nos databases
durabilidade das transações
Disponibilidade

Legacy Data Warehouse

• É necessário estar 100% disponível. Suas • Permite um compromisso menor com a

interrupções frequentemente paralisam os disponibilidade, pois pequenas interrupções
negócios ou interrupções programadas não
prejudicam o negócio
• Há necessidade de mecanismos duplicados
para garantir a disponibilidade para os
usuários e admitir manutenção on-line
Otimização de Acessos

Legacy Data Warehouse

• Exigem otimizadores que atuam • Além dos otimizadores de pesquisa é

principalmente em queries complexas necessário o uso de mecanismos especiais
de indexação, pre-sumariações, etc. É o
“calcanhar de Aquiles” dos Data
Warehouses
Programação

Estratégia de Implantação do Projeto e Metadados

• Estratégia de implantação do projeto
- Levantamento de dados e delimitação de escopo
- Definição de Indicadores de Performance
- Metadados

• Modelagem e ETL
- Modelagem da camada intermediária
- Modelagem multidimensional
- ETL (Extração, Transformação e Carga)

• Qualidade de Dados e Ferramentas

- Política de qualidade de dados
- Processo de qualidade de dados
- Ferramentas
Estratégia de
Implantação
Uma definição precisa do data warehouse (perspectiva do usuário)

“O data warehouse é uma aplicação que melhora minha capacidade de

desempenhar as funções de negócio através da melhora da disponibilidade, clareza
e funcionalidade da informação”
Uma definição precisa do data warehouse (perspectiva do executivo)

“O data warehouse é uma iniciativa orientada ao negócio para a entrega de

informação estratégica que pretende impactar o modo como a organização faz
negócio”
Uma definição precisa do data warehouse (perspectiva de TI)

“O data warehouse é uma arquitetura sustentável, escalável e flexível para

coletar, integrar, gerenciar e entregar informação que faz nossos usuários
e executivos felizes”
Levantamento de dados

• Deve ser realizado junto aos usuários (chaves - patrocinador) que utilizam as
informações para decidir pela organização ou área da organização

• Focado em um objetivo claramente definido e aceito

• Identificação da existência das fontes de dados

Condução das entrevistas

• A metodologia de condução de entrevistas é utilizada para facilitar entrevistas cujo

foco é o levantamento de informações ou requisitos para uma solução.
• Utilizando tal metodologia, a entrevista é planejada para se obter os requisitos e
necessidades dos usuários finais e do pessoal de TI, tanto no presente quanto no
futuro. Pela comparação entre as requisições dos usuários e as especificações de
soluções, a recomendação de solução levará em conta a melhor aderência às
necessidades da organização.
• Registrar tudo em ata, para evitar surpresas desagradáveis.

• Fases para a condução da Entrevista

• Fase 1: Preparação
• Fase 2: Introdução da Entrevista
• Fase 3: Levantamento de Informações e Funcionalidades necessárias
• Fase 4: Comentários Livres
• Fase 5: Conclusão
Condução das entrevistas (cont.)

Fase 1: Preparação Fase 4: Comentários Livres (15 minutos)

Objetivos: Objetivos:
• Preparar a documentação • Obter o feedback do usuário
• Contatar os participantes • Responder às perguntas dos usuários
• Levantar Infra-estrutura da entrevista

Fase 2: Introdução da Entrevista (15 min) Fase 5: Conclusão (15 minutos)

Objetivos: Objetivos:
• Introdução aos participantes e regras de condução • Ratificar a importância do feedback
• Visão Geral do projeto • Discussão sobre como as informações levantadas
serão utilizadas
• Agenda
• Agradecimento pela participação
• Expectativas da reunião
• Distribuição de informações para contato

Fase 3: Levantamento de Informações e

Funcionalidades necessárias (30 - 75 min)
Objetivos:
• Obtenção da visão do processo
• Discussão sobre o impacto do projeto no processo de negócio
• Levantamento das Funcionalidades requeridas e desejáveis
Definição de escopo

• Deve ser acordado com o patrocinador conforme

- As necessidades reais do negócio

- Seu poder de investimento

- Um plano que permita o crescimento futuro

Fatores Críticos de Sucesso

• Patrocinadores

• Metodologia

• Boa seleção de dados

• Abordagem e ambiente adequados

• Plataforma de hardware e software

• Treinamento da Equipe de IT

• Ferramentas de administração
Lembre-se...

• DW precisa de Patrocinadores que:

- Estejam motivados

- Tenham como pagar pelo investimento

- Conheçam as necessidades do negócio

- Estejam dispostos a manter o DW nos anos seguintes

Lembre-se... (cont.)

• O projeto de construção do DW deverá:

- Atender aos interesses dos patrocinadores

- Ser condizente com a realidade da empresa

- Ter um objetivo inicial claramente definido e aceito

O que os Gerentes de Projeto em DW mais desejam?

• Um guia abrangente e prático para a construção de um Data Warehouse

• Um conjunto de papéis e responsabilidades para a construção do DW

• Identificação do que é feito em cada passo

• Um conjunto de produtos finais e modelos (Templates)

• Um plano de projeto abrangente

• Um processo que possa ser repetido!!

Processo Cíclico

Derivar Valor
de Negócio Estabelecer
Escopo
Avaliar
Gerenciar
Avaliar
Resultados
Imple-
mentar
Analisar
Implementar
Solução
Testar
Projetar
Estabelecer
Construir
Drivers de Negócio
O Projeto de Data Warehouse

Roteiro
Metodológico
Roteiro Metodológico

• Planejamento/Organização

• Especificação e Projeto

• Implementação e Customização

• Homologação e Implantação
Planejamento/Organização

• Identificar o escopo e contexto do projeto

• Identificar as funções/regras preliminares do negócio

• Mapear os requisitos do negócio

• Definir o modelo de dados preliminar das Base de Carga (BC), de Nível Intermediário
(NI), e do DW
Especificação e Projeto

• Consolidação das funções/regras do negócio

• Consolidação do modelo de dados do NI

• Definir/Validar o Modelo Lógico de Dados do Data Warehouse (DW)

Especificação e Projeto (cont.)

• Definir os procedimentos de extração dos dados da Base Legada para NI

- Definir e validar Mapa de Extração dos dados para NI

- Definir critérios de validação da qualidade dos dados (integração, transformação e

limpeza)

- Definir as especificações de extração/transformação/limpeza dos dados

- Definir periodicidade e seqüência das rotinas de extração/transformação/limpeza

dos dados
Especificação e Projeto (cont.)

• Definir os procedimentos de Carga do NI para o DW

• Definir a estrutura hierárquica e o design das telas

Implementação e Customização

• Elaborar os programas e rotinas de extração/transformação/limpeza de dados

• Elaborar os programas e rotinas de validação da qualidade dos dados

• Elaborar os programas e rotinas de cargas para o DW

• Elaborar o modelo físico do BC, NI e DW

• Executar primeira extração para NI - primeira amostragem

Implementação e Customização (cont.)

• Analisar o nível de qualidade dos dados - primeira amostragem

• Analisar o resultado de unificação/consolidação dos dados - primeira amostragem

• Apresentar e validar resultados da primeira amostragem

• Elaborar a estrutura hierárquica e o design das telas

Homologação e Implantação

• Executar o segundo ciclo de extração

• Analisar o nível de qualidade dos dados

• Analisar o resultado de unificação/consolidação dos dados

Homologação e Implantação (cont.)

• Apresentar e validar resultados da segunda amostragem

• Apresentar e validar a estrutura hierárquica e o design das telas (Estilo EIS)

• Treinamento dos usuários nas ferramentas de front-end (OLAP,

Query/Report, Data Mining, Simulação, etc)