Cadastrar Data Marts

1. Ative a carga de dados e determine a sua Sequência de execução;
2. Em Datasource defina a fonte de dados, escolha na lista das fontes já cadastradas e/ou deixe em branco para utilizar a fonte de dados padrão do Data Mart;
3. Em Select de carga informe o SQL que realizará a leitura da base de origem e irá incluir na tabela do ETL X. Os campos do select da carga devem ser iguais aos nomes dos campos da tabela Stage e devem ser incluídos todos os campos obrigatórios.
   
   No campo de comando de seleção é necessário inserir somente comandos que iniciam com a palavra Select. O sistema não possui suporte para campos do tipo DATE ou NVARCHAR(MAX) em bancos de dados SQL Server;
4. Em SQL de transformação informe o SQL para a transformação feita ao final de cada período de extração de Data Marts nativos e customizados. Este processo é feito antes de popular o Modelo Dimensional. Quando realizar mais de um comando SQL, utilize os comandos BEGIN e END. Neste select é possível utilizar o valor ##TABLE## no nome da tabela, que será substituído em tempo de execução;

   Nota

   Em alguns casos, em que não se deseja trabalhar com todas as dimensões ou que um determinado valor tenha que ser alterado, por exemplo em virtude de um imposto ou custo adicional, basta fazer o tratamento através de exclusões de valores a partir do campo SQL de transformação de cada Data Mart, evitando alterar a estrutura de dados.

   Exemplo:

   Data Mart de Faturamento

   • Não deseja trabalhar com todas as empresas: delete from STAGE_E_FAT where codemp in (1,2,3)
   • O valor de faturamento deve ser considerado diferente, pois a empresa 2 esta sujeita a outra tributação: update STAGE_E_FAT set VLRFAT = VLRFAT * 0.9 where CODEMP = 2

Informe e consulte os dados de cada tabela Dimensão e Fato, a sequência da tabela, base de origem, comando de exclusão, atualização e outras definições do cadastro de tabelas do Data Mart:

1. Em Sequência da tabela identifique a ordem da qual os comandos de inclusão serão executados, realizando as devidas alterações ou inclusões no modelo dimensional. A rotina de limpeza utiliza as informações de metadados do banco para obter os relacionamentos entre as tabelas e assim, determinar a ordem de limpeza;
2. Em Datasource padrão defina a fonte de dados, escolha na lista das fontes já cadastradas e/ou deixe em branco para utilizar a fonte de dados padrão do Data Mart;
3. A identificação de cada tabela do modelo dimensional, Dimensão ou Fato, pode ser feita a partir do campo Tipo. E ainda o Nome da tabela que vai abrigar a Dimensão ou Fato que definida;
4. Caso o tipo da tabela for Dimensão, em Forma de extração defina se a dimensão será extraída direto da base de origem ou da Stage:
   • Base de origem: apresenta os campos que permitem a extração e atualização dos dados da tabela Dimensão do sistema de origem diretamente, sem passar pela tabela Stage. Os dados dos comandos de extração e atualização são válidos para todos os Data Marts que utilizarem a mesma tabela, com a forma de extração:
     • Comando de Extração: cadastro no formato JSON. Chaves disponíveis: keys, columns e sql;
       
       Exemplo:

       {

       keys:"NUMEMP", // Nomes das colunas de chave primaria na tabela de destino

       columns: "APEEMP, NOMEMP", // Nomes das colunas de descrições e valores na tabela de destino

       sql:"SELECT NUMEMP, APEEMP, NOMEMP FROM R030EMP"// Select para extração dos dados da dimensão

       }

     • Comando de Atualização: cadastro em formato SQL.
       
       Exemplo:

       update TEMP_DI_R030EMP set APEEMP = ''a'' || APEEMP' where tabdes = 'DI_R030EMP

       Durante a transformação é criada uma tabela temporária com o nome t_<nome data mart>_<nome da tabela>.

   • Stage:
     • Comando de Atualização: informe os comandos que serão executados para que os dados, que foram previamente carregados para o Data Mart, possam ser inseridos no modelo dimensional, em suas respectivas tabelas Dimensão e Fato.
       
       Exemplo:

       MERGE INTO USU_TDI_EMP D

       USING (SELECT DISTINCT USU_CODEMP, USU_NOMEMP FROM USU_T_STAGE) S

       ON (D.USU_CODEMP = S.USU_CODEMP)

       WHEN MATCHED THEN

       UPDATE SET D.USU_NOMEMP = S.USU_NOMEMP

       WHEN NOT MATCHED THEN

       INSERT(USU_CODEMP, USU_NOMEMP) VALUES(S.USU_CODEMP, S.USU_NOMEMP);

5. Caso o tipo da tabela for Fato: em forma de atualização defina se os dados anteriores não serão excluídos, serão totalmente sobrescritos, opção "Efetua recarga completa" ou será utilizado condição de recarga:
   • Comando de Atualização: possui a mesma regra por Stage;

   Caso seja utilizado "Utiliza Condição de recarga", será exibido:

   • Comando de Exclusão: informe o critério de exclusão dos registros que serão substituídos pela carga do Data Mart. Esta exclusão é necessária, pois ela é responsável por retirar da base do ETL X, o bloco de informações que está sendo importado. Para que não duplique as informações devem ser utilizados os mesmos parâmetros de data em que foram utilizados no campo Select Carga Data Mart, sendo comando SQL resultante na seguinte estrutura:
     • SQL Server: DELETE B FROM [Nome da tabela] AS B [COMANDO DE EXCLUSÃO]
     • Oracle: DELETE [Nome da tabela] B [COMANDO DE EXCLUSÃO]

     É possível informar um filtro de período no comando SQL de leitura/carga: B.[Campo Data] >= :DATINI AND B.[Campo Data] <= :DATFIM e/ou um comando mais complexo desde que contenha a palavra chave where.

   Verifique todos os parâmetros aceitos em comandos SQLs.

Determine as fontes de dados do MicroStrategy que devem ter os caches manipulados pelo controle de carga, limpando e regerando o cache de todos que forem informados:

1. Informe os IDs do projeto e do relatório. Estas informações são obtidas da seguinte maneira:
   1. Pelo navegador, acesse: http(s)://<Servidor do MicroStrategy>:<Porta do serviço>/MicroStrategy
   2. Clique no projeto. Será solicitado o usuário e senha, que são os mesmo dados informados no cadastro no MicroStrategy;
   3. Acesse o objeto o qual é necessário o ID (relatório ou projeto);
   4. Clique com o botão direito do mouse sobre o objeto (relatório ou projeto) e depois em propriedades;
   5. Copie a linha do ID e informe nos campos no Cadastro de relatório MicroStrategy.
2. Determine o Tipo de execução das fontes de dados (cubos/relatórios):
   • "Normal": cubos/relatórios que não possuem carga incremental;
   • "Base": cubos/relatórios que devem ser executados antes de relatórios de inserção ou exclusão;
   • "Inserir": relatório para inserção incremental de dados em um cubo;
   • "Remover": relatório para exclusão incremental de dados em um cubo.
3. Informe qual a máscara o relatório de atualização incremental irá utilizar para passar o período (mensal, diário ou anual);
4. Selecione as caixas de seleção Mês anterior e Mês anterior do ano passado caso no cubo em que for executado o relatório para inclusão e/ou exclusão possuir transformações, ou seja, métricas de ano anterior/mês do ano anterior;
5. Clique em Salvar para finalizar.

Determine os aplicativos do Qlik Sense que devem ter os dados atualizados pelo controle de carga. Para isto, informe o ID da stream e o ID do relatório que deverão ter o cache manipulado.

Faça o agendamento da extração dos dados dos sistemas de origem para o ETL X. Este cadastro utiliza o horário e fuso horário do servidor, por isso as informações inseridas devem ser feitas considerando que a execução do servidor é feita em UTC (Coordinated Universal Time):

Consulte as restrições para execução da carga antes de realizar o agendamento das extrações dos dados.

1. Informe um Nome para identificação do agendamento e sua Data de início. O agendamento somente terá validade a partir desta data e hora informada;
2. Determine a periodicidade de carga em Tipo de repetição.
   • "Uma única vez": será executado logo que for valido segundo a data de inicio;
   • Demais opções: requerem a seleção do campo seguinte entre os valores "Total" e "Fração" e também a definição de Valor contado para repetição.
     
     Exemplo:

     Executar todos os dias às 3h:

     • Tipo de repetição: Hora
     • "Total"
     • Valor contado para repetição: 3

     Executar todos os dias a cada 10 minutos:

     • Tipo de repetição: Minutos
     • "Fração"
     • Valor contado para repetição: 10
3. Determine o tipo de período, diário, semanal, mensal, anual ou ainda customizado, da carga inicial e final dos dados dos sistemas de origem. Quando optar por "Dia", "Semana", "Mês", "Ano", o campo Valor contado para período inicial será apresentado para determinar o valor contado para período inicial/final;
   
   Exemplo:

   Extrair os dados de dois meses no passado até ontem:

   Tipo de período de carga inicial: "Mês"

   Valor contado para período inicial: -2

   Tipo de período de carga final: "Dia"

   Valor contado para período inicial: -1

   Ao optar por"Customizado", o formato do período é conforme ISO-8601 "PnYnMnD" e "PnW", iniciado com um sinal opcional, denotado pelos símbolos ASCII positivo ou negativo:

   • quando negativo, todo o período é considerado negativo;
   • a letra ASCII "P" vem após o sinal, sendo em maiúsculo ou minúsculo
   • Após quatro sessões, cada uma consiste de um número e sufixo. Sendo que pelo menos quatro sessões devem estar presentes;
   • Os sufixos são "Y", "M", "W" e "D" para anos, meses, semanas e dias (podendo ser maiúsculo ou minúsculo), respectivamente, e em ordem;
   • a parte numérica de cada sessão deve consistir de números ASCII e pode ser precedido pelo símbolo ASCII negativo ou positivo e por um número inteiro.
     
     Exemplo:

     Extrair os dados de dois anos e três meses no passado até semana passada:

     Tipo de período de carga inicial: "Customizado"

     Valor contado para período inicial: -P2Y3M

     Tipo de período de carga final: "Customizado"

     Valor contado para período final: -P1W

   Quando optar por "Digitado", um campo ao lado será apresentado para determinar o valor contado para período inicial/final no formato dd/mm/yyyy;

   Observação

   Os prefixos positivos e negativos e outros valores negativos não fazem parte da ISO-8601. Adicionalmente, esta ISO não permite misturar os formatos "PnYnMnD" e "PnW". Qualquer formato baseado em semana deve ser multiplicado por 7 e tratado como número. Por isto, utilize o período "0" para indicar que deve ser considerada a data atual. Quando optar por "Digitado", um campo ao lado será apresentado para determinar o valor contado para período inicial/final no formato dd/mm/yyyy.

4. Clique em Salvar para confirmar o agendamento.

Defina os parâmetros de extração dos dados para alguns Data Marts:

Cadastrar transações do Compras, vendas e estoques

Cadastre os aglutinadores da fórmula, por empresas e transação, que serão considerados no cálculo utilizado pelo Data Mart de Compras, vendas e estoques.

1. Na lista do tipo de transações, clique em Cadastrar;
2. Determine o Tipo de transação e informe a empresa que consta na base do sistema Gestão Empresarial | ERP;
3. Informe uma transação e clique em Salvar para concluir o cadastro.

Por padrão, são utilizadas as seguintes transações nos cálculos:

• "Compras: Entrada": transação do tipo (E210MVP.CODTNS) "90220 Entrada NF Entrada Normal"
• "Compras: Saída": transação do tipo (E210MVP.CODTNS) "90273 Saída NF Devolução a Fornecedores"
• "Vendas: Entrada": transação do tipo (E210MVP.CODTNS) "90223 Entrada NF Devolução de Clientes"
• "Vendas: Saída": transação do tipo (E210MVP.CODTNS) "90270 Saída NF Saída (Faturamento)"
• "Outros: Entrada": transação do tipo (E210MVP.CODTNS) "90203 Entrada por NF de Transferência"
• "Outros: Saída":
  • transação do tipo (E210MVP.CODTNS) "90253 Saída por NF de Transferência"
  • transação do tipo (E210MVP.CODTNS) "90258 Saída NF P/ Transf.Entre Filiais"
  • transação do tipo (E210MVP.CODTNS) "90274 Saída NF Remessa p/Industr. ou Comerc."

Nota

A lista de transações padrões para o Compras, vendas e estoques é baseada no relatório "DSTR012.GER - Transações Utilizadas no Movimento Estoques", considerando somente aquelas motivadas por Nota Fiscal (possuem NF na sua Descrição).

Cadastrar grupos de eventos do Horas extras

Determine quais os grupos de eventos serão visíveis no Data Mart de Horas extras. Para isso, escolha um grupo de eventos para inserir as características e informe o código do evento.

Ao optar por adicionar valores padrões, serão inseridos os eventos:

• Normais:
  • 01A - Horas Normais Diurnas
  • 01B - Horas Repouso Remunerado Diurnas
• Extras:
  • 05A - Horas Extras Diurnas
  • 05B - Horas Extras Noturnas
  • 05C - Repouso s/ Horas Extras
  • 05D - Rep. s/ H.Extras - Mensalistas 30 Dias
  • 05E - Repouso s/ Horas Extras (Não Soma Média)
  • 05F - Rep. s/ H.Extras - Mens. 30 Dias (Não Soma Média)
  • 05M - Horas Extra Comissionado Diurna
  • 05N - Horas Extra Comissionado Noturna
• Faltas: 49H - Faltas Como Desconto

Cadastrar indicadores do Visões contábeis

Os indicadores de visões contábeis são índices que servem para avaliar o desempenho das empresas. Envolvem relações aritméticas entre contas do ativo e passivo, com fórmulas objetivas para medir determinadas características da gestão de uma empresa.

Para os indicadores nativos (códigos de 1 à 13), já exibidos ao acessar a tela, não há possibilidade de remoção ou alteração

1. Na lista de indicadores, clique em Cadastrar;
2. Informe um nome, descrição e o número sequencial para identificação do indicador;
3. Determine a sua interpretação: "Quanto maior melhor" ou "Quanto menor melhor";
4. Insira a fórmula, em SQL, do valor realizado do indicador;
5. Clique em Salvar;
6. Em seguida, abaixo, informe os detalhes do indicador cadastrado:
   1. determine se para este indicador será utilizado o SQL padrão informado e sua competência;
   2. informe os valores de cada faixa do indicador e sua meta;
   3. opcionalmente, insira um SQL para utiliza na competência informada;
   4. clique em Salvar.

Caso não haja algum indicador cadastrado, solicite a inclusão dos valores padrões.