Uma tabela dividida em partições por data, com as antigas congeladas e uma linha apagada na origem ainda presente nelas

É a revisão de carteira do fim do trimestre. O gerente comercial passa a tarde excluindo do sistema de pedidos os orçamentos de julho que nunca viraram venda.

No dia seguinte, o painel de pedidos em aberto no Power BI mostra julho do mesmo tamanho. O analista de BI confere o banco de origem, e os pedidos não estão mais lá. A atualização agendada rodou às 6h, sem erro.

Nada está quebrado. O modelo usa refresh incremental, e a janela de atualização cobre os últimos dez dias. Só que julho saiu da janela há semanas, e o que a origem apaga fora dela não sai do modelo.

Neste artigo, explicamos como o refresh incremental decide o que reler, por que a exclusão na origem não chega ao modelo, como medir a diferença e quanto custa cada saída.

Como o refresh incremental divide a tabela em janelas

O refresh incremental existe para tabela grande que cresce todo dia. Em vez de reler tudo, o serviço do Power BI divide a tabela em partições por data e relê só as mais recentes.

  • Período de arquivo (Archive data starting): quanto histórico fica guardado no modelo, por exemplo os últimos cinco anos.
  • Período de atualização (Incrementally refresh data starting): quanto do fim da tabela é relido a cada execução, por exemplo os últimos dez dias.
  • RangeStart e RangeEnd: os dois parâmetros de data que o serviço reescreve a cada execução para buscar só a janela.

Pela documentação da Microsoft, as linhas com data dentro do período de atualização são relidas a cada execução. As que envelhecem passam ao período histórico, que não é atualizado. A Microsoft chama isso de janela deslizante.

O desenho supõe que o passado não muda.

Para tabela de log ou de leitura de sensor, ele acerta. Para tabela de pedidos, nem sempre.

Por que o modelo não vê a exclusão

Uma partição histórica fica congelada quando sai da janela. Se o pedido de julho é apagado em outubro, a consulta de outubro só pede as linhas dos últimos dez dias. A linha apagada nunca é procurada, então nunca é removida.

Dentro da janela o problema é menor: a partição é relida, e o que foi apagado some na atualização seguinte. Mas existe uma opção que leva o problema para dentro da janela também.

Detectar alterações de dados. Com a opção Detect data changes, o serviço olha o maior valor de uma coluna de data de alteração em cada período e só relê o período se esse valor mudou. Uma exclusão não aumenta esse valor, e o período fica como estava.

A própria Microsoft avisa, na página que ensina a configurar o recurso, que linhas excluídas não são detectadas. Só a exclusão lógica é: a linha continua na origem, marcada como excluída e com a data atualizada na coluna usada para rastrear alterações.

No fórum oficial do Power BI, a mesma dúvida voltou sobre um modelo de cerca de 3 GB cuja origem pode apagar dados. A resposta repetiu o mecanismo: a linha apagada de uma partição histórica pode passar despercebida, porque aquela partição não é mais atualizada.

O modelo não erra a conta. Ele conta o que guardou.

Como medir quantas linhas apagadas o modelo ainda conta

Antes de mudar qualquer configuração, vale saber o tamanho da diferença. A conta é simples: o mesmo total por mês, na origem e no modelo.

Total por mês na origem

-- total de pedidos por mês, direto na origem (PostgreSQL)
SELECT date_trunc('month', data_pedido) AS mes,
       count(*)                         AS pedidos
FROM   vendas.pedidos
GROUP  BY 1
ORDER  BY 1;

No Power BI, a mesma conta é uma tabela visual com o mês nas linhas e a contagem de linhas da tabela de pedidos. Os meses dentro da janela devem bater com a origem. Os de fora divergem sempre que a origem apaga.

Exemplo prático

Uma distribuidora de material de construção mantém pedidos abertos por até noventa dias, e o comercial exclui os que não fecham. Com janela de dez dias, todo pedido excluído depois do décimo dia fica no modelo. A comparação por mês mostra a diferença crescendo a cada trimestre, nunca diminuindo.

Se a diferença é zero em todos os meses, a origem não apaga e o refresh incremental faz o que promete. Se não é, a escolha passa a ser outra.

A tabela por mês diz onde está o erro.

O que custa ampliar a janela, marcar ou recarregar

Há três saídas dentro do próprio Power BI, e cada uma tem um preço.

  • Ampliar a janela de atualização. Se a origem só apaga até noventa dias depois do pedido, uma janela de noventa dias resolve. O custo é reler noventa dias a cada execução, dentro do limite de duas horas por atualização do Power BI Pro.
  • Trocar a exclusão física por lógica na origem. A linha fica, marcada como excluída e com a data de alteração atualizada. É o único caso que a Microsoft documenta como detectado, e exige mudar o sistema de origem.
  • Recarregar o histórico de tempos em tempos. A atualização seletiva de partições históricas está documentada para capacidade Premium, pelo endpoint XMLA. Sem ela, resta publicar o modelo de novo pelo Desktop, o que apaga as partições e obriga a refazer a carga inteira.

Nenhuma das três sai de graça. A primeira troca exclusão por tempo de atualização, a segunda depende de outro time, e a terceira depende de licença ou de uma janela de manutenção.

O sistema de origem raramente é do analista de BI. Mudar a forma como ele apaga é um pedido para o time de produto, com fila e prioridade próprias.

Existe uma quarta saída: reconciliar antes do modelo.

Quando não vale usar refresh incremental na tabela

O refresh incremental é a escolha certa para tabela que só recebe linhas novas: log de acesso, leitura de sensor, movimentação de estoque já fechada. Nelas o passado não muda, e a janela curta economiza tempo de verdade.

Para tabela em que o passado muda, a pergunta é outra. Pedido cancelado, cadastro mesclado e nota estornada mexem em linhas antigas. Quem garante que o histórico continua igual à origem?

Se a resposta for o próprio modelo do Power BI, a janela precisa cobrir todo o horizonte em que a origem apaga. Se a tabela já chega reconciliada num banco, o modelo pode importá-la inteira ou consultá-la direto, sem janela nenhuma.

A configuração certa depende de como cada origem se comporta.

Onde o Januss entra

No Januss, a reconciliação acontece no banco de destino, antes do Power BI. Em PostgreSQL, MySQL, SQL Server, Oracle e MongoDB, o CDC lê o log de transação, e o log registra a exclusão como registra a inserção. O pedido apagado na origem chega ao pipeline como exclusão, não como silêncio.

Nas etapas de transformação, o incremental tem uma garantia declarada: a tabela de destino fica idêntica, linha a linha, ao que uma recarga completa produziria. O motor reprocessa só o escopo que mudou e apaga o que sumiu, que é onde um upsert sozinho deixa lixo para trás.

Na sincronização com CDC, o padrão é apagar a linha também no destino. Se você prefere manter a linha marcada como excluída, a opção Marcar existe por stream, para tabela com chave primária.

O Januss não controla o modelo do Power BI. Se você ligar refresh incremental sobre a tabela de destino, as partições históricas do modelo continuam sem ver a exclusão. Com a tabela já reconciliada no banco, importá-la inteira ou consultá-la direto é a saída mais simples.

Quer conferir com a sua tabela de pedidos? O teste de 14 dias não pede cartão. Crie seu ambiente de teste no Januss.

Fontes

O comportamento do refresh incremental vem da documentação da Microsoft e do fórum oficial do Power BI:

Crie seu workspace em minutos.

Aponte para a sua origem e veja o dado chegando ao banco no mesmo dia.

Criar workspace 14 dias · sem cartão de crédito