É a revisão de carteira do fim do trimestre. O gerente comercial passa a tarde excluindo do sistema de pedidos os orçamentos de julho que nunca viraram venda.
No dia seguinte, o painel de pedidos em aberto no Power BI mostra julho do mesmo tamanho. O analista de BI confere o banco de origem, e os pedidos não estão mais lá. A atualização agendada rodou às 6h, sem erro.
Nada está quebrado. O modelo usa refresh incremental, e a janela de atualização cobre os últimos dez dias. Só que julho saiu da janela há semanas, e o que a origem apaga fora dela não sai do modelo.
Neste artigo, explicamos como o refresh incremental decide o que reler, por que a exclusão na origem não chega ao modelo, como medir a diferença e quanto custa cada saída.
Como o refresh incremental divide a tabela em janelas
O refresh incremental existe para tabela grande que cresce todo dia. Em vez de reler tudo, o serviço do Power BI divide a tabela em partições por data e relê só as mais recentes.
- Período de arquivo (Archive data starting): quanto histórico fica guardado no modelo, por exemplo os últimos cinco anos.
- Período de atualização (Incrementally refresh data starting): quanto do fim da tabela é relido a cada execução, por exemplo os últimos dez dias.
- RangeStart e RangeEnd: os dois parâmetros de data que o serviço reescreve a cada execução para buscar só a janela.
Pela documentação da Microsoft, as linhas com data dentro do período de atualização são relidas a cada execução. As que envelhecem passam ao período histórico, que não é atualizado. A Microsoft chama isso de janela deslizante.
O desenho supõe que o passado não muda.
Para tabela de log ou de leitura de sensor, ele acerta. Para tabela de pedidos, nem sempre.
Por que o modelo não vê a exclusão
Uma partição histórica fica congelada quando sai da janela. Se o pedido de julho é apagado em outubro, a consulta de outubro só pede as linhas dos últimos dez dias. A linha apagada nunca é procurada, então nunca é removida.
Dentro da janela o problema é menor: a partição é relida, e o que foi apagado some na atualização seguinte. Mas existe uma opção que leva o problema para dentro da janela também.
Detectar alterações de dados. Com a opção Detect data changes, o serviço olha o maior valor de uma coluna de data de alteração em cada período e só relê o período se esse valor mudou. Uma exclusão não aumenta esse valor, e o período fica como estava.
A própria Microsoft avisa, na página que ensina a configurar o recurso, que linhas excluídas não são detectadas. Só a exclusão lógica é: a linha continua na origem, marcada como excluída e com a data atualizada na coluna usada para rastrear alterações.
No fórum oficial do Power BI, a mesma dúvida voltou sobre um modelo de cerca de 3 GB cuja origem pode apagar dados. A resposta repetiu o mecanismo: a linha apagada de uma partição histórica pode passar despercebida, porque aquela partição não é mais atualizada.
O modelo não erra a conta. Ele conta o que guardou.
Como medir quantas linhas apagadas o modelo ainda conta
Antes de mudar qualquer configuração, vale saber o tamanho da diferença. A conta é simples: o mesmo total por mês, na origem e no modelo.
Total por mês na origem
-- total de pedidos por mês, direto na origem (PostgreSQL)
SELECT date_trunc('month', data_pedido) AS mes,
count(*) AS pedidos
FROM vendas.pedidos
GROUP BY 1
ORDER BY 1;
No Power BI, a mesma conta é uma tabela visual com o mês nas linhas e a contagem de linhas da tabela de pedidos. Os meses dentro da janela devem bater com a origem. Os de fora divergem sempre que a origem apaga.
Exemplo prático
Uma distribuidora de material de construção mantém pedidos abertos por até noventa dias, e o comercial exclui os que não fecham. Com janela de dez dias, todo pedido excluído depois do décimo dia fica no modelo. A comparação por mês mostra a diferença crescendo a cada trimestre, nunca diminuindo.
Se a diferença é zero em todos os meses, a origem não apaga e o refresh incremental faz o que promete. Se não é, a escolha passa a ser outra.
A tabela por mês diz onde está o erro.
O que custa ampliar a janela, marcar ou recarregar
Há três saídas dentro do próprio Power BI, e cada uma tem um preço.
- Ampliar a janela de atualização. Se a origem só apaga até noventa dias depois do pedido, uma janela de noventa dias resolve. O custo é reler noventa dias a cada execução, dentro do limite de duas horas por atualização do Power BI Pro.
- Trocar a exclusão física por lógica na origem. A linha fica, marcada como excluída e com a data de alteração atualizada. É o único caso que a Microsoft documenta como detectado, e exige mudar o sistema de origem.
- Recarregar o histórico de tempos em tempos. A atualização seletiva de partições históricas está documentada para capacidade Premium, pelo endpoint XMLA. Sem ela, resta publicar o modelo de novo pelo Desktop, o que apaga as partições e obriga a refazer a carga inteira.
Nenhuma das três sai de graça. A primeira troca exclusão por tempo de atualização, a segunda depende de outro time, e a terceira depende de licença ou de uma janela de manutenção.
O sistema de origem raramente é do analista de BI. Mudar a forma como ele apaga é um pedido para o time de produto, com fila e prioridade próprias.
Existe uma quarta saída: reconciliar antes do modelo.
Quando não vale usar refresh incremental na tabela
O refresh incremental é a escolha certa para tabela que só recebe linhas novas: log de acesso, leitura de sensor, movimentação de estoque já fechada. Nelas o passado não muda, e a janela curta economiza tempo de verdade.
Para tabela em que o passado muda, a pergunta é outra. Pedido cancelado, cadastro mesclado e nota estornada mexem em linhas antigas. Quem garante que o histórico continua igual à origem?
Se a resposta for o próprio modelo do Power BI, a janela precisa cobrir todo o horizonte em que a origem apaga. Se a tabela já chega reconciliada num banco, o modelo pode importá-la inteira ou consultá-la direto, sem janela nenhuma.
A configuração certa depende de como cada origem se comporta.
Onde o Januss entra
No Januss, a reconciliação acontece no banco de destino, antes do Power BI. Em PostgreSQL, MySQL, SQL Server, Oracle e MongoDB, o CDC lê o log de transação, e o log registra a exclusão como registra a inserção. O pedido apagado na origem chega ao pipeline como exclusão, não como silêncio.
Nas etapas de transformação, o incremental tem uma garantia declarada: a tabela de destino fica idêntica, linha a linha, ao que uma recarga completa produziria. O motor reprocessa só o escopo que mudou e apaga o que sumiu, que é onde um upsert sozinho deixa lixo para trás.
Na sincronização com CDC, o padrão é apagar a linha também no destino. Se você prefere manter a linha marcada como excluída, a opção Marcar existe por stream, para tabela com chave primária.
O Januss não controla o modelo do Power BI. Se você ligar refresh incremental sobre a tabela de destino, as partições históricas do modelo continuam sem ver a exclusão. Com a tabela já reconciliada no banco, importá-la inteira ou consultá-la direto é a saída mais simples.
Quer conferir com a sua tabela de pedidos? O teste de 14 dias não pede cartão. Crie seu ambiente de teste no Januss.
Fontes
O comportamento do refresh incremental vem da documentação da Microsoft e do fórum oficial do Power BI:
- Microsoft Learn — Configure incremental refresh and real-time data
- Microsoft Learn — Incremental refresh and real-time data for semantic models
- Fórum Microsoft Fabric — incremental refresh
Crie seu workspace em minutos.
Aponte para a sua origem e veja o dado chegando ao banco no mesmo dia.