Duas leituras do mesmo painel em horas diferentes, com a barra do mesmo dia mais alta na segunda

É a manhã seguinte à Black Friday. Às 7h, a diretora de e-commerce tira um print do painel com o total de pedidos da sexta e manda para a diretoria.

Ao meio-dia, o mesmo painel mostra um total maior para a mesma sexta. Ninguém mexeu na medida. A diretoria pergunta qual dos dois vale, e o analista de BI não tem uma resposta pronta.

Os dois estão certos. Só que cada um foi tirado num momento diferente de um dia que ainda estava fechando, e o painel não diz em qual.

Neste artigo, explicamos por que um dia que já passou continua mudando, como o Power BI decide o que é hoje, como declarar o corte no próprio painel e o que custa esperar.

Dois números certos para o mesmo dia

O Data Engineering Weekly publicou o exemplo em 30 de setembro. Um retrato tirado às 6h mostrava 41.200 pedidos de terça. A contagem contínua chegava a 43.050 ao meio-dia. Os dois números estavam certos.

A diferença não é erro de cálculo. É o dado de terça que continuou chegando depois que a terça acabou. Três mecanismos produzem isso, e quase sempre aparecem juntos.

  • Registro atrasado com a data original. O pedido do marketplace sincroniza horas depois, mas entra com a data da compra. O pagamento confirmado na manhã seguinte muda o status de um pedido de ontem.
  • Carga que roda antes de a origem fechar. Se a rotina noturna do sistema de pedidos termina às 5h e a carga roda às 4h, o retrato pega o dia pela metade.
  • "Hoje" calculado em outro fuso. Se o serviço considera UTC, o dia vira três horas antes do relógio de Brasília.

Os três têm conserto. Nenhum conserto funciona se o painel esconde o horário do retrato.

Os dois números são retratos de horas diferentes.

Em que hora o dia fecha na origem

Meia-noite é quando o calendário vira. O dia de uma origem fecha quando o último registro com aquela data chega, e isso tem hora própria em cada sistema.

O ERP pode consolidar o faturamento numa rotina noturna. A plataforma de pagamento pode confirmar transações em lote pela manhã. O marketplace pode devolver pedidos com horas de atraso em dia de pico, justamente quando a diretoria mais olha o painel.

Exemplo prático

Uma loja on-line carrega pedidos às 6h. O sistema de pedidos termina a rotina noturna às 5h, mas os pedidos do marketplace chegam até as 10h com a data da véspera. O retrato das 6h pega a loja própria inteira e o marketplace pela metade. Às 10h o dia fecha de verdade.

Para descobrir a hora real, basta uma consulta: para cada dia, a hora do último registro que entrou com aquela data. Rode por algumas semanas e o padrão aparece.

Cada origem fecha o dia na hora dela.

Como o Power BI decide qual dia é hoje

Pela documentação da Microsoft, o refresh incremental calcula a data e a hora atuais em UTC, a menos que você configure outro fuso na seção Refresh do modelo. O exemplo da própria Microsoft é uma atualização às 20h no horário do Pacífico, que em UTC já é o dia seguinte.

No Brasil a conta é a mesma, com outro número. No horário de Brasília, 21h já é meia-noite em UTC. Uma atualização das 22h, sem fuso configurado, trata o dia seguinte como hoje.

Atualizar só dias completos. A opção Only refresh complete days existe para isso. O exemplo da documentação é uma atualização às 4h que não deve contar os registros entre a meia-noite e as 4h, porque o dia ainda está pela metade.

A página sobre agendamento lembra que o horário marcado não é exato. A meta é começar até 15 minutos depois do horário marcado, com atraso de até uma hora quando falta capacidade, e a atualização pode começar até cinco minutos antes.

O retrato tem hora aproximada. O painel precisa dizer qual.

Como declarar o corte do dado no painel

A saída mais barata não muda o pipeline. Ela muda o painel: um cartão com "dados até" e o dia corrente marcado como parcial.

Corte do dado e dia parcial

-- até quando o dado do painel vale
SELECT max(carregado_em) AS dados_ate
FROM   vendas.pedidos;

-- o dia de hoje marcado como parcial
SELECT data_pedido::date                       AS dia,
       count(*)                                AS pedidos,
       data_pedido::date >= (SELECT max(carregado_em)::date
                             FROM vendas.pedidos) AS parcial
FROM   vendas.pedidos
GROUP  BY 1;

A coluna de data de carga precisa existir na tabela de destino. Se a carga é sua, grave-a em toda linha. Se não é, peça ao time que mantém o pipeline.

Com o cartão no topo, o print das 7h passa a carregar a hora do retrato. A pergunta da diretoria muda de "qual número vale" para "o de ontem já fechou?", e essa tem resposta.

O painel que diz a hora do retrato evita a discussão.

O que custa esperar o dia fechar

Esperar o dia fechar tem preço, e em dia de pico ele é visível. Se a carga só roda depois das 10h, a diretoria passa a manhã sem o número de ontem.

  • Carregar mais tarde. O número da manhã fica estável, mas chega quando a reunião já aconteceu.
  • Carregar mais vezes. O número aparece cedo e vai subindo. Cada retrato precisa da hora junto, ou vira o problema da abertura.
  • Mostrar só dias completos. O painel nunca diverge, mas esconde o dia corrente, que é o que o e-commerce quer ver em dia de promoção.

Tempo real não resolve a dúvida. Ele mostra o dia parcial com mais frequência, e o número continua mudando até a origem fechar.

Não existe horário certo para todas as origens. Existe o horário em que cada uma fecha, e um painel que diz qual retrato está mostrando.

Escolha o horário pela origem, não pelo relógio.

Onde o Januss entra

No Januss, cada pipeline tem o próprio agendamento. Há 11 frequências prontas, de 5 minutos a 24 horas, e um cron personalizado para quando a origem fecha às 10h e não à meia-noite.

Na frequência pronta, a tela mostra as próximas execuções no seu fuso antes de salvar. O cron personalizado não tem essa prévia e é lido em UTC: para rodar às 10h de Brasília, o cron diz 13h. É exatamente o erro de fuso da terceira seção, agora do lado da carga.

Para o cartão "dados até", ligue as colunas de sincronização no stream. O Januss passa a gravar em cada linha a hora em que ela foi sincronizada, em _januss_synced_at por padrão — o nome é definido pela conta. O cartão lê o maior valor dessa coluna.

O Januss não sabe quando a sua origem fecha o dia. Essa hora vem da consulta da segunda seção, e quem a escolhe é você. O refresh do Power BI continua tendo agendamento próprio, e o painel só vê a carga depois dos dois.

Quer ver a prévia do agendamento com a sua origem? O teste de 14 dias não pede cartão. Crie seu ambiente de teste no Januss.

Fontes

O comportamento do Power BI vem da documentação da Microsoft; o exemplo dos dois totais, do Data Engineering Weekly:

Crie seu workspace em minutos.

Aponte para a sua origem e veja o dado chegando ao banco no mesmo dia.

Criar workspace 14 dias · sem cartão de crédito