01Explore a política de recuperação
- 01OrigemAmazon S3
CSV · gzip - 02Valide, filtre, agregue e transformeFlower
CSV → Parquet - 03DestinoAzure Blob
Parquet
OrigemAmazon S3
DestinoAzure BlobA amostra passa a validação e é convertida em Parquet. A ilustração acompanha os dados durante processamento, verificações no destino e entrega concluída.
Durante uma interrupção temporária do destino, o fluxo aplica a política de recuperação com tentativas e esperas. Restaure o destino para explorar a retoma da entrega.
A amostra contém um registo inválido. O cenário coloca o ficheiro de origem em quarentena com contexto para análise, protegendo a qualidade dos dados a jusante.
O destino volta a estar disponível e a entrega é concluída. A ilustração mostra recuperação e ciclo de vida da origem geridos pelas políticas configuradas.
02O que verificar no seu ambiente
| Cenário | Teste de aceitação |
|---|---|
| Entrega normal | Verifique se o resultado Parquet é legível e corresponde ao esquema acordado e aos registos esperados após a transformação. |
| Falha temporária | Desligue temporariamente o destino para explorar tentativas, esperas, recuperação e alertas orientados por políticas. |
| Ficheiro inválido | Envie um ficheiro com um registo que viole uma regra. Verifique a quarentena do ficheiro completo, com o motivo da falha, e que os dados inválidos não sejam entregues a jusante. |
| Recuperado dentro da política | Restaure o destino dentro da janela de tentativas e verifique o resultado final. Confira a retenção ou limpeza da origem segundo a política configurada separadamente. |
03Da ilustração à produção
Para o cenário S3 para Azure, coordene permissões, descompressão, esquema CSV, validação, mapeamento Parquet e quarentena. Combine verificações no destino, contagens, validação do esquema e totais de negócio para documentar qualidade e conclusão da entrega transformada.