01Esplora la policy di recupero
- 01SorgenteAmazon S3
CSV · gzip - 02Valida, filtra, aggrega e trasformaFlower
CSV → Parquet - 03DestinazioneAzure Blob
Parquet
SorgenteAmazon S3
DestinazioneAzure BlobIl campione supera la validazione e viene convertito in Parquet. L’illustrazione segue i dati attraverso elaborazione, controlli a destinazione e consegna completata.
Durante un’interruzione temporanea della destinazione, il flusso applica la policy di recupero con retry e backoff. Ripristina la destinazione per esplorare la ripresa della consegna.
Il campione contiene un record non valido. Lo scenario mette il file sorgente in quarantena con il contesto per la verifica, proteggendo la qualità dei dati a valle.
La destinazione è di nuovo disponibile e la consegna si completa. L’illustrazione mostra recupero e ciclo di vita della sorgente gestiti con le policy configurate.
02Cosa verificare nel tuo ambiente
| Scenario | Verifica di accettazione |
|---|---|
| Consegna regolare | Verifica che il risultato Parquet sia leggibile e rispetti lo schema concordato e i record attesi dopo la trasformazione. |
| Guasto temporaneo | Scollega temporaneamente la destinazione per esplorare retry governati dalle policy, backoff, recupero e alert operativi. |
| File non valido | Invia un file con un record che viola una regola di validazione. Verifica che l’intero file sorgente sia isolato in quarantena, con il motivo dell’errore, e che i dati non validi non siano consegnati a valle. |
| Recuperato entro la policy di retry | Ripristina la destinazione entro la finestra di retry e verifica il risultato completato. Controlla la conservazione o pulizia della sorgente secondo la policy configurata separatamente. |
03Dall’illustrazione a un flusso di produzione
Per lo scenario da S3 ad Azure, coordina permessi, decompressione, schema CSV, regole di validazione, mapping Parquet e quarantena. Combina controlli a destinazione, conteggi dei record, validazione dello schema e totali di business per documentare qualità e completamento della consegna trasformata.