01Explorer la politique de reprise
- 01SourceAmazon S3
CSV · gzip - 02Valider, filtrer, agréger et transformerFlower
CSV → Parquet - 03DestinationAzure Blob
Parquet
SourceAmazon S3
DestinationAzure BlobL’échantillon passe la validation et est converti en Parquet. L’illustration suit les données à travers le traitement, les contrôles à destination et la livraison terminée.
Pendant une interruption temporaire de la destination, le flux applique sa politique de reprise avec relances et temporisation. Rétablissez la destination pour explorer la reprise de la livraison.
L’échantillon contient un enregistrement invalide. Le scénario place le fichier source en quarantaine avec le contexte nécessaire à l’examen, protégeant la qualité des données en aval.
La destination est de nouveau disponible et la livraison se termine. L’illustration montre la reprise et le cycle de vie de la source gérés par les politiques configurées.
02À vérifier dans votre environnement
| Scénario | Contrôle d’acceptation |
|---|---|
| Livraison normale | Vérifiez que le résultat Parquet est lisible et respecte le schéma convenu et les enregistrements attendus après transformation. |
| Panne temporaire | Déconnectez temporairement la destination pour explorer relances, temporisation, reprise et alertes pilotées par les politiques. |
| Fichier invalide | Soumettez un fichier contenant un enregistrement qui enfreint une règle. Vérifiez la mise en quarantaine du fichier entier avec le motif de l’échec et l’absence de livraison des données invalides. |
| Reprise dans les limites de la politique | Rétablissez la destination dans la fenêtre de reprise et vérifiez le résultat final. Contrôlez la conservation ou le nettoyage de la source selon sa politique distincte. |
03De l’illustration au flux de production
Pour le scénario S3 vers Azure, coordonnez permissions, décompression, schéma CSV, validation, mapping Parquet et quarantaine. Associez contrôles à destination, comptage des enregistrements, validation du schéma et totaux métier pour documenter la qualité et l’achèvement de la livraison transformée.