01Recovery-Regeln erkunden
- 01QuelleAmazon S3
CSV · gzip - 02Prüfen, filtern, aggregieren und transformierenFlower
CSV → Parquet - 03ZielAzure Blob
Parquet
QuelleAmazon S3
ZielAzure BlobDie Beispieldaten bestehen die Validierung und werden in Parquet umgewandelt. Die Darstellung folgt den Daten durch Verarbeitung, Zielprüfungen und abgeschlossene Lieferung.
Bei einem vorübergehenden Zielausfall wendet der Datenfluss seine Wiederherstellungsregeln mit Wiederholungen und Backoff an. Stellen Sie das Ziel wieder her, um die Fortsetzung zu erkunden.
Die Beispieldaten enthalten einen ungültigen Datensatz. Das Szenario stellt die Quelldatei mit Prüfkontext in Quarantäne und schützt so die nachgelagerte Datenqualität.
Das Ziel ist wieder verfügbar und die Lieferung wird abgeschlossen. Die Darstellung zeigt Wiederherstellung und Quelllebenszyklus unter konfigurierten Richtlinien.
02Was in Ihrer Umgebung zu prüfen ist
| Szenario | Abnahmeprüfung |
|---|---|
| Normale Lieferung | Prüfen Sie, ob die Parquet-Ausgabe lesbar ist und nach der Transformation dem vereinbarten Schema und den erwarteten Datensätzen entspricht. |
| Temporärer Ausfall | Trennen Sie das Ziel vorübergehend, um richtliniengesteuerte Wiederholungen, Backoff, Wiederherstellung und Warnungen zu erkunden. |
| Ungültige Datei | Übergeben Sie eine Datei mit einem regelwidrigen Datensatz. Prüfen Sie die Quarantäne der gesamten Quelldatei mit Fehlergrund und dass ungültige Daten nicht weitergegeben werden. |
| Innerhalb der Wiederholungsregeln wiederhergestellt | Stellen Sie das Ziel innerhalb des Wiederholungsfensters wieder her und prüfen Sie die fertige Ausgabe. Kontrollieren Sie Aufbewahrung oder Bereinigung der Quelle anhand ihrer separat konfigurierten Regeln. |
03Von der Illustration zum Produktivfluss
Koordinieren Sie im S3-zu-Azure-Szenario Berechtigungen, Dekomprimierung, CSV-Schema, Prüfregeln, Parquet-Mapping und Quarantäne. Verbinden Sie Zielprüfungen mit Datensatzzählung, Schemavalidierung und Geschäftssummen, um Qualität und Abschluss der transformierten Lieferung nachzuweisen.