Data Engineer — Praca krok po kroku
Niepełny plik zamówień
Praca krok po kroku · Lekcja 3 z 6
Wczytanie przyrostowe i spóźnione dane
Przetwarzanie przyrostowe pobiera nowe lub zmienione rekordy. Rozróżnij czas zdarzenia i czas jego otrzymania. Ustal, jak odtworzysz dane za okres, do którego dotarło spóźnione zdarzenie.
- Co zrobić najpierwCzas zdarzenia
- Co zrobić dalejOkno odświeżenia
- Jak zakończyćKorekta danych
Przykład z pracy
Zamówienie z wtorku trafia do potoku w czwartek. Raport wtorkowy wymaga ponownego przeliczenia zgodnie z ustalonym oknem korekt.
Ćwiczenie praktyczne
Rozpisz harmonogram dla trzech plików i zaznacz, które raporty aktualizujesz po spóźnionym pliku.
Niepełny plik zamówień
Podejmij decyzję
Wróć do notatki z początku sprawy. Zapisz pierwsze działanie i wyjaśnij, jak pomoże rozwiązać sytuację.
Pokaż przykładową reakcję
Zachowaj ślad partii, sprawdź duplikaty i zaplanuj bezpieczne ponowienie. Zespół wie, które dane wczytano i czy zamówienia nie zostały policzone dwa razy.
Sprawdź się — opcjonalne pytanie
Który czas służy do przypisania zamówienia do dnia sprzedaży?
- Czas zdarzenia zgodny z definicją raportu
- Wyłącznie czas wczytania do hurtowni
- Czas wygenerowania wykresu
Pokaż odpowiedź i wyjaśnienie
Czas zdarzenia zgodny z definicją raportu. Czas otrzymania może być późniejszy niż dzień, w którym nastąpiło zdarzenie.
Praca krok po kroku · Lekcja 4 z 6
Testy danych przed publikacją
Sprawdzaj kompletność, unikalność i porównywalność wyniku. Określ progi blokujące publikację oraz te wymagające tylko ostrzeżenia. Zapisz odchylenia z kontekstem.
- Co zrobić najpierwTransformacja
- Co zrobić dalejKontrole
- Jak zakończyćPublikacja albo wyjaśnienie
Przykład z pracy
Potok odrzuca duplikat klucza, a zmianę wolumenu o 20% oznacza do oceny z uwzględnieniem świąt i kampanii.
Ćwiczenie praktyczne
Dobierz trzy kontrole dla dziennej sprzedaży i wskaż jedną blokującą publikację.
Sprawdź się — opcjonalne pytanie
Który test bezpośrednio chroni przed podwojeniem zamówień?
- Porównanie nazw wykresów
- Kontrola unikalności klucza zamówienia
- Sprawdzenie koloru eksportu
Pokaż odpowiedź i wyjaśnienie
Kontrola unikalności klucza zamówienia. Test unikalności wykrywa powtórzenie przed przekazaniem danych odbiorcy.