Data Engineer — Trudniejsze sytuacje
Niepełny plik zamówień
Trudniejsze sytuacje · Lekcja 5 z 6
Idempotencja i odtworzenie partii
Wielokrotne przetworzenie tej samej partii powinno dać jeden poprawny stan. Użyj stabilnych kluczy i jawnej reguły aktualizacji. Sprawdź efekt awarii po częściowym zapisie.
- Co zrobić najpierwPartia
- Co zrobić dalejZapis po stabilnych kluczach
- Jak zakończyćBezpieczne ponowienie
Przykład z pracy
Wczytanie partii 2026-11-12 przerywa się po 80% rekordów. Ponowienie uzupełnia brakujące i nie dodaje drugi raz już zapisanych zamówień.
Ćwiczenie praktyczne
Zaprojektuj test awarii po częściowym zapisie i opisz oczekiwany stan po ponowieniu.
Sprawdź się — opcjonalne pytanie
Co jest sygnałem poprawnej idempotencji?
- Każde uruchomienie dopisuje nową kopię danych
- Ponowienie kasuje całą historię
- Dwa uruchomienia z tą samą partią dają ten sam poprawny stan
Pokaż odpowiedź i wyjaśnienie
Dwa uruchomienia z tą samą partią dają ten sam poprawny stan. Powtarzanie tej samej operacji nie powinno zmieniać jej skutku.
Trudniejsze sytuacje · Lekcja 6 z 6
Obserwowalność i plan incydentu
Monitoruj świeżość, wolumen i jakość. Dla istotnych odchyleń przygotuj procedurę z właścicielem, sposobem powiadomienia i warunkiem wznowienia publikacji.
- Co zrobić najpierwSygnał
- Co zrobić dalejDiagnostyka
- Jak zakończyćWznowienie i powiadomienie
Przykład z pracy
Raport ma dane sprzed dwóch dni, choć potok wyświetla status „zakończony”. Porównanie ostatniego czasu zdarzenia z oczekiwanym zakresem wykrywa problem.
Ćwiczenie praktyczne
Przygotuj instrukcję reakcji na opóźniony plik i komunikat dla odbiorcy.
Niepełny plik zamówień
Wyjaśnij decyzję
W trzech zdaniach przekaż wynik sprawy „Niepełny plik zamówień”. Podaj, co potwierdziłeś, jakie działanie wybierasz i kiedy lub pod jakim warunkiem odbiorca powinien wykonać następny krok.
Omówienie decyzji i dopytanie
Przykładowe działanie. Zachowaj ślad partii, sprawdź duplikaty i zaplanuj bezpieczne ponowienie.
Zespół wie, które dane wczytano i czy zamówienia nie zostały policzone dwa razy.
Pytanie z rozmowy o tym zawodzie. Jak wykryjesz, że raport ma stare dane mimo poprawnego wykonania potoku?
Sprawdzę najpóźniejszy opublikowany czas zdarzenia i porównam go z oczekiwanym zakresem. Zielony status procesu nie potwierdza aktualności danych.
Poproś rozmówcę, żeby powtórzył, co już potwierdzono i od jakiej informacji zależy następny krok.
Sprawdź się — opcjonalne pytanie
Jaka kontrola wykrywa stary raport mimo zakończonego procesu?
- Sprawdzenie świeżości ostatniego opublikowanego zdarzenia
- Liczba zielonych ikon w aplikacji
- Wyłącznie czas działania zadania
Pokaż odpowiedź i wyjaśnienie
Sprawdzenie świeżości ostatniego opublikowanego zdarzenia. Pomyślne wykonanie procesu nie potwierdza aktualności wejścia ani wyniku.
Zadanie końcowe
Wykorzystaj sposób pracy z przypadku „Niepełny plik zamówień” w zadaniu rekrutacyjnym.
Zaprojektuj potok plików zamówień. Wczorajszy plik został wczytany częściowo, a dziś dociera poprawiona wersja. Pokaż sposób bezpiecznego ponowienia i ocenę jakości.
- Ustal umowę danych
- Wczytaj i zweryfikuj
- Odtwórz pracę po awarii
Pokaż kryteria wykonania
- Rozróżniasz numer partii, klucz zamówienia oraz czas zdarzenia i wczytania.
- Ponowienie nie zwiększa liczby zamówień przez zdublowanie istniejących pozycji.
- Podajesz kontrolę świeżości i komunikat do odbiorcy w razie przerwy.
Jak sprawdzić odpowiedź na głos?
Co zrobisz, gdy ponowienie potoku może podwoić rekordy?
Użyję stabilnego klucza i jawnej reguły aktualizacji. Przetestuję awarię po częściowym zapisie, a po ponowieniu porównam liczbę rekordów i unikalnych kluczy.