Inżynier jakości danych — Data Quality Engineer
Pisze automatyczne kontrole dla danych po przetworzeniu. Gdy kontrola nie przechodzi, pomaga ustalić etap błędu i zapobiega użyciu niepełnego wyniku w raportach.
Zobacz, co wykonasz na koniec ↓
Raport widzi zakup O-7 bez odpowiadającego klienta
Po przetworzeniu zamówień O-7 zawiera C-24. Aktualna tabela klientów jeszcze nie zawiera tego identyfikatora. Raport już czeka na odświeżenie.
- Rozpoznaj sprawęUstal regułę i miejsce
- Podejmij decyzjęZobacz wyjątek w danych
- Wyjaśnij decyzjęSprawdź wynik i zgłoś wpływ
Jak zacząć, jeśli dopiero poznajesz ten zawód?
Otwórz plan potoku, dziennik uruchomień i przykład reguły dbt. Ustal, kto przejmuje powiadomienie i kiedy wyjątek wstrzymuje publikację.
W pierwszej lekcji przećwiczysz „Ustal, co oznacza jeden wiersz”. Zapisz swoją odpowiedź krótko, tak jakby miała przeczytać ją osoba przejmująca pracę.
Kompendium zawodu — pojęcia i zwroty
Pojęcia w pracy
- Potok danych
- Kolejne czynności pobrania, przetworzenia i udostępnienia danych.
- Klucz rekordu
- Pole lub pola odróżniające wiersz od innych w danym zakresie.
- Reguła jakości
- Warunek, który dane muszą spełnić, aby nadawały się do uzgodnionego użycia.
- Reguła relacji
- Sprawdzenie, czy identyfikator ma odpowiednik w związanej tabeli.
- Przypadek kontrolny
- Mały zestaw danych i oczekiwany wynik, który pokazuje działanie reguły.
Zwroty w typowych sytuacjach
- „Zamówienie O-7 ma kod C-24, ale nie znajduję go w bieżącej tabeli klientów.”
- Wskazuje dokładną niespójność.
- „Kontrola ma zwrócić wiersze z brakującym powiązaniem. Sprawdzę ją na poprawnym i błędnym przykładzie.”
- Opisuje warunek i sposób oceny działania.
- „Raport pozostaje na ostatnim zatwierdzonym stanie, dopóki właściciel danych nie rozstrzygnie problemu.”
- Podaje status użycia wyniku.
Podstawy · Lekcja 1 z 6
Ustal, co oznacza jeden wiersz
Zapisz, czy wiersz dotyczy zamówienia czy klienta i które pole je rozpoznaje. Rozdziel dwie tabele.
- Co zrobić najpierwZamówienie
- Co zrobić dalejIdentyfikator klienta
- Jak zakończyćTabela klientów
Przykład z pracy
Tabela zamówień zawiera order_id i customer_id. Tabela klientów ma własny customer_id.
Ćwiczenie praktyczne
Narysuj nagłówki obu tabel i wskaż pole powiązania.
Raport widzi zakup O-7 bez odpowiadającego klienta
Rozpoznaj sprawę
Po przetworzeniu zamówień O-7 zawiera C-24. Aktualna tabela klientów jeszcze nie zawiera tego identyfikatora. Raport już czeka na odświeżenie.
Zapisz, co już wiadomo i jakiej jednej informacji brakuje, żeby wykonać krok „Ustal regułę i miejsce”. Zachowaj odpowiedź do kolejnej części.
Porównaj punkt wyjścia
Porównaj niepusty klucz C-24 z tabelą referencyjną i sprawdź czas dostarczenia tabeli klientów.
Sprawdź się — opcjonalne pytanie
Co łączy oba źródła?
- Nazwa pliku z raportem
- Identyfikator klienta
- Numer wiersza na ekranie
Pokaż odpowiedź i wyjaśnienie
Identyfikator klienta. Wspólny identyfikator pozwala porównywać rekordy o właściwym znaczeniu.
Podstawy · Lekcja 2 z 6
Zapisz przypadki dla reguły
Przygotuj osobny wiersz ze zgodnym klientem, bez dopasowania i z pustym polem. Opisz wynik każdej reguły dla każdego wiersza.
- Co zrobić najpierwKonstrukcja przypadków
- Co zrobić dalejReguły
- Jak zakończyćOczekiwane wyniki
Przykład z pracy
O-7 wskazuje C-24 bez dopasowania, a O-8 ma pusty kod.
Ćwiczenie praktyczne
Ułóż małą tabelę z trzema przypadkami i spodziewanymi wynikami.
Sprawdź się — opcjonalne pytanie
Co wykrywa osobna reguła obecności?
- Każdy błąd sumowania
- Pozycję otwartego raportu
- Puste pole customer_id
Pokaż odpowiedź i wyjaśnienie
Puste pole customer_id. Obecność klucza i jego dopasowanie to osobne warunki.