Dane Ścieżka zawodowa
Pisze automatyczne kontrole dla danych po przetworzeniu. Gdy kontrola nie przechodzi, pomaga ustalić etap błędu i zapobiega użyciu niepełnego wyniku w raportach.
Przykładowe programy, dokumenty i wyposażenie. Konkretny zestaw zależy od miejsca pracy.
Na początek: Narysuj nagłówki obu tabel i wskaż pole powiązania.
Przećwicz, jak powiedzieć to w pracy:
Zacznij od pierwszej lekcji lub wybierz temat. W każdym rozdziale znajdziesz przykład, schemat i ćwiczenie.
| Wiersz albo źródło | Stan | Reguła |
|---|---|---|
| O-7, C-24 | Brakuje odnośnego klienta | Sprawdź relację zamówień do klientów. |
| O-8 | Pusty identyfikator klienta | Sprawdź obecność klucza. |
| Tabela klientów, C-24 | Dwa wpisy po aktualizacji | Sprawdź unikalność przed połączeniem. |
Dwie pierwsze reguły wykrywają inne przypadki. Osobna kontrola tabeli klientów pozwala uniknąć powielania zamówienia po połączeniu.
WITH orders(order_id, customer_id) AS (
VALUES ('O-6', 'C-23'), ('O-7', 'C-24'), ('O-8', NULL)
), customers(customer_id) AS (
VALUES ('C-23')
)
SELECT o.order_id, o.customer_id
FROM orders AS o
LEFT JOIN customers AS c ON c.customer_id = o.customer_id
WHERE o.customer_id IS NOT NULL AND c.customer_id IS NULL;Opisz, które wiersze mają wrócić w każdym wyjątku, a potem sprawdź wynik na małym zestawie.
Po dostarczeniu tabeli klientów C-24 występuje w niej dwa razy i połączenie powiela sprzedaż. Dodaj regułę unikalności, wskaż wyniki dla dwóch stanów i ustal warunki bezpiecznej publikacji.
Co przygotujesz? Notatnik SQL i małe tabele z opisem reguł dbt, wynikami dla trzech błędów oraz komunikatem o gotowości raportu.
14,90 zł · jednorazowo za 30 dni dostępu.
Zobacz pakiet PRO →
Wskaż liczbę, którą właśnie omawiasz. Potem zwróć się do słuchacza i daj mu czas na porównanie jej z resztą tabeli.
Źródła do nauki dbt · reguły obecności, unikalności i relacji · dbt · własne reguły i stopień ważności
Odpowiedz na głos, a potem rozwiń przykładową odpowiedź.
Porównam klucze zamówień i klientów oraz pokażę wyjątki, np. przez LEFT JOIN i filtr na brak dopasowania. Puste klucze sprawdzę oddzielnie.
Sprawdzę czasy i zakres obu zasileń. Uzgodnię warunek gotowości oraz status raportu. Bieżący stan pokażę odbiorcom wraz z zakresem.
Raport sprzedaży pokazuje zamówienie O-7 z kodem klienta C-24. W bieżącej tabeli klientów nie ma C-24. Pokaż warunek, który wykryje problem, mały zestaw do sprawdzenia oraz komunikat dla właściciela raportu.
Otwórz plan potoku, dziennik uruchomień i przykład reguły dbt. Ustal, kto przejmuje powiadomienie i kiedy wyjątek wstrzymuje publikację.
Inżynier jakości danych — Data Quality Engineer · Przykład oferty dla specjalisty · pełny etat · UoP · miesięcznie brutto
Otwórz wyniki dla hasła „inżynier jakości danych” na portalu pracy.
DaneObserwuje publiczne publikacje i sprawdza, jakie twierdzenia się powtarzają. Szuka pierwotnych materiałów, porównuje daty i opisuje w raporcie ustalenia oraz granice danych.
DaneZobacz, jak analityk danych sprawdza liczby i tłumaczy wyniki. Przećwicz Excel, SQL i Power BI na danych o sprzedaży.
DaneProjektuj przepływy danych i dbaj o ich jakość między systemami.