Cechy i przeciek danych
Kompendium zawodu — pojęcia i zwroty
Pojęcia w pracy
- Etykieta
- Rzeczywisty wynik, którego przewidywania ma się nauczyć model.
- Cecha
- Informacja dostępna modelowi przy wyznaczaniu predykcji.
- Baseline
- Prosta metoda porównawcza, która pokazuje wartość bardziej złożonego podejścia.
- Przeciek danych
- Użycie informacji dostępnej dopiero po decyzji lub przenikającej z danych oceny.
- Próg decyzji
- Wartość, od której wynik modelu prowadzi do określonego działania.
Zwroty w typowych sytuacjach
- „Potwierdźmy, jakie działanie wynika z predykcji.”
- Łączysz projekt z konkretną decyzją.
- „Ta cecha powstaje dopiero po rozstrzygnięciu.”
- Wskazujesz ryzyko przecieku danych.
- „Sprawdzę osobno nowszy okres i trudniejsze grupy.”
- Uzupełniasz wynik ogólny oceną stabilności.
Porównaj czas powstania każdej informacji z chwilą predykcji. Zwróć uwagę na dane poprawiane wstecz oraz identyfikatory kodujące wynik. Odtwórz zbiór tak, jak był widoczny w danej chwili.
- Oznacz chwile
- Usuń dane z przyszłości
- Sprawdź odtwarzalność
Przykład z pracy
Stan końcowy przesyłki uzupełniono po doręczeniu i wyłączono go z predykcji przed wysyłką.
Ćwiczenie praktyczne
Podziel pola zamówienia na dostępne przed wysyłką i powstające później.
Wynik rośnie po dodaniu daty reklamacji
Model przewiduje problemy przed wysyłką. Po dodaniu daty reklamacji wyniki analizy są dużo lepsze, ale reklamacje pojawiają się już po dostawie.
Pokaż przykładową reakcję
Usuwam cechę i sprawdzam pozostałe pola według chwili dostępności. Eliminujesz przeciek i weryfikujesz, czy inne dane można uzyskać przed wysyłką.
Sprawdź się — opcjonalne pytanie
Które pole powoduje przeciek w tym zadaniu?
- Kategoria wybranego produktu
- Termin obiecany przy zamówieniu
- Data skargi zgłoszonej po dostawie
Pokaż odpowiedź i wyjaśnienie
Data skargi zgłoszonej po dostawie. Cechy muszą być dostępne, gdy model ma podjąć decyzję.
Źródła do nauki Google Machine Learning Crash Course — podział zbioru danych · Google — próg klasyfikacji i macierz pomyłek