Specjalista do spraw rozwoju sztucznej inteligencji — Praca krok po kroku
Asystent podał termin ze starej instrukcji
Praca krok po kroku · Lekcja 3 z 6
Sprawdź, co znalazła wyszukiwarka
W przebiegu wykonania sprawdź identyfikatory fragmentów. Zapisz oddzielnie to, co dostarczono modelowi i co model napisał.
- Co zrobić najpierwWyszukiwanie
- Co zrobić dalejŹródło
- Jak zakończyćOdpowiedź
Przykład z pracy
Usługa znalazła D1. Asystent odpowiedział trzy dni.
Ćwiczenie praktyczne
Rozpisz wynik wyszukiwania i odpowiedź w dwóch polach.
Asystent podał termin ze starej instrukcji
Podejmij decyzję
Wróć do notatki z początku sprawy. Zapisz pierwsze działanie i wyjaśnij, jak pomoże rozwiązać sytuację.
Pokaż przykładową reakcję
Zapisuję pytanie, odczyt D1 i oczekiwaną odpowiedź z D2. Po poprawce powtórzę ocenę dla pytań o obecną zasadę oraz archiwum. Zespół może rozpoznać wybór niewłaściwego dokumentu i sprawdzić, czy zmiana poprawiła odpowiedź.
- Zapisuję pytanie, odczyt D1 i oczekiwaną odpowiedź z D2. Po poprawce powtórzę ocenę dla pytań o obecną zasadę oraz archiwum.
- Zespół może rozpoznać wybór niewłaściwego dokumentu i sprawdzić, czy zmiana poprawiła odpowiedź.
- Dopisuję na stałe odpowiedź pięć dni do każdej wiadomości o dostawie.
- Inne warunki dostawy mogą wymagać osobnych informacji.
- Oceniam wyłącznie, czy odpowiedź brzmi naturalnie.
- Naturalna odpowiedź może podawać zapis z nieaktualnego źródła.
Sprawdź się — opcjonalne pytanie
Który problem widać jako pierwszy?
- Wybrano archiwalny dokument
- Model pominął poprawne D2 mimo znalezienia go w tym przebiegu
- Rozmowa nie miała pytania
Pokaż odpowiedź i wyjaśnienie
Wybrano archiwalny dokument. D1 wyjaśnia, dlaczego asystent znalazł nieaktualny zapis.
Praca krok po kroku · Lekcja 4 z 6
Powtórz ocenę po zmianie
Użyj tego samego pytania o aktualną dostawę. Dodaj kontrolne pytanie o archiwum, jeśli usługa ma je obsługiwać.
- Co zrobić najpierwTo samo pytanie
- Co zrobić dalejNowy przebieg
- Jak zakończyćPorównanie
Przykład z pracy
Po poprawce usługa przy zwykłym pytaniu znajduje D2.
Ćwiczenie praktyczne
Zapisz spodziewany fragment i sposób porównania wyników.
Sprawdź się — opcjonalne pytanie
Po czym poznasz, że poprawka zadziałała w tym przypadku?
- Zmieniono kolor okna rozmowy
- Wybrano aktualne źródło i podano zgodną z nim odpowiedź
- Asystent przestał wskazywać dokumenty
Pokaż odpowiedź i wyjaśnienie
Wybrano aktualne źródło i podano zgodną z nim odpowiedź. Warto ocenić zarówno treść, jak i materiał, z którego wynika.
Asystent podał termin ze starej instrukcji
| Pytanie | Oczekiwane źródło | Warunek poprawnej odpowiedzi |
|---|---|---|
| Dostawa standardowa poza R | D2 | Pięć dni |
| Dostawa do regionu R | Dodatek do D2 dla R | Siedem dni w tym regionie |
| Dostawa, region nieznany | D2 i dodatek pokazują różnicę | Doprecyzować region |
Ten sam temat może prowadzić do innego materiału. Oceniasz każdą odpowiedź z zakresem, który dotyczy danego pytania.
Sprawdź się w tej sytuacji
Czy przy każdym przypadku wskazano podstawę i oczekiwaną reakcję?
Microsoft Learn – jak osobno oceniać wyszukiwanie i odpowiedzi w RAG