Przejdź do treści

Rozdział wyników

Niezgodność koderów: jak opisać uzgodnienia bez ukrywania pierwszych decyzji

Około 6 min czytania

Dwa niezależne notesy kodowania i osobna karta późniejszego uzgodnienia

Dwoje koderów początkowo przypisało różne kategorie, a po rozmowie uzgodniło wszystkie fragmenty. Czy w pracy można napisać „zgodność kodowania wyniosła 100%”? Taki zapis ukrywa różnicę między samodzielnymi decyzjami i wspólnie ustalonym wynikiem. Każdy z tych etapów ma inną funkcję.

Poradnik dotyczy opisu istniejącej analizy treści z uzgodnioną instrukcją kodowania. Na małym fikcyjnym materiale pokażemy, jak udokumentować pierwsze decyzje, omówić rozbieżność i opisać końcową wersję. Nie jest to uniwersalny wymóg dla wszystkich metod jakościowych.

Ustal, w jakim podejściu pracowano

W analizie opartej na instrukcji kodowania można uzasadnić samodzielne przypisywanie kategorii przez dwie osoby i ocenę zgodności. Trzeba wtedy podać, co kodowano, jakie były kategorie, jaki materiał oceniano niezależnie oraz jak rozstrzygano różnice. Sama informacja o dwóch osobach nie wyjaśnia procedury.

W refleksyjnej analizie tematycznej Braun i Clarke traktują rozwijanie interpretacji inaczej. Ich przewodnik redakcyjny wskazuje problem niespójnego łączenia deklaracji refleksyjnej TA z mechanicznym wymaganiem niezależnego kodowania, konsensusu i miar zgodności. Nie dopisuj więc kappa wyłącznie dlatego, że promotor albo przykładowy artykuł zawiera taką liczbę.

Najpierw wyjaśnij rzeczywistą metodę. Jeśli tekst nazywa tę samą procedurę raz refleksyjną TA, a raz klasyfikacją według zamkniętej instrukcji, potrzebna jest decyzja metodologiczna. Redakcja wyniku nie powinna zasłaniać tego problemu efektowną statystyką.

Fikcyjny materiał: dziesięć jednostek i dwie decyzje

Wszystkie fragmenty, kody i liczby poniżej są autorską demonstracją. Przyjęto dziesięć jednostek wypowiedzi o otrzymywaniu pomocy. Dwoje koderów samodzielnie przypisuje każdej jednostce jedną z dwóch nominalnych kategorii: „opis konkretnego działania pomocowego” albo „brak takiego opisu”. Reguła nie dotyczy oceny jakości pomocy.

  • W czterech jednostkach obie osoby wskazały kategorię „konkretne działanie”.
  • W czterech obie wskazały „brak takiego opisu”.
  • W jednej tylko koder A wskazał działanie.
  • W jednej tylko koder B wskazał działanie.

Zgodnych decyzji było osiem z dziesięciu, czyli 80%. Każdy koder użył obu kategorii po pięć razy. W tym prostym przykładzie oczekiwana zgodność na podstawie rozkładów brzegowych wynosi 0,5 × 0,5 + 0,5 × 0,5 = 0,50. Nieważona kappa wynosi (0,80 - 0,50) / (1 - 0,50) = 0,60.

Oficjalna dokumentacja pakietu psych opisuje kappa jako miarę zgodności dwóch oceniających dla decyzji kategorialnych. Taki współczynnik nie jest korelacją znaczeń ani dowodem trafności kategorii. Dwie osoby mogą zgodnie stosować źle dopasowaną regułę.

Rozbieżność potraktuj jako materiał do oceny reguły

Załóżmy, że jedna z fikcyjnych jednostek brzmi: „Gdy utknąłem, usłyszałem, że mogę się odezwać”. Koder A uznał możliwość kontaktu za konkretne działanie. Koder B oczekiwał opisu faktycznie udzielonej pomocy, a nie deklaracji dostępności. Rozmowa ujawnia nieostrość reguły, nie tylko pomyłkę jednej osoby.

Nie rozstrzygaj przez arbitralne wskazanie bardziej doświadczonego kodera, jeśli procedura przewiduje wspólną ocenę instrukcji. Sprawdź cel kategorii i szerszy kontekst wypowiedzi. Jeżeli kategoria ma obejmować także zaoferowanie dostępności, zapisz to w definicji i dodaj przykład graniczny. Jeżeli ma dotyczyć wyłącznie pomocy zrealizowanej, nazwij to wprost.

Zmiana reguły może wpłynąć na inne jednostki, również te początkowo zgodne. Trzeba je ponownie sprawdzić w odpowiednim zakresie. Nie poprawiaj tylko dwóch niezgodności, pozostawiając resztę materiału zakodowaną według poprzedniej definicji.

Usługa „Opracowanie materiału z wywiadów” może objąć uporządkowanie istniejących plików kodowania, objaśnień kategorii i śladu decyzji. Przekaż przyjętą metodę, obie pierwotne wersje, uzgodniony materiał oraz opis zmian instrukcji. Zakres wykonania samodzielnego kodowania lub ponownej analizy wymaga osobnego ustalenia.

Zachowaj osobno wynik niezależny i uzgodniony

W demonstracji po rozmowie ustalono końcowe przypisanie wszystkich dziesięciu jednostek. Oznacza to zakończenie uzgadniania, a nie dziesięć niezależnych zgodności. Nie licz „nowej zgodności” po zamianie obu kolumn na identyczny wspólny wynik i nie przedstawiaj jej jako dowodu powtarzalności samodzielnych decyzji.

Opis może brzmieć: „Dwoje koderów samodzielnie zaklasyfikowało dziesięć demonstracyjnych jednostek według wspólnej instrukcji. Pierwotna zgodność wyniosła 80%, a nieważona kappa 0,60. Dwie rozbieżności omówiono, wskazując nieostrość rozróżnienia między dostępnością pomocy a pomocą zrealizowaną. Doprecyzowano regułę i ponownie oceniono jednostki, których mogła dotyczyć zmiana. Końcowy zbiór zawiera uzgodnione przypisania”.

Jeżeli po zmianie wykonano nowe niezależne kodowanie, opisz je jako odrębny etap wraz z materiałem i zakresem. Jeżeli go nie wykonano, nie sugeruj sprawdzenia działania poprawionej instrukcji przez samą zgodę po dyskusji.

Nie zamieniaj liczby w uniwersalną ocenę jakości

Wartość kappa zależy między innymi od rozkładu użycia kategorii. Nie interpretuj jej w oderwaniu od liczebności, struktury niezgodności i celu klasyfikacji. Dziesięć jednostek to tutaj celowo małe ćwiczenie rachunkowe, a nie rekomendacja wielkości materiału do oceny zgodności.

Nie dopisujemy przedziału ufności, którego nie wyznaczono. W rzeczywistym raporcie potrzebne mogą być także informacje o niepewności i metodzie jej oceny. Jeżeli jednostki pochodzą wielokrotnie od tych samych osób, samo ich potraktowanie jako niezależnych może być problemem analitycznym. Powinien go ocenić wykonawca obliczeń.

Również kappa ważona i nieważona nie są zamiennymi podpisami jednej liczby. Nasze dwie kategorie są nominalne i używamy nieważonego współczynnika. Przy kategoriach porządkowych sposób ważenia rozbieżności wymaga uzasadnienia, a przy kodowaniu wieloetykietowym potrzebna jest procedura odpowiadająca strukturze decyzji.

Ślad audytu powinien pozwalać odtworzyć zmianę

Zachowaj identyfikator jednostki, wersję instrukcji, pierwotne decyzje obu osób, powód rozbieżności i końcowe rozstrzygnięcie. Oddziel zmianę definicji od korekty omyłki. Nie trzeba publikować pełnego roboczego rejestru z wrażliwymi treściami, ale opis metody powinien wyjaśniać rzeczywisty przebieg pracy.

Tworzenie kategorii, porównywanie przypadków z zachowaniem kontekstu oraz późniejszy dobór cytatów rozwijają trzy powiązane poradniki w sekcji „Czytaj również”. Cytat ilustrujący rozbieżność nie może ujawniać danych identyfikujących ani udawać reprezentatywnego wyniku całego materiału.

Przed oddaniem sprawdź, czy tekst rozróżnia samodzielne kodowanie, dyskusję i końcowy zbiór. Usługa „Sprawdzenie istniejącego opracowania wyników” może objąć zgodność tego opisu z przekazaną dokumentacją. Omów sprawdzenie opisu kodowania i uzgodnień. Brakujących decyzji nie dopisujemy po fakcie.

Źródła i zakres opracowania

  • Revelle W. Dokumentacja pakietu psych: cohen.kappa. https://www.personality-project.org/r/psych/help/kappa.html
  • Braun V., Clarke V. Thematic Analysis: FAQs oraz Editor and Reviewer Guide. https://www.thematicanalysis.net/faqs/

Opracowanie źródeł: 6 listopada 2026 roku. Wszystkie sytuacje, wypowiedzi i dane demonstracyjne w poradniku są autorskimi materiałami edukacyjnymi. Nie przedstawiają rzeczywistych badań ani historii klientów.

Pytania do poradnika

Czy opracowujecie wywiady i odpowiedzi otwarte?

Tak, po ustaleniu przyjętej metody i zakresu. Materiał można uporządkować w kategorie, zestawienia cytatów i opis tematów. Nie traktujemy samych częstości wzmianek jako miary znaczenia. Potrzebne są scenariusz, pytania badawcze i transkrypcje albo informacja o stanie materiału.

Co, jeśli brakuje danych lub część odpowiedzi jest niejasna?

Wskażemy informacje potrzebne do wyjaśnienia zakresu. Nie dopisujemy odpowiedzi, cytatów ani wyników. Możemy opracować materiał w jego rzeczywistych granicach, jeśli zakres zostanie uzgodniony, oraz opisać ograniczenia. Część braków może wymagać uzupełnienia przez autora badania.

Czy kontrola zgodności akapitów z tabelami jest pełną weryfikacją analizy statystycznej?

Nie. To odrębne zakresy. Ocena doboru metody, założeń i obliczeń wymaga odpowiedniego materiału oraz właściwej kontroli analitycznej.

Arkusz do samodzielnej pracy

Rozpisz swój rozdział przed redakcją.

Arkusz planowania rozdziału wyników pomoże połączyć pytania badawcze z danymi, tabelami, opisem i miejscem na dyskusję. Możesz pracować z nim samodzielnie, bez podawania e-maila.

Twój materiał. Konkretny zakres pomocy.

Ustalmy zakres na podstawie Twoich materiałów.

Napisz, czy masz ankietę, wywiady, dokumenty albo gotowy fragment. Dodaj oczekiwany rezultat, termin i najważniejsze wytyczne.

Wysłanie zapytania rozpoczyna ustalanie zakresu. Cenę i warunki realizacji poznasz przed decyzją o zamówieniu.

Zapytaj o opracowanie