W pięciostopniowym pytaniu o zgodę zsumuj odpowiedzi „zdecydowanie tak” i „raczej tak”. Podziel wynik przez liczbę ważnych ocen we wszystkich pięciu kategoriach. Jeśli pierwszą odpowiedź wybrało 40 osób, drugą 20, a ważnych odpowiedzi jest 100, dostajesz (40 + 20)/100, czyli 60,0%. Środek skali wchodzi do tej podstawy. Puste pola i osobną opcję „nie dotyczy” rozlicz zgodnie z regułą przyjętą w badaniu. Przy odsetku podaj licznik, nieważoną liczebność podstawy i nazwy obu kategorii.
Ten odsetek to top-two-box, czyli łączny udział dwóch najwyższych kategorii na uporządkowanej skali. Zanim otworzysz arkusz z obliczeniami, spójrz na oryginalne pytanie. Ustaw etykiety w kolejności według ich znaczenia, zaznacz dwie do licznika i odnotuj, co należy do mianownika. Łatwiej wtedy zauważyć, że eksport odwrócił kolejność kodów, puste pola trafiły do środka skali albo procent odnosi się do wszystkich formularzy zamiast do ważnych odpowiedzi na to pytanie.
Kiedy przydaje się jeden odsetek
Top-two-box opisuje, jaka część odpowiedzi osiąga wybrany próg. Dla stwierdzenia „Instrukcja była zrozumiała” możesz w ten sposób pokazać co najmniej umiarkowaną zgodę. Przy pytaniu o zadowolenie z dostępu do materiałów próg może obejmować dwie najwyższe kategorie zadowolenia. W pytaniu o częstość analogiczny wynik może dotyczyć etykiet „często” i „bardzo często”. Interpretuj go według treści pytania. Częste napotykanie trudności to wysoki wynik na osi częstości, a jednocześnie sygnał kłopotu z instrukcją.
W pracy nad ankietą zacznij od rozróżnienia pojedynczego pytania i łącznego wyniku skali. Przy dziesięciu stwierdzeniach można policzyć top-two-box dla każdego z osobna. Średnia z dziesięciu odsetków podsumowuje te pozycje. Jeśli potrzebujesz udziału osób z wysokim wynikiem całej skali, najpierw wyznacz osobie wynik łączny według klucza, ustal postępowanie z brakami i uzasadnij próg. Taki udział dotyczy osób z określonym wynikiem skali. Przy każdym wskaźniku zapisz, na jakim poziomie powstał i jak go obliczono.
Dwie górne kategorie wyznacz na podstawie etykiet
W jednym arkuszu kod 1 oznacza „zdecydowanie tak”, w innym „zdecydowanie nie”. Program może pokazywać odpowiedzi rosnąco lub alfabetycznie. Wybór kodów 4 i 5 ma więc sens tylko wtedy, gdy potwierdza go słownik zmiennych. Zapisz pięć etykiet wraz z kodami. Zobacz następnie rozkład: czy wszystkie ważne odpowiedzi mieszczą się w tych kategoriach i czy w podstawie nie znalazła się np. dodatkowa opcja zapisana jako osobna liczba?
Przeczytaj również samo stwierdzenie. „Instrukcja pozwalała mi samodzielnie zacząć zadanie” i „Instrukcja była dla mnie zbyt skomplikowana” mogą mieć identyczną skalę odpowiedzi. Zgoda z drugim zdaniem oznacza jednak deklarację trudności. Możesz podać odsetek osób zgadzających się ze stwierdzeniem o trudności. Jeżeli celem jest wspólna interpretacja w kierunku korzystnej oceny, a brzmienie i plan na to pozwalają, opisz przyjęte odwrócenie. Sprawdź wtedy, co dokładnie wyraża niezgoda. Brak jednej bariery może oznaczać, że uczestnik rozumie instrukcję, ale wciąż potrzebuje wsparcia z innego powodu.
W podpisie nazwij dokładnie to, co liczysz
Podpis „60% pozytywnych odpowiedzi” zostawia otwarte pytanie, czy chodzi o zgodę, przydatność czy rzadkie występowanie problemu. Przy pytaniu „Czy konsultacja była pomocna?” możesz użyć zapisu „Udział odpowiedzi «zdecydowanie tak» lub «raczej tak» na pytanie o przydatność konsultacji”. Przy stwierdzeniu nazwij odsetek osób zgadzających się z nim i wskaż dwie kategorie składowe. Przy pierwszym użyciu wyjaśnij pojęcie top-two-box. W dalszej części utrzymuj tę samą definicję i opisuj zmianę, jeśli dla innego pytania próg ma inne znaczenie.
Jeden odsetek ułatwia przegląd kilku podobnych pozycji. Jeśli interesuje Cię siła aprobaty, zachowaj też udziały odpowiedzi zdecydowanej i umiarkowanej. Dwie grupy mogą mieć ten sam łączny udział zgody, choć w jednej jest więcej silnych ocen w obu kierunkach, a w drugiej przeważają oceny umiarkowane. Ustal, gdzie czytelnik zobaczy rozbicie: obok wyniku, na wykresie albo w aneksie. W bazie zostaw wynik źródłowy, żeby można było odtworzyć obie kategorie i sprawdzić resztę rozkładu.
Oblicz mianownik dla konkretnego pytania
Ustal, komu pokazano pytanie
Jeśli ankietę wypełniło 150 osób, a pytanie o zrozumiałość materiałów widzieli tylko uczestnicy konsultacji, zacznij od sprawdzenia filtra. Ustal, kto spełniał warunek i komu faktycznie wyświetlono pozycję. W ankiecie elektronicznej może pomóc zapis przejść, a w papierowej treść reguły i odpowiedź na pytanie filtrujące. Szczegółową procedurę pokazuje poradnik o tym, jak rozliczyć pytania filtrujące w wynikach ankiety. Jeśli nie da się odtworzyć wyświetleń, zapisz, które liczebności da się potwierdzić. Same puste pola mogą obejmować zarówno pominięcia przez filtr, jak i brak oceny po wyświetleniu.
Przy pytaniu wielokrotnego wyboru najpierw ustal jednostkę. Czasem liczysz zaznaczenia, czasem osoby z co najmniej jednym wskazaniem, a czasem oddzielne oceny poszczególnych aspektów. W top-two-box pojedynczej pozycji Likerta każda osoba może znaleźć się najwyżej w jednej z jej uporządkowanych kategorii. Sprawdź w formularzu lub eksporcie, czy dla jednej osoby nie zapisano kilku ocen tej samej pozycji. W przeciwnym razie licznik może przestać odpowiadać podstawie.
Zachowaj osobno środek skali, dodatkowe odpowiedzi i braki
„Ani tak, ani nie” należy do mianownika, jeśli było środkową kategorią skali. Opcja „nie dotyczy” może oznaczać, że mimo spełnienia warunku filtra stwierdzenie nie opisuje sytuacji uczestnika. „Nie wiem” może wyrażać brak wiedzy lub podstaw do oceny. Puste pole oznacza brak odpowiedzi. Osobny status ma pytanie, którego uczestnik nie dostał po filtrze. Przy porządkowaniu arkusza zapisz te sytuacje odrębnymi kodami i zachowaj ich liczebności. Jeden wspólny kod uniemożliwi później odróżnienie neutralnej oceny od pytania, którego respondent nie widział.
Rozważ dwa pytania. „Jaki odsetek ważnych ocen wyraża zgodę?” odnosi się do wszystkich odpowiedzi w pięciu kategoriach. „Jaki odsetek osób, którym wyświetlono pozycję, wybrał jedną z dwóch kategorii zgody?” odnosi się do wszystkich, którzy zobaczyli pozycję, w tym do osób bez oceny. Oba odsetki mogą znaleźć się w tym samym raporcie pod różnymi nazwami. Licznik pozostaje ten sam. Zmienia się tylko podstawa, a puste pola zachowują swój status.
W badaniu wiedzy „nie wiem” może być merytoryczną odpowiedzią i mieć własny odsetek. Jeśli pytasz wyłącznie o opinię osób, które miały podstawę do oceny, odpowiedzi poza skalą możesz wykazać obok procentu obliczonego dla pięciu kategorii. Przy zestawianiu grup pokaż też, ilu uczestników nie podało oceny. Wtedy można odróżnić sytuację, gdy 60% zgody pochodzi z odpowiedzi prawie całej grupy, od sytuacji, gdy odsetek dotyczy małej części osób i pozostała część nie wyraziła zdania w skali.
Zapisz regułę licznika i mianownika
Nieważony top-two-box to sto razy liczba odpowiedzi z dwóch wcześniej wybranych kategorii podzielona przez liczbę ważnych ocen tej samej pozycji. Każda osoba uwzględniona w liczniku musi należeć także do mianownika. Jeśli wyłączasz wiersze z brakiem wagi, zastosuj tę regułę po obu stronach ułamka. Podobnie przy filtrze: oba składniki policz w tym samym zbiorze. Rozbieżne reguły mogą dać wynik wyglądający wiarygodnie, choć opiera się on na dwóch różnych podstawach.
Mianownik zero oznacza, że odsetka nie da się policzyć. W raporcie możesz użyć opisu „brak ważnych odpowiedzi” lub znaku wyjaśnionego w legendzie. Z kolei 0% to obliczony wynik, jeśli co najmniej jedna osoba udzieliła ważnej odpowiedzi, ale nikt nie wybrał żadnej z dwóch najwyższych kategorii. Gdy arkusz automatycznie zastępuje błędy dzielenia zerem, obie sytuacje wyglądają tak samo. Zachowaj mianownik przy każdym procencie i sprawdź, jak program przedstawia wynik niewyznaczony.
Dwie fikcyjne grupy, ten sam odsetek zgody
Badacz chce dowiedzieć się, czy materiały pomogły przygotować się do konsultacji. W obu grupach osobom, które korzystały z materiałów, pokazano to samo stwierdzenie: „Materiały pozwoliły mi przygotować się do konsultacji”. Każda osoba mogła wybrać jedną odpowiedź. Kwestionariusz miał pięć uporządkowanych kategorii oceny, od „zdecydowanie tak” do „zdecydowanie nie”, i osobną opcję „nie dotyczy”. Badacz postanowił obliczyć odsetek zgody dla pięciu kategorii skali. Odpowiedzi poza skalą i braki rozlicza obok. Dane w tym przykładzie są fikcyjne.
W grupie A jest 150 formularzy. Po zastosowaniu filtra pytanie wyświetlono 120 osobom, a 30 osób ominął filtr. Spośród osób, które je zobaczyły, 12 wybrało „nie dotyczy”, 8 zostawiło puste pole, a 100 podało ważną ocenę. W grupie B zebrano 130 formularzy: pytanie wyświetlono 110 osobom, a 20 ominął filtr. Z tych 110 osób 4 wybrały „nie dotyczy”, 6 zostawiło puste pole, a 100 udzieliło ważnej odpowiedzi. Kontrola sum dla A to 150 = 30 + 120 oraz 120 = 12 + 8 + 100. Dla B to 130 = 20 + 110 oraz 110 = 4 + 6 + 100.
Grupa A. Najczęstszą odpowiedzią jest „zdecydowanie tak”
-
„Zdecydowanie tak”: 40 osób.
-
„Raczej tak”: 20 osób.
-
„Ani tak, ani nie”: 25 osób.
-
„Raczej nie”: 10 osób.
-
„Zdecydowanie nie”: 5 osób.
Dwie kategorie zgody obejmują 60 osób. Po podzieleniu przez 100 ważnych odpowiedzi otrzymujesz 60,0%. Środek stanowi 25%, a dwie kategorie niezgody razem 15%. Wynik 60/120 = 50,0% odpowiada na pytanie, ile osób wybrało jedną z kategorii zgody wśród tych, którym wyświetlono pytanie. Wynik 60/150 = 40,0% odnosi ten sam licznik do wszystkich formularzy w A. W każdym zapisie musisz nazwać podstawę. Jeśli pytasz o zgodę wśród pięciu ważnych kategorii, podajesz 60,0% i osobno informujesz o filtrze i wyłączeniach.
Grupa B. Najczęstszą odpowiedzią jest „raczej tak”
-
„Zdecydowanie tak”: 10 osób.
-
„Raczej tak”: 50 osób.
-
„Ani tak, ani nie”: 10 osób.
-
„Raczej nie”: 20 osób.
-
„Zdecydowanie nie”: 10 osób.
W B do licznika również wchodzi 60 osób. Przy 100 ważnych ocenach top-two-box wynosi 60,0%. „Zdecydowanie tak” wybrało 10%, środek 10%, a jedną z dwóch kategorii niezgody 30%. Odsetek „zdecydowanie tak” był w A o 30 punktów procentowych wyższy, a odsetek „raczej tak” był o 30 punktów procentowych wyższy w B. Te dwie różnice znoszą się po zsumowaniu kategorii zgody. Nadal widać więc inny rozkład natężenia zgody i wyższy łączny udział niezgody w B. Jeśli pytanie brzmi, która grupa częściej wyrażała silną zgodę, sam top-two-box go nie rozstrzyga.
Aby policzyć odsetek w obu grupach razem, dodaj liczniki i podstawy. Otrzymasz 120/200, czyli 60,0%. Jeśli trzeci panel miałby 12 z 20 ważnych ocen w dwóch górnych kategoriach, nadal otrzymujesz ten sam odsetek. Zobacz jednak, co dzieje się przy innych wynikach. Jeśli zestawisz A (60/100) z małym panelem (16/20), łączny odsetek osób wyniesie 76/120, około 63,3%. Jeśli zamiast tego policzysz średnią z 60% i 80%, wyjdzie 70%. W średniej oba panele mają taki sam udział bez względu na liczebność. Korzystaj z niej, gdy pytanie i podpis wprost odnoszą się do średniego odsetka paneli.
Zaokrąglij gotowy odsetek
Przy jednej odpowiedzi na sześć dokładny udział to 16,666...%, a po zaokrągleniu 16,7%. Jeśli po jednej osobie wybrało każdą z dwóch górnych kategorii, suma dwóch zaokrąglonych etykiet to 33,4%. Rachunek 2/6 daje po zaokrągleniu 33,3%. Gdy widzisz taką różnicę pod wykresem, wróć do liczebności lub niezaokrąglonych udziałów. Dla nieważonej ankiety najprościej policzyć odsetek z liczebności i zastosować przyjętą dokładność dopiero na końcu. Dobrze, gdy podpis, wykres i tekst używają tej samej reguły.
Jak OPM opisuje swój odsetek pozytywnych ocen
U.S. Office of Personnel Management opisał w raporcie technicznym z badania pracowników federalnych za 2024 r., jak łączył kategorie odpowiedzi. Przy pięciostopniowej skali zgody wskaźnik „Percent Positive” obejmuje silną zgodę i zgodę. Przy pytaniu o satysfakcję obejmuje dwie najwyższe kategorie zadowolenia, a przy odpowiednim formacie oceny jakości dwie najwyższe oceny. Rozdział 6 pokazuje też, jak OPM raportował oddzielnie środek oraz połączone dwie kategorie ujemne. Czytelnik może dzięki temu ustalić, które odpowiedzi weszły do każdego odsetka.
Jeśli nie zaznaczono inaczej, wyniki FEVS były ważone. W wybranych pozycjach, w których przewidziano odpowiedzi „Do Not Know” albo „No Basis to Judge”, nie uwzględniano ich przy liczeniu procentów. Tak samo postępowano z brakiem odpowiedzi na pozycję. Rozdział 5 opisuje wagi stosowane w tym projekcie, w tym korekty związane z uczestnictwem. OPM stanowi konkretny przykład tego, jak opisać licznik i podstawę. W swojej ankiecie ustal postępowanie z dodatkowymi odpowiedziami, potrzebę ważenia i ochronę małych grup na podstawie własnego celu, sposobu doboru i zasad udostępniania.
Co sprawdzić przed porównaniem skal i fal
Skala pięcio- i siedmiostopniowa może wyznaczać inny próg
W starszej wersji ankiety ostatnie dwie kategorie z pięciu to „raczej tak” i „zdecydowanie tak”. W siedmiostopniowej wersji po stronie zgody pojawiają się trzy możliwości: „w niewielkim stopniu tak”, „w dużym stopniu tak” i „zdecydowanie tak”. Wybór dwóch najwyższych etykiet w nowej ankiecie pozostawia słabszą zgodę poza licznikiem. Zanim nazwiesz obie wartości tym samym odsetkiem i zaczniesz je porównywać, sprawdź treść pozycji, etykiety krańcowe, ich kolejność i sposób zaznaczania odpowiedzi.
W obu wersjach przykładu jest po 100 ważnych odpowiedzi. W pięciostopniowej skali 22 osoby zaznaczyły „zdecydowanie tak”, a 38 „raczej tak”. Top-two-box wynosi 60%. Na skali siedmiostopniowej 22 osoby wybrały najwyższą kategorię, 18 drugą od góry, a 20 trzecią. Z dwóch najwyższych otrzymasz 40%, z trzech po stronie zgody 60%. To, że w obu wersjach można uzyskać 60%, samo w sobie nie uzasadnia wspólnego progu. Najpierw ustal, co znaczą etykiety. Jeśli uzasadnisz porównanie wszystkich odpowiedzi po stronie zgody, nazwij wskaźnik według tej reguły. Dla skali siedmiostopniowej w tym przykładzie obejmie trzy kategorie.
Jeżeli projekt pozwala porównać dwie wersje formularza w badaniu pomostowym, sprawdź, jak format wpływa na rozkład. Jednoczesne rozdanie wersji porównywalnym grupom może pomóc oddzielić zmianę formatu od zmiany terminu. Zapisz sposób przydziału, treść instrukcji oraz rozkład po obu stronach rozważanego progu. Gdy brak podstaw do porównania, pokaż wyniki dla każdej wersji osobno i wskaż, od której fali narzędzie się zmieniło. Odbiorca zobaczy, dlaczego nie ma podstaw do jednej ciągłej serii odsetków.
Te same etykiety mogą opisywać różne rzeczy
„Czy materiały były dostępne przed konsultacją?” i „Czy udało Ci się skorzystać z materiałów?” mogą dawać odpowiedzi na tej samej pięciostopniowej skali. Pierwsze pytanie dotyczy dostępności, drugie faktycznego użycia. Podobny problem pojawia się, gdy w jednym okresie pytasz o ostatnie spotkanie, a w drugim o cały semestr. Zanim zestawisz procenty, ustal, czy oceniano ten sam przedmiot w tym samym zakresie. Gdy nie można uzgodnić definicji, pokaż oba wyniki osobno i wyjaśnij przyczynę.
Odwrócenie kolejności kategorii w formularzu nie zmienia rachunku, jeśli przypisanie kodów do etykiet jest prawidłowe. Może jednak wpłynąć na to, jak część uczestników odpowiada. Dlatego przy porównaniu wersji zapisz kolejność, sposób wyświetlania i zmiany instrukcji. Jeśli eksport zamienił kody, oprzyj poprawkę na zachowanym słowniku. Gdy nie masz pewności, jaki tekst oznaczał dany kod, sam rozkład nie pozwala tego rozstrzygnąć. Oczekiwana ocena usługi również nie daje podstaw do zamiany „zdecydowanie nie” na „zdecydowanie tak”.
Ustal, czy porównujesz grupy, czy zmiany u tych samych osób
Odsetek 68% po zmianie i 60% przed nią różni się o 8 punktów procentowych. Jeżeli w falach uczestniczyły różne osoby, porównujesz dwa rozkłady. Z tego porównania nie dowiesz się, kto przeszedł powyżej progu. Jeśli masz dopasowane odpowiedzi tych samych osób, możesz policzyć przejścia w obie strony. Weź pod uwagę granicę agregacji: przejście z „raczej tak” do „zdecydowanie tak” jest zmianą natężenia zgody, ale obie odpowiedzi leżą po tej samej stronie progu. W zależności od pytania potrzebujesz porównania udziałów, analizy przejść albo rozkładu kategorii.
Przy każdej fali podaj, czy wynik obejmuje wszystkich uprawnionych, osoby z ważną odpowiedzią czy tylko kompletne pary. Jeśli zmienił się udział „nie dotyczy”, wróć do przebiegu badania. Sprawdź, czy w obu falach oceniano ten sam przedmiot i ile osób miało dostęp do materiałów. Ustal również, czy instrukcja nie zmieniła sposobu wybierania dodatkowej opcji. Tę zmianę warto pokazać przy wykresie, bo sam procent zgody nie wyjaśni, kto miał możliwość dokonania oceny.
Jak czytać wyniki przy małych podstawach i z wagami
Mała liczba odpowiedzi może dać dużą zmianę odsetka
Jeśli ważnych odpowiedzi jest pięć, trzy pozytywne dają 60%. Gdy przy tej samej podstawie jedna osoba zmieni odpowiedź na kategorię powyżej progu, wynik wyniesie 80%. To różnica 20 punktów procentowych po zmianie jednej oceny. Przy 100 odpowiedziach taka sama zmiana przesunęłaby wynik o jeden punkt procentowy. Dodatkowe miejsca po przecinku tego nie zmienią. Podaj odsetek i podstawę, jeśli pozwalają na to zasady poufności. Przy małych grupach sprawdź, czy kolejność w rankingu nie zależy od pojedynczej odpowiedzi albo od różnej definicji podstawy.
Czasem trzeba zrezygnować z procentu dla małej grupy, bo znana liczba osób pozwoliłaby odtworzyć liczebności. Sprawdź, co odbiorca wie o składzie grupy i jakie inne przekroje będą dostępne. Jeśli obowiązuje projektowa reguła udostępniania, opisz ją w zakresie potrzebnym do odczytania raportu. Oznaczenie „wyniku nie udostępniono” opisuje inną sytuację niż brak odpowiedzi. Gdy łączysz podgrupy, nazwij nowy zakres i przelicz obie składowe ułamka. Sprawdź również, czy wartości usuniętej z wykresu nie da się odtworzyć z sum na innym slajdzie.
Przy ważeniu pokaż również liczbę odpowiedzi
Jeśli masz udokumentowane wagi dla tej części badania, dodaj wagi osób, które wybrały jedną z dwóch najwyższych kategorii. Podziel tę sumę przez sumę wag osób z ważną odpowiedzią na to samo pytanie, uwzględnionych w analizie ważonej. Pomnóż przez 100 i zapisz również nieważoną liczebność podstawy. Gdy waga jest pusta, zerowa albo dotyczy innej części projektu, sprawdź instrukcję i oddziel tę sytuację od braku odpowiedzi. Po obu stronach ułamka używaj tych samych zasad i tej samej wagi.
W pierwszej części przykładowych danych 40 pozytywnych i 10 pozostałych ważnych odpowiedzi ma wagę 1. W drugiej 10 pozytywnych i 40 pozostałych ma wagę 2. Nieważony rachunek to 50/100 = 50,0%. Ważony licznik to 40 × 1 + 10 × 2, a podstawa 50 × 1 + 50 × 2. Otrzymujesz 60/150 = 40,0%. Wciąż chodzi o odpowiedzi 100 osób. Liczba 150 to suma wag. Przy własnym wyniku opisz, skąd wzięła się waga i do czego służy. Samo przypisanie wag do odpowiedzi z otwartego formularza nie uzasadnia wnioskowania o populacji.
Wskaż, czego dotyczy różnica i jak precyzyjny jest wynik
Gdy opisujesz zebrane dane, możesz napisać „odsetek wśród ważnych odpowiedzi na to pytanie”. Jeśli badanie pozwala wnioskować o określonej populacji i chcesz podać niepewność, wybierz metodę zgodną z doborem próby. Przy złożonej próbie mogą mieć znaczenie wagi, warstwy i skupienia, a przy pomiarach powtórzonych zależność między wynikami par. Dwa różne odsetki z arkusza nie rozstrzygają jeszcze, czy w populacji występuje różnica. Zapisz nieważoną liczebność podstawy i sposób obliczeń. Suma wag nie daje automatycznie liczby niezależnych obserwacji do prostego przedziału.
Przejście z 40% do 60% to wzrost o 20 punktów procentowych. Przy podstawie odniesienia 40% względna zmiana wynosi (60 - 40)/40 = 50%. W raporcie opinii często wystarczy pierwsza wielkość oraz podstawa każdego odsetka. Jeśli punkt odniesienia wynosi 0%, takiej względnej zmiany nie da się obliczyć. Przy małej grupie warto podać również liczby, np. 2/5 i 3/5. Wtedy czytelnik od razu widzi, ile odpowiedzi odpowiada zmianie.
Jak zapisać wynik, żeby można go było odtworzyć
Przykładowy akapit do rozdziału wyników
„Jedną z dwóch kategorii zgody, «zdecydowanie tak» lub «raczej tak», wybrało po 60 ze 100 osób z ważną odpowiedzią w każdej grupie (60,0%). W grupie A częściej wybierano «zdecydowanie tak» niż w B (40 ze 100 wobec 10 ze 100). Jedną z dwóch kategorii niezgody wskazało 15 osób w A i 30 w B. Pytanie wyświetlono 120 osobom w A i 110 w B. Spośród nich 20 osób w A i 10 w B nie podało jednej z pięciu ważnych ocen. W tych liczbach mieszczą się odpowiedzi «nie dotyczy» i puste pola, których nie uwzględniono w mianowniku. Odsetki opisują zebrane odpowiedzi”.
Jeśli wykres i podpis pokazują pełne liczebności, akapit może być krótszy. W pierwszym zdaniu nazwij zakres i kategorie licznika. W drugim przytocz obserwację, której sam odsetek nie oddaje. Przykładowo możesz wskazać, że w A więcej osób wybrało ocenę najwyższą. Gdy chcesz wyjaśnić tę różnicę, zrób to w dyskusji i oprzyj interpretację na informacjach, które rzeczywiście zebrano, np. na opisie warunków pracy z materiałami lub odpowiedziach otwartych. Sam udział zgody nie pozwala przypisać rozkładu działaniu materiału.
Wzór podpisu i informacje do zachowania
Podpis może brzmieć: „Odsetek osób, które wybrały «zdecydowanie tak» lub «raczej tak» przy ocenie przydatności materiałów. Podstawa: po 100 ważnych ocen w pięciu uporządkowanych kategoriach w każdej grupie. Filtr pominął 30 osób w A i 20 w B. Po wyświetleniu pytania «nie dotyczy» wybrało 12 osób w A i 4 w B. Puste pole zostawiło 8 osób w A i 6 w B. Odsetki nieważone”. Jeśli obok jest pełny rozkład, podaj kolejność etykiet i zaznacz, które składają się na top-two-box. Czytelnik ma od razu wiedzieć, czy liczba dotyczy zgody, satysfakcji czy częstości.
Przy każdej pozycji zapisz wersję kwestionariusza, pytanie i regułę filtra. Zachowaj też listę etykiet z kodami i kierunkiem, definicje licznika i mianownika oraz sposób zaokrąglania. W osobnych polach podaj, ile osób spełniało warunek filtra, ile ważnych odpowiedzi uzyskano i ile było odpowiedzi poza skalą lub braków. Jeśli używasz wag, odnotuj nazwę wagi, jej skalę i sumy przed zaokrągleniem. Po ewentualnej zmianie opisu wykresu będzie można sprawdzić, czy nadal odnosi się do tego samego obliczenia. Do dokumentowania odsetka wystarczy zapis reguł i liczb zbiorczych.
Wybierz wykres pod pytanie czytelnika
Jeśli pytasz, od którego aspektu zacząć poprawki, odsetek zgody z podaną podstawą może pomóc znaleźć oceny wymagające uwagi. Później spójrz na pełny rozkład. Niski top-two-box może wynikać z wielu ocen neutralnych lub z wielu silnych ocen negatywnych. W pierwszym przypadku przyjrzyj się, skąd bierze się brak wyraźnego stanowiska. W drugim warto przyjrzeć się, czego dotyczy wyraźna niezgoda. Gdy celem jest pokazanie zróżnicowania opinii, rozkład może stanąć obok skrótu.
Przy kilku pozycjach poukładaj wyniki według pytania badawczego lub etapów korzystania z materiałów. Na wykresach utrzymaj tę samą kolejność kategorii. Sortowanie według top-two-box może ułatwić lekturę, ale remisy warto sprawdzić w pełnym rozkładzie. Jeśli odsetki są bardzo zbliżone, sprawdź, ile informacji rzeczywiście daje ich kolejność, i opisz sposób traktowania remisów. Utrzymanie jednej kolejności etykiet ułatwia też porównanie wykresów między falami.
Pokaż różnicę, która znika po zsumowaniu
Jeżeli w głównym rozdziale podajesz tylko top-two-box, pokaż przynajmniej, ile osób nie podało jednej z ważnych ocen i gdzie pełny rozkład zmienia odczyt. W przykładzie A ma więcej odpowiedzi najwyższych i środkowych, a łączny udział kategorii niezgody jest w A niższy. W B częstsza jest zgoda umiarkowana. Łączny udział zgody w obu grupach jest ten sam. Dopisz tę obserwację obok liczby, a czytelnik sam będzie mógł odnieść kształt odpowiedzi do pytania o materiały.
W zależności od pytania możesz potrzebować tylko najwyższej kategorii, np. gdy interesuje Cię stanowcza deklaracja polecenia materiału. Jeśli pytasz o co najmniej umiarkowaną aprobatę, wykorzystaj udział dwóch górnych kategorii i ustal tę samą podstawę dla porównań. Zastanów się też, czy skupienie przy krańcu skali utrudnia pomiar dalszego wzrostu. Ten problem omawia poradnik o efekcie sufitu i podłogi. Udział najwyższej kategorii, top-two-box i skupienie odpowiedzi na krańcu mogą służyć do różnych pytań. Odnotuj oddzielnie te wyniki, których potrzebujesz.
W raporcie możesz zacząć od top-two-box z jedną definicją dla porównywanych pytań. Potem pokaż przykład, w którym ten sam łączny udział prowadzi do różnych decyzji po zobaczeniu odpowiedzi składowych. Może w tym pomóc pełny rozbieżny wykres odpowiedzi Likerta. Czytelnik zobaczy wszystkie kategorie w tym samym porządku. Jeśli w rozdziale brakuje miejsca, wskaż aneks lub miejsce, gdzie jest pełny rozkład. Z samego łącznego odsetka nie da się odzyskać udziału każdej z dwóch kategorii.
Planując analizę, możesz również zapytać, kto najczęściej wybiera środek lub dodatkową opcję. Takie pytanie wymaga własnej podstawy. Gdy „nie dotyczy” częściej zaznaczają osoby, które nie korzystały z materiału, zachowaj ich odpowiedź. Pokaż, jaka część osób mogła go ocenić i jaka część spośród osób z ważną oceną wyraziła zgodę. Dwa odsetki pomagają stwierdzić, czy do dalszego sprawdzenia jest dostęp do materiału, brzmienie pytania czy jakość materiału.
Sprawdź rachunek i opis przed oddaniem pracy
-
Nazwij pytanie i obie etykiety licznika.
-
Sprawdź porządek i kierunek według znaczenia etykiet, niezależnie od numerów kodów.
-
Podaj n dla konkretnej pozycji i użytej podstawy.
-
Rozdziel środkową ocenę, odpowiedź poza skalą, puste pole i pominięcie przez filtr.
-
Oblicz odsetek z dokładnych danych i zaokrąglij na końcu.
-
Gdy top-two-box jest taki sam, pokaż różnice ważne dla pytania między składowymi.
-
Uzasadnij porównywalność skal i fal. Wskaż zmiany kwestionariusza.
-
Przy ważeniu podaj źródło wagi, jej zastosowanie i nieważoną liczebność.
-
Sprawdź, czy zasady poufności pozwalają pokazać małą grupę i co można wyliczyć z innych zestawień.
-
Porównaj licznik, mianownik i treść wniosku w akapicie, na wykresie i w aneksie.
Wybierz na koniec jeden wykres i poproś kogoś, kto nie liczył wyniku, żeby odtworzył procent z podpisu i rozkładu. Jeśli dzieli 60 przez 120 zamiast przez 100, dopisz, do kogo odnosi się mianownik. Jeśli po 60,0% w obu grupach odczytuje jako taki sam poziom zadowolenia, pokaż osobno udział najwyższej kategorii. Jeżeli liczbę osób myli z sumą wag, opisz obie wielkości w dwóch osobnych pozycjach. Ponów próbę po zmianie podpisu.
Bibliografia
- U.S. Office of Personnel Management. 2024 OPM Federal Employee Viewpoint Survey: Technical Report. Rozdziały 5 i 6, s. 33-36.
Najczęstsze pytania
Jak obliczyć top-two-box dla pięciostopniowego pytania o zgodę?
Dodaj liczby osób, które wybrały „zdecydowanie tak” lub „raczej tak”. Podziel tę sumę przez liczbę ważnych odpowiedzi w pięciu kategoriach, ze środkiem włącznie, i pomnóż przez 100. Przy wyniku podaj podstawę i dokładne etykiety z formularza.
Jaki mianownik przyjąć dla wykresu Likerta po pytaniu filtrującym?
Jeśli wykres pokazuje rozkład pięciu merytorycznych kategorii, policz ich udziały wśród osób z ważną odpowiedzią na tę pozycję. Obok podaj, ilu uczestnikom pytanie wyświetlono oraz ile odpowiedzi spoza skali i braków wyłączono. Osób, które ominął filtr, nie zaliczaj do tych, które nie odpowiedziały na pokazane pytanie.
Co może się różnić, gdy dwie grupy mają taki sam top-two-box?
Równy top-two-box oznacza taki sam łączny udział dwóch wskazanych kategorii. W jednej grupie może być więcej odpowiedzi zdecydowanych, w drugiej więcej umiarkowanych. Mogą się też różnić udziały środka i niezgody. Pokaż osobne kategorie, jeśli pytanie dotyczy siły opinii.
Czy można porównać top-two-box ze skali pięcio- i siedmiostopniowej?
Najpierw ustal, co w każdej skali obejmują dwie najwyższe kategorie. Sprawdź etykiety, warunki pomiaru i to, czy masz podstawę do uznania progów za porównywalne. Jeśli jej brakuje, podaj wyniki dla każdej skali oddzielnie.
Mam już obliczenia. Czy przygotujecie do nich opis?
Możemy pracować na gotowej analizie, jeżeli raport ma objaśnienia metod, zmiennych i oznaczeń. Dołącz pytania badawcze oraz wytyczne. Jeżeli brakuje informacji potrzebnych do interpretacji lub analiza wymaga ponownego sprawdzenia, wskażemy potrzebę odrębnego etapu.
Co przesłać do wyceny opracowania wyników?
Przygotuj aktualny materiał, narzędzie badawcze, cel i pytania, wytyczne oraz termin. Przy ankiecie potrzebny jest plik odpowiedzi i kwestionariusz; przy wywiadach liczba rozmów, transkrypcje lub opis ich stanu; przy dokumentach zbiór albo spis materiału oraz kryteria analizy. Dodaj istniejący tekst i uwagi promotora, jeśli są.



