Przed warsztatami kryterium spełniło 18 z 40 osób (45%), po warsztatach 26 z tych samych 40 (65%). Za tymi odsetkami może się kryć 16 zmian w dwie strony: 12 osób przeszło z „nie” na „tak”, a cztery z „tak” na „nie”. Może też być tak, że zmieniło się tylko osiem osób i wszystkie przeszły na „tak”. W obu przypadkach udział „tak” wzrósł o 20 punktów procentowych. Dopiero powiązanie wyników konkretnych osób pozwala stwierdzić, który przebieg rzeczywiście zaobserwowano.
Żeby opisać zmianę, zbierz cztery liczebności: „tak” w obu pomiarach, „nie” w obu oraz po jednej liczbie dla każdego kierunku przejścia. Oba odsetki policz na podstawie tych samych osób, od których masz po dwa ważne wyniki. Rozlicz też tych, którym brakuje jednego lub obu pomiarów. W naszym przykładzie ważnych wyników było 50 przed warsztatami i 46 po, ale tylko 40 osób znalazło się w obu zbiorach. Gdy wiadomo, kogo objęło porównanie, można odpowiedzieć na dwa osobne pytania: jak często zmiana wystąpiła w pełnych parach i do jakiej części planowanej grupy ten wynik się odnosi.
Co wiadomo z odsetków, a co dopiero z par?
Gdy oba odsetki dotyczą tych samych osób i tej samej zmiennej, różnica pokazuje zmianę netto. Wzrost z 45% do 65% to 20 punktów procentowych. Co dzieje się pod spodem? Każde przejście z „nie” na „tak” powiększa późniejszy licznik „tak” o jeden, a każde przejście z „tak” na „nie” go o jeden zmniejsza. To, ile osób dwukrotnie dostało ten sam wynik, nie wpływa na saldo. Tym samym oba odsetki mogą pochodzić z grupy, w której nastąpiło sporo zmian w obu kierunkach, albo z grupy, w której kilka osób zmieniło wynik w jedną stronę.
Z końcowych 26 wyników „tak” część może należeć do osób, które już wcześniej spełniły kryterium. Sam licznik nie zdradza, ile to osób. Nie mówi też, u ilu uczestników wynik poszedł w drugą stronę. To ważna różnica w praktyce. Jeżeli opisujesz, gdzie w kolejnym cyklu potrzebne będzie dodatkowe wsparcie, warto zauważyć także osoby, które wcześniej radziły sobie z zadaniem, a za drugim razem go nie wykonały. Wzrost odsetka daje ogólny obraz grupy, a zestawienie przejść pokazuje także ten przypadek.
„O ile punktów wzrósł odsetek «tak»?”, „Ile osób miało za drugim razem inny wynik?” i „Ilu z tych, którzy zaczęli od «nie», skończyło z «tak»?” to trzy pytania. Pierwsze prowadzi do salda, drugie do sumy zmian, trzecie do odsetka wśród osób z określonym wynikiem początkowym. W jednym akapicie mogą się pojawić wszystkie trzy liczby. Każda powinna jednak stać obok krótkiej odpowiedzi na pytanie, co dokładnie policzono i kogo objął rachunek. Same liczby 20, 40 i 54,5 wiele tu nie powiedzą.
Czy „tak” oznacza to samo przed warsztatami i po nich?
Wymyślmy warsztaty z organizacji plików. Przed spotkaniem i po nim każdy uczestnik dostaje krótkie zadanie. Ma znaleźć wskazany dokument i wykonać samodzielnie wszystkie wymagane kroki. Wynik „tak” oznacza, że zrobił to bez podpowiedzi. Kod „nie” dostaje osoba, która rozpoczęła zadanie obowiązujące w danym pomiarze, ale nie spełniła kryterium. Za drugim razem trzeba znaleźć inny dokument. Instrukcja i próg zaliczenia pozostają takie same, lecz warto osobno ustalić, czy oba zadania są porównywalne pod względem trudności. Sam arkusz wyników tego nie pokaże. Uczestnicy mogli też lepiej znać interfejs za drugim razem.
Identyczne etykiety potrafią maskować zmianę pytania. „Czy znasz funkcję?” dotyczy czegoś innego niż „Czy potrafisz z niej skorzystać?”. Odpowiedzi można połączyć po identyfikatorze, a w raporcie nazwać osobno, czego dotyczył każdy pomiar. Trudno jednak opisać różnicę jako zmianę tej samej cechy. Podobnie działa przesunięcie progu zaliczenia. Jeżeli pierwszego dnia wystarczył jeden krok, a drugiego wymagano trzech, wynik zależy również od przyjętej reguły. Warto z góry określić, jaki status dostaną osoby nieobecne, z przerwanym zadaniem, bez ustalonej oceny albo bez prawa do podejścia. Do opisu przejścia „tak” lub „nie” potrzebne są dwa ważne wyniki.
Jak złożyć wyniki z dwóch pomiarów w jeden plik?
W arkuszu roboczym przydaje się jeden wiersz na osobę, z identyfikatorem i osobną kolumną na wynik przed i po. Obok warto zachować datę lub etykietę fali, oryginalny zapis i ujednolicony kod. Ten układ pozwala wrócić do eksportu, gdy wynik wygląda podejrzanie. „Zaliczone” w pierwszym pliku i „1” w drugim można sprowadzić do „tak”, jeśli słowniki obu plików podają to samo znaczenie. Zero wymaga takiej samej kontroli. W jednym eksporcie może oznaczać prawidłowe „nie”, w drugim być technicznym zapisem pominiętej ścieżki. Same nagłówki kolumn tego nie rozstrzygną.
Jeżeli dostajesz po jednym wierszu na podejście, sprawdzenie liczby zapisów na osobę i falę pozwoli wykryć powtórzenia. Dwa wiersze z tego samego dnia mogą być powtórką zadania, treningiem albo drugim zapisem tego samego eksportu. W protokole mogło być przewidziane pierwsze ważne podejście albo ostatnie ważne podejście w wyznaczonym oknie. Jeżeli wiadomo, która reguła obowiązuje, zastosuj ją i zachowaj ślad odrzuconego wiersza. Kolejność wyświetlania arkusza to słaba podstawa do rozstrzygnięcia. Zwykłe sortowanie po nazwisku może ją przecież zmienić. Gdy protokół nie daje odpowiedzi, przypadek warto oznaczyć jako nierozstrzygnięty.
Najgroźniejszy błąd zdarza się wtedy, gdy arkusz wygląda porządnie, ale sparowano dwie różne osoby. Przy dopasowaniu według kolejności wierszy wystarczy jedno przesunięcie, żeby powstały dwa przejścia w przeciwnych kierunkach. Nazwisko również bywa wspólne dla kilku uczestników. Pewniejsze jest powiązanie po identyfikatorze o ustalonym formacie i zakresie. Kod „0041” może po konwersji zostać liczbą 41. Zdarzają się też zbędne spacje i te same kody w dwóch rocznikach. Gdy klucz jest niejednoznaczny, wróć do reguł projektu. Brak rozstrzygnięcia może zostać opisany jako ograniczenie. Dopisywanie pary na podstawie podobnych cech uczestników wprowadziłoby zmianę, której źródło nie potwierdza.
Ilu osobom zabrakło jednego albo obu pomiarów?
Arkusz zawierający tylko dopasowane wiersze wystarczy do liczenia przejść. Przestaje być jednak pomocny, gdy ktoś zapyta o przyczynę różnicy między liczbą zaproszonych a liczbą w analizie. W pełnym spisie warto zachować cztery statusy: dwa ważne wyniki, wynik tylko przed, wynik tylko po i brak ważnego wyniku w obu falach. Jest jeszcze kwestia kwalifikacji. Jeżeli pytanie z założenia nie dotyczyło danej osoby, jej status powinien być widoczny obok zwykłych braków. Ułatwi to sprawdzenie, czy wykluczenie dotyczy porównania w parach, czy także opisu wyniku z pojedynczej fali.
W naszym spisie jest 58 osób, które miały przystąpić do obu pomiarów. Ważny wynik przed i po uzyskano od 40. Wynik tylko przed ma 10 osób, tylko po sześć, a dwie osoby nie mają żadnego. Suma 40 + 10 + 6 + 2 daje 58. Do opisu pierwszego pomiaru można więc wykorzystać 50 ważnych wyników, do opisu drugiego 46, a do liczenia zaobserwowanych przejść 40 par. Jeśli suma statusów w Twoim pliku nie pokrywa się z listą, pomocne będzie zestawienie po identyfikatorze. Widać wtedy na przykład, czy plik zawiera rekord spoza listy lub czy powtórna próba raz jeszcze trafiła do licznika.
Formularz oznaczony jako ukończony może zawierać pustą odpowiedź w jednym pytaniu. Dlatego w opisie wyników przydaje się sformułowanie „kompletna para dla tego wyniku”. Jeśli w osobnych wykresach pokazujesz kilka pytań z tej samej ankiety, do każdego może wejść trochę inny zbiór osób. Wspólny napis „n = 40” nad czterema wykresami jest zasadny, gdy przy każdym rzeczywiście jest 40 pełnych par. Jeśli wartości mają podsumowywać tę samą grupę, sprawdź też, czy w pliku występują te same identyfikatory, a nie tylko identyczna liczebność.
Cztery układy odpowiedzi w pliku i ich liczebności
Najłatwiej pomylić przejście z „nie” na „tak” z przejściem odwrotnym, gdy w eksporcie obie fale mają te same nazwy. Ustal jeden porządek odczytu, na przykład „najpierw przed, następnie po”. W arkuszu wystarczą cztery opisowe etykiety i zliczenie ich wystąpień. Jeżeli korzystasz z widoku 2 × 2 albo tabeli przestawnej, możesz w wierszach umieścić pomiar przed, w kolumnach po. W opisie wystarczy rozwinąć nazwę kierunku słowami. Współrzędna z raportu może stracić znaczenie po odwróceniu osi.
Wśród 40 osób z kompletem ważnych pomiarów wyniki ułożyły się tak.
- 14 osób spełniło kryterium dwukrotnie, czyli miało „tak” przed i po.
- 12 osób przeszło z „nie” przed warsztatami na „tak” po warsztatach.
- 4 osoby przeszły w odwrotnym kierunku, z „tak” na „nie”.
- 10 osób miało „nie” w obu pomiarach.
Razem daje to 40 osób. Początkowe „tak” obejmuje 14 osób, które utrzymały wynik, i cztery, które później uzyskały „nie”. To 18 osób. Początkowe „nie” ma 22. W drugiej fali „tak” obejmuje wspomniane 14 osób z wynikiem utrzymanym i 12 osób, które przeszły na „tak”. Razem 26, a pozostałych 14 ma „nie”. Przed warsztatami rozkład wynosi zatem 45% „tak” i 55% „nie”, po 65% „tak” i 35% „nie”. Jeżeli program podaje znak przeciwny do oczekiwanego, najpierw sprawdź kolejność odejmowania. Ujemny wynik może po prostu oznaczać, że policzono „przed minus po”.
Saldo i liczba osób ze zmianą
Różnica netto to 65% minus 45%, czyli 20 punktów procentowych. Można ją policzyć również od strony przejść. Przybyło 12 wyników „tak”, ubyły cztery, więc saldo wyniosło osiem. W grupie 40 osób 8/40 daje 0,20, co na skali odsetków oznacza 20 punktów procentowych. Liczba osiem i różnica odsetków opisują ten sam przyrost netto w dwóch jednostkach. Ten rachunek opiera się na wspólnych 40 parach.
Żeby ustalić, ilu uczestników miało inny wynik, oba kierunki trzeba dodać. Zmiana wystąpiła u 12 + 4 = 16 osób, czyli 40% z 40. Dwukrotnie ten sam stan miały 24 osoby (60%). W opisie można dodatkowo rozłożyć zmianę na 12/40 (30%) przejść na „tak” i 4/40 (10%) przejść na „nie”. Suma obu udziałów daje 40% osób z jakąkolwiek zmianą. Ich różnica daje 20 punktów procentowych wzrostu netto. To dobra kontrola, gdy w tekście kilka zdań obok siebie mówi o „wzroście” i „zmianie”.
Kiedy podstawa jest mniejsza niż 40?
Jeżeli pytanie dotyczy osób z początkowym „nie”, w mianowniku znajdą się 22 kompletne pary z tym wynikiem na początku. Znalazło się wśród nich 12 osób, które później uzyskały „tak”, czyli około 54,5%. Wśród osób z początkowym „tak” odsetek przejść w drugą stronę wynosi 4/18, czyli około 22,2%. Opis dotyczy dwóch różnych grup początkowych. Odejmowanie tych procentów nie odtworzy przyrostu netto. Gdy zestawiasz obie wartości w jednym zdaniu lub na jednym wykresie, wpisz przy każdej jej pełną podstawę. Samo „w grupie badanej” nie rozstrzyga, których osób dotyczy udział.
Można też zapytać, co stało się wśród 16 osób, u których w ogóle wystąpiła zmiana. Dwanaście z nich przeszło z „nie” na „tak”, więc wśród zmieniających ten kierunek stanowił 75%. Jeśli czytelnik ma zrozumieć skalę zjawiska w całej grupie, potrzebuje też zdania o 16 osobach z 40. Inaczej łatwo odczytać 75% tak, jakby chodziło o 30 spośród 40 osób. W sekcji z trzema podstawami wygodnie używać pełnych określeń „wśród wszystkich par”, „wśród osób z początkowym «nie»” oraz „wśród osób ze zmianą”. Krótkie „zmiana na tak” przy nagłówku może odnosić się do każdej z tych wartości.
Jak dwa różne przebiegi dają te same odsetki?
W drugim fikcyjnym zestawie również jest 40 kompletnych par. Osiemnaście osób dwukrotnie ma „tak”, osiem przechodzi z „nie” na „tak”, zero zmienia „tak” na „nie”, a 14 dwukrotnie ma „nie”. Znowu przed warsztatami otrzymujemy 18 wyników „tak”, po warsztatach 26 i wzrost o 20 punktów procentowych. Tym razem zmiana dotyczy ośmiu osób, czyli 20% grupy. W pierwszym zestawie było ich 16 (40%), w tym cztery z przejściem w przeciwnym kierunku. Przy tych samych dwóch odsetkach można więc dojść do dwóch różnych odpowiedzi na pytanie o liczbę osób, które za drugim razem uzyskały inny wynik.
Wyobraź sobie jeszcze przypadek, w którym po siedem osób przechodzi w każdą stronę. Początkowy i końcowy licznik „tak” są takie same, bo każde dodatkowe „tak” równoważy jedno przejście na „nie”. Mimo to wynik zmienia się u 14 osób z 40, czyli u 35%. Saldo będzie takie samo w grupie, w której żadna osoba nie zmieniła wyniku. Jeśli w materiale źródłowym widzisz poziomą linię albo dwa słupki tej samej wysokości, sięgnij po liczebności przejść, zanim opiszesz zachowanie uczestników. Na narysowanym w ten sposób podsumowaniu obie sytuacje wyglądałyby tak samo.
Skąd w pojedynczych pomiarach biorą się 50% i 60,9%?
Do 18 wyników „tak” z kompletnych par przed warsztatami dochodzi siedem od osób, które mają tylko ten pomiar. Pozostałe trzy osoby z wynikiem wyłącznie przed warsztatami miały „nie”. W spisie pierwszej fali otrzymujemy więc 25 na 50, czyli 50%. Po warsztatach do 26 wyników „tak” z par dochodzą dwa takie wyniki od osób, które mają tylko późniejszy pomiar. Cztery pozostałe osoby w tej kategorii mają „nie”. W sumie daje to 28 na 46, czyli około 60,9%. Dwie osoby nie mają ważnego wyniku w żadnej fali. Można pokazać oba odsetki dostępnych wyników. Dają obraz tego, co zaobserwowano w każdym z terminów.
Te dwie grupy tylko częściowo się pokrywają. Różnica 10,9 punktu procentowego dotyczy wszystkich dostępnych wyników przed i po. Słupek „50%” zawiera osoby bez pomiaru końcowego, a „60,9%” osoby bez pomiaru początkowego. Bez drugiej obserwacji nie wiadomo, w którą stronę zmienił się wynik danej osoby ani czy w ogóle doszło do zmiany. W osobnej analizie 40 par obliczyliśmy 20 punktów procentowych. Jeżeli obie wartości trafią do tej samej pracy, krótkie objaśnienie obok wykresu może wskazywać „odsetek wśród dostępnych wyników danej fali” albo „odsetek w grupie z pełną parą”. Podanie ułamków, choćby w podpisie, pozwoli dodatkowo sprawdzić te liczby.
W planie badania obie próby miało przejść 58 osób. Wynik sparowany dotyczy 40 z nich. Warto dowiedzieć się, co stało się z pomiarem u reszty, jeśli procedura przewiduje zapis okoliczności. Nieobecność, kłopot z identyfikatorem i przerwane zadanie to różne sytuacje. Da się także opisać to, co pozostało w danych. W ćwiczeniu 7 z 10 osób z wynikiem tylko przed zaliczyło pierwsze zadanie. Wśród osób z kompletnymi parami tę samą próbę zaliczyło 18 z 40. To porównanie pokazuje różnicę w dostępnych wynikach. Nie mówi, dlaczego zabrakło drugiego zapisu, ale zwraca uwagę, że obserwowane 40 osób może nie opisywać całej zaplanowanej grupy.
Brak zapisu a wynik, którego nie przewidziano
Zdarza się, że druga próba od początku miała nie obejmować części uczestników. W takim przypadku warto wrócić do zasad projektu i sprawdzić, czy dla każdej osoby przewidziano wynik w obu terminach. Jeżeli uczestnik przeszedł na wariant zadania, który nie należy do porównania, lub po udokumentowanym kryterium znalazł się poza zakresem drugiego pomiaru, wpis powinien to pokazywać. Osobno zostają osoby, od których oczekiwano wyniku, ale go nie uzyskano. Bywa, że pierwszą próbę w obu kategoriach nadal można opisać. To zależy od tego, kogo miała obejmować pierwsza fala.
Jeśli celem badania jest opis całego kursu, może się pojawić inne pytanie. Czy osoba ukończyła kurs wraz z podejściem do wymaganej próby i spełniła kryterium? W tak zdefiniowanym wyniku organizacyjnym brak podejścia może mieć znaczenie już w regule z góry ustalonej dla wszystkich. W naszym przykładzie badamy wykonanie zadania tam, gdzie ustalono ważny wynik. Kod „nie” oznacza tutaj niespełnienie kryterium po rozpoczęciu zadania. Sama pusta komórka nie wystarcza, by go nadać. Spis z rozróżnieniem statusów pozwala jasno opisać zarówno wynik zadania, jak i zasięg badania.
Jak skrajne założenia o brakach mogą wpłynąć na saldo?
Załóżmy na chwilę, że dla wszystkich 58 osób oba wyniki były zdefiniowane. Niektórych po prostu nie zaobserwowano. Każda brakująca wartość mogła przyjąć „tak” albo „nie”. W takiej sytuacji można sprawdzić, jak niski albo jak wysoki byłby końcowy przyrost „tak”, gdyby wszystkie nieznane wyniki ułożyły się kolejno w skrajnie niekorzystny i skrajnie korzystny sposób. Rachunek przedstawia dwa krańcowe scenariusze. Nie trzeba przyznawać żadnemu z nich prawdopodobieństwa ani uzupełniać pliku o domyślne wyniki osób.
Najpierw osoby z wynikiem tylko przed. Siedem miało wówczas „tak”. Jeśli za drugim razem mają „nie”, każda obniża saldo o jeden. Jeśli utrzymują „tak”, ich wkład wynosi zero. Trzy osoby z początkowym „nie” mogą dać po zerze lub po jednym dodatkowym „tak”. Cała dziesiątka może więc wnieść od minus siedmiu do plus trzech. Wśród sześciu osób z wynikiem tylko po dwie mają „tak”. Każda może podnieść saldo o jeden albo zostawić je bez zmian. Cztery osoby z późniejszym „nie” mogą obniżyć saldo o jeden albo zostawić je bez zmian. Dla całej szóstki zakres wynosi od minus czterech do plus dwóch.
Każda z dwóch osób bez wyniku w obu terminach może wnieść minus jeden, zero lub plus jeden, więc razem dają zakres od minus dwóch do plus dwóch. W kompletnych parach saldo jest znane i wynosi plus osiem. Suma najniższych możliwych wkładów daje 8 − 7 − 4 − 2 = −5. Suma najwyższych daje 8 + 3 + 2 + 2 = 15. Gdy podzielimy oba krańce przez 58, teoretyczna różnica netto dla całej grupy mieści się od około minus 8,6 do plus 25,9 punktu procentowego. O tym przedziale można napisać „zakres ze skrajnych przypisań brakujących wyników”. Obowiązuje pod warunkiem, że obie wartości można sensownie zdefiniować dla każdej z 58 osób. Rachunek nie wyznacza poziomu ufności.
W obserwowanych parach wynik wynosi +20 punktów procentowych. Zakres dla wszystkich planowanych osób obejmuje zero. Oba ustalenia można przedstawić obok siebie. Pierwsze wynika bezpośrednio z pełnych par, a drugie pokazuje, jak bardzo opis całej grupy może zależeć od nieznanych wartości przy przyjętych założeniach. W tym ćwiczeniu samo saldo w pełnych parach nie pozwala nawet ustalić kierunku wyniku dla całych 58 osób. Jeśli plan badania wymaga oszacowania z użyciem innej metody, podaj jej założenia osobno. Skrajne przypisania, wnioskowanie modelowe i imputacja mają tu różne cele.
Wykres i opis, z których da się odczytać liczby
Krótki opis wyniku może zacząć się od dwóch odsetków i wspólnego mianownika. Następne zdanie zmieści obie liczebności przejść. Informacja o brakach pomaga ocenić, jakiej części zaplanowanej grupy dotyczy to porównanie. Zwrot „odpowiedzi respondentów uległy istotnym zmianom” pomija te dane. Jeśli żaden test nie był przewidziany, słowo „istotnie” może też zasugerować obliczenie, którego w pracy nie ma. Zdanie z konkretnym wynikiem niesie więcej informacji i łatwiej je uzgodnić z wykresem.
Na wykresie przejść można pokazać cztery słupki i liczebność każdej kategorii. Podpis „nie przed / tak po” objaśnia kierunek samodzielnie. Przy krótkim „nie / tak” potrzebna jest informacja, w jakiej kolejności czytać etykietę. Kolor może pomóc zauważyć kierunek zmiany, ale warto zachować nazwy i liczby również w wydruku czarno-białym. Jeśli obok narysujesz dwa słupki z odsetkami 45% i 65%, dopisz, że w obu podstawą jest 40 kompletnych par. Czytelnik odróżni wtedy rysunek z marginesami od rysunku z liczebnościami czterech kategorii par.
Można użyć strumieni łączących stany początkowe i końcowe. Szerokość każdej ścieżki powinna oddawać jej liczebność, a przebieg czasu wynikać z nagłówków obu stron. Przy małej liczbie przypadków warto ocenić, czy wąskie połączenie będzie widoczne i czy wystarczy miejsca na jego etykietę. Na wykresie dla drugiego przykładu przejście „tak przed / nie po” ma wartość zero. Jego brak na rysunku może być wzięty za pominięcie kategorii. Jawny zapis „0 osób” w etykiecie albo podpisie usuwa tę wątpliwość.
Co może wnieść przedział ufności lub test?
Czasem cel pracy uzasadnia krótki opis tego, co zaobserwowano w badanej grupie. Wtedy wystarczą liczebności przejść, wspólny mianownik i wskazanie ograniczeń danych. Jeżeli plan przewiduje przedział ufności dla zmiany netto, dobierz metodę do danych od tych samych osób. Robert G. Newcombe porównał metody wyznaczania przedziału dla różnicy dwóch proporcji w parach. Dla oceny precyzji mają znaczenie między innymi przejścia w obie strony i ich liczba. Użycie metody dla dwóch niezależnych grup albo odejmowanie końców dwóch osobno obliczonych przedziałów pomija strukturę sparowanego porównania.
Test McNemara dotyczy równowagi dwóch kierunków przejść przy sparowanych wynikach binarnych. Jeżeli go stosujesz, w opisie przydadzą się liczebności obu kierunków, wybrany wariant testu i wynik. Sama wartość p nie mówi, ile osób doświadczyło zmiany ani czy różnica jest duża w kontekście badania. W tym ćwiczeniu nie wyznaczamy przedziału ani nie liczymy testu. Pozostajemy przy liczbach z zaobserwowanych par. Gdy wszystkie wyniki są stabilne, udział któregokolwiek kierunku wśród zmieniających jest niezdefiniowany. W takim przypadku podaj obie zerowe liczebności. Podstawy do przeliczenia ich na odsetek wśród zmieniających osób tu nie ma.
Wynik po warsztatach wskazuje, kiedy zaobserwowano więcej „tak”. Żeby ustalić, jaką część różnicy można przypisać warsztatom, potrzebne jest odpowiednie porównanie. W naszym ćwiczeniu uczestnicy mogli oswoić się z zadaniem, a wersje mogły się różnić trudnością. Te możliwości warto wymienić w dyskusji, jeśli pozwala na nie schemat badania. Jeżeli w rzeczywistym projekcie była grupa porównawcza, pokaż również jej wyniki i zastosuj sposób porównania przewidziany w projekcie. Dwa osobno opisane wzrosty nie rozstrzygną same, jak bardzo różniły się grupy.
Akapit do rozdziału wyników
„Spośród 58 osób przewidzianych do obu pomiarów ważne wyniki przed i po warsztatach uzyskano od 40. W tej grupie kryterium wykonania zadania spełniło 18 z 40 osób (45,0%) przed warsztatami oraz 26 z 40 (65,0%) po warsztatach. Odsetek wzrósł w pełnych parach o 20 punktów procentowych. Wynik zmienił się z «nie» na «tak» u 12 osób, a z «tak» na «nie» u czterech. Kryterium w obu pomiarach spełniło 14 osób. Dziesięć osób dwukrotnie go nie spełniło. Łącznie zmianę odnotowano u 16 z 40 osób (40,0%). Dziesięć osób miało ważny wynik tylko przed warsztatami, sześć tylko po, a dwie nie miały ważnego wyniku w żadnym pomiarze”.
Gdy liczebności wszystkich czterech kategorii są już na wykresie, w akapicie można podać tylko te najważniejsze dla pytania badawczego. Jeśli pytanie dotyczy poziomu osiągnięć, przyda się rozróżnienie między osobami z podwójnym zaliczeniem a osobami, które go nie uzyskały w żadnej fali. Zwrot „bez zmiany” trafnie obejmuje jedną i drugą sytuację, ale ukrywa punkt wyjścia. W pracy, w której ważny jest głównie przyrost netto, można przedstawić go w pierwszym zdaniu, a przejścia i braki opisać osobno. Najprostszy sprawdzian polega na ustaleniu, czy z samego tekstu da się odtworzyć wniosek bez domyślania się, jaki był mianownik.
Podpis do wykresu
„Przejścia między wynikiem przed warsztatami a wynikiem po warsztatach w grupie 40 osób z ważnymi wynikami w obu pomiarach. Pierwszy człon etykiety odnosi się do pomiaru przed warsztatami. Słupki pokazują liczbę osób”. Jeżeli na słupkach widać również procenty, podpis powinien wskazywać, czy do każdego obliczenia wzięto 40 osób. Można też umieścić w słupkach liczebności, a w tekście wskazać najważniejsze udziały. Wzmianka o pojedynczych pomiarach może znaleźć się w krótkiej nocie pod wykresem albo w akapicie o brakach.
Gdy wykres ma pokazywać odsetki warunkowe, tytuł „Wynik końcowy według wyniku początkowego” pozwala od razu rozpoznać układ. Pierwszy słupek odnosi się do 22 osób z początkowym „nie”, drugi do 18 osób z początkowym „tak”. W pierwszym słupku 54,5% przeszło na „tak”. W drugim 77,8% (14 z 18) utrzymało „tak”. Wyższy odsetek w drugim słupku pokazuje, że większa część tej grupy kończyła z zaliczeniem. Z podpisu powinno wynikać, które segmenty pokazują przejście, a które utrzymanie stanu. Zdania „12 z 22 przeszło na «tak»” i „14 z 18 utrzymało «tak»” jasno oddają tę różnicę.
Cztery zdania, które warto wyłapać przed oddaniem pracy
„Po warsztatach 65% z 46 osób zaliczyło zadanie”. W ćwiczeniu 65% odpowiada 26 z 40 osób z pełną parą. Wśród 46 wszystkich osób z ważnym wynikiem po warsztatach kryterium spełniło 28, czyli około 60,9%. Taka pomyłka może powstać, gdy ktoś aktualizuje podpis wykresu po wstawieniu nowej wersji pliku. Sprawdzenie ułamka przed poprawieniem samego procentu pozwala ustalić, czy wykres oraz zdanie w ogóle dotyczą tej samej grupy.
„Odsetek wzrósł o 20%”. Między 45% a 65% jest 20 punktów procentowych. Względem odsetka początkowego różnica wyniosłaby około 44,4%, bo 20 podzielone przez 45 daje około 0,444. Jeśli w raporcie chodzi o zmianę odsetka w punktach procentowych, warto podać obie wartości i nazwać jednostkę. Przy początkowym 0% względna zmiana liczona przez podzielenie różnicy przez wynik początkowy jest niezdefiniowana. Różnica w punktach procentowych nadal może być policzona dla właściwych danych o porównywalnym wyniku.
„40% poprawiło wynik”. W naszym ćwiczeniu inny wynik miało 16 z 40 osób (40%), lecz cztery spośród nich przeszły z „tak” na „nie”. Jeżeli poprawę zdefiniowano jako przejście do zaliczenia, dotyczy ona 12 z 40 osób, czyli 30%. W innym badaniu dodatni kierunek kodu może mieć niejednoznaczną interpretację. Na przykład przy pomiarze korzystania z funkcji częstsze użycie samo w sobie niewiele mówi o jakości pracy. Prosty zapis „z «nie» na «tak»” zostawia miejsce na uzasadnienie, co takie przejście oznacza merytorycznie.
„W obu falach wzięły udział te same osoby”. W przykładzie obie próby przewidziano dla tej samej grupy 58 osób, co najmniej jeden ważny wynik ma 56, a dwa ważne wyniki ma 40. Każda z tych liczb może znaleźć się w raporcie, jeśli zdanie mówi, do czego się odnosi. Przydatna jest też kontrola identyfikatorów. Nawet dwie fale o liczebności 40 mogą zawierać różne osoby, jeśli część uczestników dołączyła tylko do jednego z pomiarów.
Jak sprawdzić rachunek bez programu statystycznego?
Cztery liczebności wystarczą do podstawowej kontroli. Ich suma powinna zgadzać się z liczbą pełnych par. Dwie komórki tworzą początkowe „tak”. Końcowe „tak” też składa się z dwóch komórek. Dla naszego przykładu jedna z nich, „tak” w obu falach, trafia do obydwu liczników. Różnica późniejszej i wcześniejszej sumy powinna wyjść taka sama jak liczba przejść na „tak” pomniejszona o liczbę przejść na „nie”. Z kolei po dodaniu obu kierunków otrzymasz liczbę wszystkich osób ze zmianą. Może być równa liczbie kompletnych par, jeżeli każda osoba zmieniła wynik.
Warto jeszcze porównać rozmiar salda z liczbą zmian. Jeśli raport podaje saldo osiem osób, a zaobserwowanych przejść ogółem sześć, te wartości nie mogą dotyczyć tego samego zbioru i definicji. Bezwzględna wartość salda nie przekroczy liczby wszystkich zmian. Suma i saldo muszą też dać się rozłożyć na dwie całkowite liczebności. U nas (16 + 8)/2 = 12 i (16 − 8)/2 = 4. To szybki sprawdzian zgodności liczb z akapitu. Przy porównywaniu wersji arkusza nadal warto mieć pod ręką cztery liczebności z właściwymi etykietami.
Co zrobić, gdy masz dostęp tylko do PDF?
W wydruku wyników sprawdź, czy wartości są liczebnościami, procentami wiersza, procentami kolumny czy odsetkami dla całej grupy. Jeśli znasz podstawę i masz procent zaokrąglony do całkowitej wartości, da się szukać pasujących liczebności. Czasem kilka z nich prowadzi do tego samego zaokrąglenia. W takim przypadku poproś o liczby z programu lub zagregowany eksport. Przy ograniczonym dostępie do danych wystarczą cztery liczebności z opisem kierunków i regułą włączenia par. Krótka nota o brakach pozwoli też zrozumieć, kogo obejmuje zestawienie. Dane jednostkowe nie są do tego potrzebne.
Jeśli PDF podaje tylko dwa odsetki i jasno wskazuje, że chodzi o te same 40 osób, można na jego podstawie opisać saldo. Liczba zmieniających pozostanie nieustalona, choćby udało się ułożyć cztery pasujące liczby. Na początku artykułu pokazaliśmy dwa takie układy. Gdy dokument nie potwierdza, że w obu pomiarach ujęto te same osoby, opis powinien ograniczyć się do różnicy między dwoma dostępnymi zestawieniami. W tej sytuacji warto wskazać, że na podstawie pliku nie da się zweryfikować sparowania.
Co powinno się zgadzać przed oddaniem rozdziału?
- Znaczenie badanej zmiennej, momenty obu pomiarów oraz kierunek odczytu są podane wprost. Jeżeli zmieniła się definicja lub próg, opis porównania to uwzględnia.
- Każdą osobę ujęto najwyżej raz w danym pomiarze. Para łączy właściwe identyfikatory.
- Spis wyjaśnia liczbę zaplanowanych osób, ważne wyniki pojedynczych fal, pary oraz brak pomiaru w obu falach. Statusy poza zakresem mają odrębne uzasadnienie.
- Widać cztery liczebności przejść i ich sumę. Każdy odsetek ma nazwaną podstawę: wszystkie pary, określony wynik początkowy albo osoby ze zmianą.
- Saldo sprawdzono przez dwa odsetki i przez różnicę liczebności przejść. Udział osób ze zmianą ma osobny rachunek.
- Podpis odpowiada rysunkowi, w tym zerowym i małym kategoriom. Kierunek czasu można rozpoznać z nazw nawet bez kolorów.
- Jeżeli projekt wymaga oceny niepewności, rachunek uwzględnia sparowanie. Zakres ze skrajnych założeń o brakach ma podaną definicję.
- Z samego wniosku można odczytać, której grupy dotyczy i co pokazują dane. Po korekcie liczby nadal zgadzają się z wersją pliku używaną w pracy.
Bibliografia
- Newcombe, R. G. (1998). Improved confidence intervals for the difference between binomial proportions based on paired data. Statistics in Medicine, 17(22), 2635-2650. PMID 9839354.
- McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12, 153-157. DOI 10.1007/BF02295996.
Najczęstsze pytania
Czy dwa odsetki „tak” wystarczą, by ustalić, ile osób zmieniło odpowiedź?
Gdy odsetki dotyczą tych samych osób, można z nich odczytać różnicę netto. Wzrost z 45% do 65% może jednak powstać po ośmiu zmianach w jedną stronę albo po 12 przejściach na „tak” i czterech na „nie”. Liczbę zmian ustalisz z wyników połączonych w pary albo z gotowych liczebności przejść.
Przez ile osób podzielić liczbę przejść z „nie” na „tak”?
To zależy od pytania. Jeśli chodzi o całą grupę z pełnymi parami, w przykładzie podziel 12 przez 40. Jeśli chodzi o osoby, które zaczęły od „nie”, podziel 12 przez 22. W opisie podaj, kogo obejmuje mianownik.
Czy zerowa różnica netto oznacza, że nikt nie zmienił odpowiedzi?
Wśród tych samych kompletnych par zero oznacza, że tyle samo osób przeszło na „tak”, ile na „nie”. Mogło dojść na przykład do siedmiu przejść w każdą stronę. Żeby ustalić, czy ktokolwiek odpowiedział inaczej niż poprzednio, sprawdź obie liczebności.
Co zrobić z osobą, od której mam wynik tylko po pomiarze?
Jej ważny wynik może wejść do opisu późniejszej fali. Żeby ustalić przejście, potrzebujesz także wyniku początkowego tej samej osoby. W zestawieniu braków wykaż ją w grupie z ważnym wynikiem tylko po.
Mam już obliczenia. Czy przygotujecie do nich opis?
Możemy pracować na gotowej analizie, jeżeli raport ma objaśnienia metod, zmiennych i oznaczeń. Dołącz pytania badawcze oraz wytyczne. Jeżeli brakuje informacji potrzebnych do interpretacji lub analiza wymaga ponownego sprawdzenia, wskażemy potrzebę odrębnego etapu.
Co przesłać do wyceny opracowania wyników?
Przygotuj aktualny materiał, narzędzie badawcze, cel i pytania, wytyczne oraz termin. Przy ankiecie potrzebny jest plik odpowiedzi i kwestionariusz; przy wywiadach liczba rozmów, transkrypcje lub opis ich stanu; przy dokumentach zbiór albo spis materiału oraz kryteria analizy. Dodaj istniejący tekst i uwagi promotora, jeśli są.



