Przejdź do treści

Sprawdzenie tekstu

Ograniczenia interpretacji wyników: dopasuj twierdzenie do materiału

Około 6 min czytania

Ograniczenia interpretacji wyników: przykłady

Opis ograniczeń jest użyteczny wtedy, gdy pokazuje, które twierdzenie trzeba zawęzić i dlaczego. Sama lista „mała próba, mało czasu, brak danych” nie mówi czytelnikowi, co nadal można stwierdzić. Zbuduj mapę: cecha materiału, konsekwencja dla interpretacji i poprawiona wersja zdania.

Wychodź od rzeczywistego materiału

Najpierw wypisz sprawdzone fakty o danych, które masz. Może to być liczba ankiet, liczba ważnych odpowiedzi, sposób dotarcia do uczestników opisany w dokumentacji badania, termin zbierania lub brak konkretnej części korpusu. Oddziel je od przypuszczeń, których nie potwierdzono.

Filip Chybalski zwraca uwagę, że uogólnienie wyników z próby na populację jest kuszące, ale nie zawsze uzasadnione. W poradniku przekładamy tę granicę na kontrolę zakresu zdań, bez instrukcji doboru próby i wnioskowania statystycznego. Źródło: Chybalski (2017), s. 5-6 (https://eczasopisma.p.lodz.pl/OIZ/article/view/380/369).

Nie dopisuj automatycznie, że rozmówcy „nie byli szczerzy” albo że „respondenci bali się krytyki”. Takie możliwości można rozważać, jeśli wynikają z warunków badania, ale nie są ustalonym faktem tylko dlatego, że badanie opierało się na deklaracjach. Nazwij status informacji: wiadomo, nie wiadomo lub możliwe wyjaśnienie.

Demonstracja: jeden wynik i kilka granic

Wszystkie liczby i okoliczności w przykładzie są fikcyjne. Załóżmy, że przez otwarte zaproszenie do użytkowników narzędzia planowania zebrano 64 ankiety. Na pytanie o przydatność narzędzia odpowiedziały 52 osoby: 28 wybrało „duża”, 16 „umiarkowana”, a 8 „mała”. Dwanaście osób pominęło pytanie. Nie zbierano danych o czasie wykonania zadania ani liczbie błędów.

Wśród ważnych odpowiedzi udział oceny „duża” wynosi 28/52 razy 100, czyli 53,8% po zaokrągleniu. Wśród wszystkich 64 ankiet takie wskazanie występuje w 43,8%. To dwa różne odsetki. Brak odpowiedzi 12 osób nie jest ani oceną pozytywną, ani negatywną; ich stanowiska w tym pytaniu nie znamy.

Podstawowy wynik nadal jest przydatny: można opisać rozkład udzielonych odpowiedzi. Ograniczenia zaczynają mieć znaczenie, gdy wniosek przechodzi od tych odpowiedzi do wszystkich użytkowników, przyszłych sytuacji lub skuteczności narzędzia.

Zbuduj mapę ograniczenia i twierdzenia

Autorska mapa dla danych demonstracyjnych

Sprawdzona cecha materiału
Otwarte zaproszenie; udział dobrowolny
Konsekwencja
Materiał sam nie daje podstawy do opisu wszystkich użytkowników.
Precyzyjny zakres zdania
„Wśród osób, które odpowiedziały na pytanie...”
Sprawdzona cecha materiału
12 z 64 ankiet bez odpowiedzi na to pytanie
Konsekwencja
Ocena przydatności tych osób pozostaje nieznana.
Precyzyjny zakres zdania
„28 z 52 ważnych odpowiedzi wskazywało dużą przydatność”.
Sprawdzona cecha materiału
Zebrano deklarowaną ocenę
Konsekwencja
Nie zmierzono faktycznego czasu ani liczby błędów.
Precyzyjny zakres zdania
„Osoby deklarowały przydatność”; bez „narzędzie poprawiło efektywność”.
Sprawdzona cecha materiału
Jedna seria ankiet w określonym okresie
Konsekwencja
Nie opisano zmiany oceny w czasie.
Precyzyjny zakres zdania
„W tej serii ankiet”; bez „ocena systematycznie rośnie”.

Każda karta zawęża inne twierdzenie. Pominięcia dotyczą podstawy procentów. Deklarowany charakter odpowiedzi dotyczy znaczenia wskaźnika. Jedna seria pomiaru dotyczy twierdzeń o zmianie. W ogólnej liście te różnice giną, choć wymagają odmiennych poprawek w tekście.

Nie przypisuj brakom nieznanego kierunku

Nie pisz, że brakujące odpowiedzi „na pewno obniżyłyby wynik”. Nie wiadomo, czy pominięcie wiązało się z oceną, niezrozumieniem pytania czy przerwaniem wypełniania. Jeśli nie masz informacji, zachowaj niewiedzę w opisie. Możesz powiedzieć, że pełny rozkład ocen wszystkich uczestników nie jest znany.

Podobnie udział dobrowolny nie pozwala automatycznie stwierdzić, że otrzymano wyłącznie bardzo zadowolonych albo bardzo niezadowolonych użytkowników. To możliwe wzory udziału, lecz nasz demonstracyjny materiał ich nie sprawdza. Uczciwa konsekwencja brzmi: zakres wyników obejmuje zebrane odpowiedzi, a szersze uogólnienie wymaga dodatkowego uzasadnienia.

Jeżeli porównujesz podgrupy, sprawdź liczbę ważnych odpowiedzi osobno. Jeden wspólny procent braków dla całego pliku może ukryć, że pominięcia dotyczą przede wszystkim jednej grupy. Samo podanie 64 jako N nie rozwiązuje tego problemu. Podstawa musi odpowiadać konkretnemu zestawieniu.

Rozdziel ocenę i rzeczywisty efekt

Zdanie „większość uznała narzędzie za bardzo przydatne” wymaga wskazania podstawy i nazwy kategorii. W demonstracji prawidłowo brzmi: „Dużą przydatność wskazało 28 z 52 osób odpowiadających, czyli 53,8%”. Nie zastępuj kategorii „duża” kategorią „bardzo duża”, której w pytaniu nie było.

Zdanie „narzędzie skróciło czas pracy” nie wynika z tej odpowiedzi. Badanie nie mierzyło czasu. Możesz opisać deklarowaną przydatność, a w dyskusji zaznaczyć, że nie jest ona bezpośrednim pomiarem efektywności. Dodanie wyrazu „prawdopodobnie” do mocnego twierdzenia nie dostarcza brakującego dowodu.

Ograniczenie nie odbiera wartości opisowi ocen. Wyznacza po prostu przedmiot wyniku. Taka redakcja daje czytelnikowi użyteczną informację o doświadczeniach uczestników, bez przypisywania materiałowi innego pomiaru niż ten, który wykonano.

Stosuj tę samą kontrolę do wywiadów i dokumentów

W materiale jakościowym cytat jednej osoby może ilustrować opisane doświadczenie. Nie dowodzi, że doświadczenie dotyczy wszystkich członków grupy. Gdy pokazujesz kilka fragmentów tej samej rozmowy, nie przedstawiaj ich jako kilku niezależnych osób. Zakres zdania powinien wskazywać, czy mówisz o osobie, analizowanych fragmentach czy szerszym ustaleniu z całego materiału.

W dokumentach zapis procedury pozwala opisać formalną zasadę. Bez danych o jej realizacji nie dowodzi, że zawsze ją stosowano. Brak wzmianki w dostępnych dokumentach pozwala nazwać lukę w dokumentacji, lecz nie oznacza automatycznie, że określone działanie nigdy nie występowało.

Takie rozróżnienie warto przenieść do każdego ważnego akapitu. Zamiast dopisać wszystkie zastrzeżenia dopiero na końcu pracy, tam, gdzie jest to potrzebne, podaj podstawę i zakres samego wyniku. Rozdział ograniczeń może później zebrać te konsekwencje w spójny opis.

Napisz ograniczenie jako konsekwencję

Gotowy opis demonstracyjny może brzmieć: „Wynik dotyczy deklarowanych ocen osób, które dobrowolnie wzięły udział w ankiecie i odpowiedziały na pytanie. Dwanaście pominięć ogranicza wiedzę o ocenach całej grupy 64 uczestników. Ponieważ nie mierzono czasu wykonania zadań, zestawienie nie pozwala ocenić wpływu narzędzia na efektywność. Pozwala natomiast opisać rozkład 52 udzielonych ocen przydatności”.

To ograniczenie zawiera również informację o tym, co nadal wiadomo. Nie mówi, że „wyniki są bezwartościowe”, i nie ukrywa luk. Każda konsekwencja odpowiada konkretnemu elementowi materiału. W prawdziwej pracy podstaw ją pod własne dane, zamiast kopiować demonstracyjne liczby lub formułę bez sprawdzenia.

Kontrolę ograniczeń możesz połączyć z redakcją akapitu wyników ankiety. Jeśli materiałem są dokumenty, przykład macierzy dokument, fragment i ustalenie pomaga zachować ślad dowodu oraz odróżnić zapis procedury od jej realizacji.

Bibliografia

Chybalski F. (2017), O uogólnianiu wyników analiz ilościowych w naukach o zarządzaniu, Zeszyty Naukowe. Organizacja i Zarządzanie, 67(1214), s. 5-18, DOI: 10.34658/oiz.2017.67.5-18. Rekord wydawcy i pełny polski tekst (https://eczasopisma.p.lodz.pl/OIZ/article/view/380).

Arkusz do samodzielnej pracy

Rozpisz swój rozdział przed redakcją.

Arkusz planowania rozdziału wyników pomoże połączyć pytania badawcze z danymi, tabelami, opisem i miejscem na dyskusję. Możesz pracować z nim samodzielnie, bez podawania e-maila.

Twój materiał. Konkretny zakres pomocy.

Ustalmy zakres na podstawie Twoich materiałów.

Napisz, czy masz ankietę, wywiady, dokumenty albo gotowy fragment. Dodaj oczekiwany rezultat, termin i najważniejsze wytyczne.

Wysłanie zapytania rozpoczyna ustalanie zakresu. Cenę i warunki realizacji poznasz przed decyzją o zamówieniu.

Zapytaj o opracowanie