Thursday, April 3, 2014

Błędy w wybranych badaniach opinii publicznej

Czytelników przepraszam za 2-letnie milczenie (wyjąwszy wymuszony zmianą prawa post z sierpnia zeszłego roku). Przez ten czas przygotowywałem moją rozprawę doktorską, uczestniczyłem w kilku konferencjach i opublikowałem 3 teksty. Poniżej zamieszczam poprawioną wersję jednej z moich prac zaliczeniowych, złożoną pewnemu pracownikowi Instytutu Socjologii. Po kilku miesiącach wahań doszedłem do wniosku, że to właściwy czas i miejsce, żeby ją opublikować.

        W niniejszej pracy wykażę błędy raczej w sposobie przedstawiania wyników sondaży, niż prowadzenia pomiarów opinii publicznej, zawarte w dwu tekstach: Wygrał, bo jest wodzem, pióra Tadeusza Zachurskiego[1] oraz Sondaż Polskiego Radia: Jan Paweł II zmienił życie Polaków[2].
       Tadeusz Zachurski relacjonuje przebieg kampanii wyborczej przed wyborami prezydenckimi w 2004 r. w Stanach Zjednoczonych Ameryki oraz wyniki głosowania. Przytacza m. in. wyniki badania opinii publicznej przeprowadzonych przez Johna Zogbyego. Niestety, na stronie internetowej należącego do Amerykanina przedsiębiorstwa Zogby Analitics (www.zogbyanalytics.com/) nie znalazłem sprawozdania z tego sondażu, więc zrekonstruuję go na podstawie tekstu Tadeusza Zachurskiego oraz czatu z Johnem Zogbym, zamieszczonego na stronie „The Washington Post”[3]. „Bush zdołał przekonać do siebie wyborców niezdecydowanych – pisał Zachurski - niezwiązanych formalnie z żadną z dwóch głównych sił politycznych. jak wykazały badania firmy sondażowej Johna Zogby - to z reguły osoby politycznie umiarkowane, w średnim wieku, średniozamożne, z lepszym niż przeciętnie wykształceniem. Niezdecydowani lubią Busha jako człowieka, cenią go za przywódcze umiejętności, poszanowanie wartości rodzinnych i za konsekwencję. Są jednak przeciwni wojnie w Iraku i poczynaniom administracji, która do niej doprowadziła. Niezdecydowani uważają wprawdzie, że Kerry ma kwalifikacje, by zostać prezydentem, i zgadzają się z jego stanowiskiem w wielu kwestiach polityki wewnętrznej, takich jak edukacja, gospodarka, opieka medyczna. Kerry'emu nie udało się jednak przekonać wyborców, że rzeczywiście wierzy w to, co głosi”. Autor w ogóle nie podaje kiedy, na jakiej próbie i jak przeprowadzono przytaczane przez niego badania. Zapewne są wiarogodne, skoro Zogby w wyżej przywoływanym czacie m. in. przyznaje, że w razie nadreprezentacji czy niedostatecznej reprezentacji danej kategorii społecznej bądź zaskakujących wyników do ważenia próby czy powtarzania sondażu i działa na rynku od 1984 r. Przytaczana wypowiedź Zachurskiego zawiera wiele niejasnych terminów. Czy „osoby politycznie umiarkowane” odcinają się od nazizmu i komunizmu, czy również terroryzmu, fundamentalizmu religijnego, nowej lewicy lub anarchizmu? W jakim przedziale wiekowym mieszczą się osoby „w średnim wieku”? Ile zarabiają i jak wielki majatek zgromadzili respondenci „średniozamożni”? Czy Amerykanie „z lepszym niż przeciętnie wykształceniem” mają licencjat, magisterium, doktorat? Nie wiadomo. „Bush celnie trafiał do przekonania właścicielom drobnych firm, przedstawiając obniżki podatków i zmiany w prawie jako prezent dla takich właśnie przedsiębiorców – ciągnie dalej. Gdy demokraci oskarżali republikanów o zastraszanie wyborców, m. in. w ) Ohio, Michigan, Pensylwanii czy Iowa, Rove [doradca George'a Walkera Busha – P. B.] przeniósł kampanię na Środkowej Zachód. [...] To miejsca, w których coraz większą siłą polityczną są religijni konserwatyści pielęgnujący tradycyjne wartości. Tyle tylko że tym razem prawicowi wyborcy byli raczej katolikami niż baptystami z południa”. Skąd to autor wie? Nie wiadomo. Rozumiem, że dziennikarz ukrywa osobowe źródła informacji, jednak inne (książki, czasopisma, strony internetowe itd.) powinien wymienić – niekoniecznie w postaci przypisów – w końcu nie pisze rozprawy naukowej,  w końcu redaktor wyznacza mu limity słów czy znaków. Sądzę jednak, iż winien podać przynajmniej tytuły publikacyj czy adresów stron www, które przeglądał. Niekiedy powołuje się na Geoffrey'a Garina „prowadzącego sondaże dla demokratów” czy Matthew Dowda, który „analizował wyniki sondaży dla demokratów” czy Karla Rove'a – szefa sztabu wyborczego Busha. Informacje o nastrojach wyborców, które tak uzyskał są jednak niepewne i na ogół z drugiej ręki. Pod artykułem zamieszczono również mapkę, przedstawiającą USA z podziałem na stany, w których jest „spodziewane zwycięstwo Busha” i w których jest „spodziewane zwycięstwo Kerry'ego”. Znowu nie wiadomo, skąd pochodzą informacje tam podane.  Prawdopodobnie z raportów administracji publicznej. Chyba nie z sondaży Zogby'ego, który w przywoływanym czacie, zamieszczonym na stronie „The Washington Post” w piątek, 31 października 2004 r., na 3 dni prze wyborami, przyznał: „Trudno mi widzieć Hawaje jako pole walki. Nie przebadałem ich”. Jednak w „Neewsweeku” pokazano przewidywane wyniki głosowania również na Hawajach. Określono je jako „spodziewane”, gdyż wybory Prezydenta Stanów Zjednoczonych Ameryki są pośrednie – obywatele co 4 lata głosują na elektorów, którzy głosują na kandydatów na prezydenta[4]. Czytając tekst Zachurskiego, mam wrażenie, iż autor stara się zniechęcić odbiorcę do osoby Johna Kerry'ego i sympatyzuje z jego głównym rywalem, co nie dziwi w publicystyce, jednak przybiera to postać manipulacji, co mnie razi. Jak powiada: „Przemówienie Kerry'ego - uznali wyborcy - zawierały zbyt wiele niuansów i kalkulacji, by można było w nie uwierzyć. Wyborcy nie potrafili pojąć, w co tak naprawdę wierzy Kerry”. Brak źródeł nie pozwala znów rozstrzygnąć, czy to prawda, czy fantazmaty autora (Zogby nie mówił w czasie cytowanego już czatu, jak wyborcy oceniali kampanię kandydata Partii Demokratycznej na prezydenta Stanów Zjednoczonych Ameryki). Wygląda na to, że autor zarzuca w tej wypowiedzi Kerry'emu niejasny sposób wysławiania się (żeby nie powiedzieć: bełkot) czy nawet, że imputuje mu kłamstwo.
           Drugi tekst wymieniony we wstępie, omawia wyniki badań zrealizowanych przez Homo Homini – Instytut Badania Opinii na zlecenie Polskiego Radia. Jak podają autorzy tej notatki internetowej: „Sondaż przeprowadzono telefonicznie 1 kwietnia [2011 r. - P. B.] na grupie 1100 osób, reprezentatywnej dla ogółu Polaków”. Podano zatem podstawowe informacje o metodologii sondażu, co pozwala ocenić jego wiarygodność (chociaż nie napisano, jak dobierano próbę: losowo, kwotowo, czy losowo-warstwowo).  Trudno jednak orzec, czy treść pytań zadanych respondentom została wiernie odzwierciedlona w omawianym tekście. Niestety, na stronie internetowej Homo Homini (http://www.homohomini.com.pl/) nie ma z niego sprawozdania, które można by skonfrontować z przytaczanym doniesieniem medialnym. „82 procent Polaków uważa, że nauki i osoba papieża Jana Pawła II wpłynęły na ich życie – można przeczytać na stronie www Polskiego Radia - tak wynika z najnowszego sondażu Instytutu Badania Opinii Homo Homini dla Polskiego Radia”. Czy wpłynął bezpośrednio, przez wypowiedzi czy zachowania się wobec respondentów (w wypadku jego petentów, podwładnych, studentów itd.) czy pośrednio, przez otoczenie społeczne (mianując biskupa miejsca, wywierając naciski na polityków itd.)? Jeśli wpłynął bezpośrednio, to czy tylko na przekonania czy również na zachowanie się respondentów? Tak, jak uczynił CBOS   w badaniach   przeprowadzonych na zlecenie Centrum Myśli Jana Pawła II w dniach 12 − 17 marca 2011 roku na liczącej 1109 osób reprezentatywnej próbie losowej dorosłych mieszkańców Polski[5] należało z wypowiedziach Jana Pawła II wyodrębnić kilka kluczowych doktryn i sprawdzić ich recepcję wśród respondentów przez zadawanie pytań. Podam kilka przykładów, które przyszły mi na myśl:  „Czy wierzy Pan/Pani w Boga?”, „Jeśli tak, jakiego jest Pan/Pani wyznania?”, „Czy czytał Pan/Pani jakiekolwiek książki Karola Wojtyły/Jana Pawła II?”, „Jeśli jest Pan/Pani wyznania rzymskokatolickiego, jak często chodzi Pan/Pani do kościoła?” (i tutaj podać różne warianty odpowiedzi, dopuszczając zaznaczenie kilku: „kilka razy w tygodniu”, „co tydzień”, „raz na miesiąc”, „kilka razy w roku”, „nigdy”),  „Czy należy zalegalizować małżeństwa osób tej samej płci w prawie polskim?” (i tu wstawić kafeterię: „tak”,  „nie, ale powinno się pozwolić je rejestrować i przyznawać niektóre prawa przynależne małżeństwom [np. wspólnota majątkowa]”, „nie, ale należy je tolerować”, „nie, należy karać osoby żyjące w takich związkach”, „nie mam zdania”), „Czy należy zakazać przerywania ciąży w prawie polskim?” ( i tutaj podać różne warianty odpowiedzi, dopuszczając zaznaczenie kilku: „ tak, zupełnie”, „tak, chyba, że zagraża życiu kobiety”, „tak, chyba, że zagraża zdrowiu kobiety”, „tak, chyba, że powstała w wyniku przestępstwa”, „tak, chyba, że płód jest ciężko i nieodwracalnie uszkodzony”, „tak, jeśli kobieta znajduje się w ciężkiej sytuacji materialnej (bezrobocie, bieda)”, „tak, z innych, niż w/w powodów (jakich?)”, „nie”, „nie mam zdania”). Te i tym podobne pytania pozwoliłyby sprawdzić znajomość nauczania Jana Pawła II oraz jego recepcję – w teorii i praktyce - w społeczeństwie polskim, czyli jego bezpośredni wpływ na nie. Krótko  mówiąc - w referowanym sondażu nie wiadomo, co znaczy termin „wpływ” pojawiający się w pytaniu. Wygląda on jak jeszcze jedna próba kreacji pozytywnego wizerunku Jana Pawła II – tutaj przez wskazanie powszechnego niemal autorytetu, jakim miałby się cieszyć w narodzie, z którego się wywodził. Zależy na nim przede wszystkim (części) duchowieństwa katolickiego, gdyż uzasadniałby on jego beatyfikację i planowaną kanonizację, w sytuacji, kiedy również w Polsce papieża krytykują niektórzy katolicy (m. in. Bractwo Świętego Piusa X, kapłan-sedewakantysta Rafał Trytek oraz teolodzy liberalni, jak exjezuita Stanisław Obirek czy exdominikanin Tadeusz Bartoś), jak i niekatolicy (np. lewicowi dziennikarze Jerzy Urban, Piotr Szumlewicz, kapłan-apostata i poseł na Sejm Twojego Ruchu Roman Kotliński, Polskie Stowarzyszenie Racjonalistyczne). Chociaż w przeprowadzonym przez CBOS badaniach na zlecenie Centrum Myśli Jana Pawła II w dniach 11–16 stycznia 2012 roku na próbie random route 1000 osób w wieku powyżej 15 roku życia, na pytanie: „Czy Jan Paweł II jest dla Pana(i) ważnym autorytetem moralnym?”, 94% spośród 958 dorosłych respondentów odpowiedziało „tak” albo „raczej tak”, to „następuje w Polsce powolne odchodzenie od religijności kościelnej w kierunku nieco bardziej zindywidualizowanej. Wyraża się to m.in. w mniej regularnym uczestnictwie w praktykach religijnych (zwłaszcza niektórych grup społecznych), czy też w coraz częstszej akceptacji szeregu postaw i zachowań moralnych niezgodnych z nauczaniem Kościoła, takich jak antykoncepcja, seks przedmałżeński, życie w związku bez ślubu czy rozwód” [6].
          Spośród wyróżnionych przez Ryszarda Dyoniziaka najczęściej pojawiających się błędów w sondażach[7], w analizowanych badaniach, wnioskując z dostępnego materiału, występują w pierwszym przypadku - błąd ogólnikowości pytania, w drugim przypadku - błąd absurdalności pytania. Przypadek drugi sprawia wrażenie sondażu na potwierdzenie z góry przyjętych założeń propagandowych. Podobny przykład podał w swej książce również Dyoniziak i również dotyczył on badań nad religijnością8. Niepokoi sposób prezentacji wyników sondaży w tekście Zachurskiego. Autor, prócz złośliwego dyskredytowania Kerry'ego, nie podaje, wyjąwszy Zogby Analitics, przez kogo wykonane i kiedy sondaże przedwyborcze wykorzystał, co obniża wiarogodność jego artykułu.uca w tej wypowiedzi Kerry'emu niejasny sposób wysławiania się (żeby nie powiedzieć: bełkot) czy nawet, że imputuje mu kłamstwo.      

Przypisy


  1. „Newsweek” nr 45-46/2004.
  2. Zob. wyniki dostępne na: http://www.polskieradio.pl/5/3/Artykul/339488,Sondaz-Polskiego-Radia-Jan-Pawel-II-zmienil-zycie-Polakow [07.01.2014].
  3. Zob. Election 2004: Poll Numbers, dostępne na: http://www.washingtonpost.com/wp-dyn/articles/A6510-2004 Oct28.html [07.01.2013].
  4. Zob. Wojciech Jakubowski, Piotr Załęski, Systemy polityczne państw Europy Zachodniej nie należących do Unii Europejskiej i wybranych państw pozaeuropejskich, w: Społeczeństwo i polityka. Podstawy nauk politycznych, red. Konstanty A. Wojtaszczyk, Wojciech Jakubowski, Oficyna Wydawnicza ASPRA-JR, Warszawa 2003, s. 350.
  5. Zob. Dwadzieścia lat później. Polacy o Janie Pawle II i jego nauczanie w rocznicę pielgrzymki do wolnej Polski. Komunikat z badań. Warszawa, czerwiec 2011, dostępny na: http://www.cbos.pl/SPISKOM.POL/2011/K_065_ 11.PDF [08.01.2014].
  6. Zob. Jan Paweł II i jego nauczanie w życiu Polaków. Komunikat z badań. Warszawa, marzec 2012, dostępny na: htp://www.cbos.pl/ SPISKOM.POL/2012/K_044_12.PDF [08.01.2014], s. 1, 7.
  7. Zob. Ryszard Dyoniziak, Sondaże a manipulowanie społeczeństwem, Towarzystwo Autorów i Wydawców Prac Naukowych UNIVERSITAS, Kraków 1997, s. 39-42.
  8. Zob. ibidem, s. 34-38.