W gazetach jest mnóstwo tematów opartych na ankietach, sondażach i badaniach opinii publicznej. Bezwartościowe dane jak tsunami zalewają biurka dziennikarzy. Jedne są bezwstydną autopromocją. Inne stekiem sensacyjnych bzdur.

Nadmiar przypadkowych sondaży rujnuje reputację i wiarygodność prawdziwych badań.

Czy praktyk public relations rozumie co znaczy przeprowadzić dokładne i wiarygodne badanie sondażowe? Czy zdaje sobie sprawę jak trudno jest dobrać statystycznie reprezentatywną grupę kontrolną? Czy wie, że korelacja rozumiana jako zależność zmiennych losowych nie jest związkiem przyczynowym? Czy zdaje sobie sprawę z tego, że jeżeli dwa elementy są ze sobą połączone to wcale nie znaczy, że muszą na siebie oddziaływać? Czy wie, że od sposobu sformułowania pytania zależy treść odpowiedzi?

Co w takim razie powinien wiedzieć praktyk public relations ZANIM pomyśli o przeprowadzeniu sondażu?

Po pierwsze, aby zachować wiarygodność, musi zatroszczyć się o dokładność badania. W tej dziedzinie także działa prawo Murphy'ego. Dlatego firmy prowadzące takie badania zatrudniają wykwalifikowanych i doświadczonych fachowców zajmujących się przygotowaniem, przeprowadzeniem i analizą wyników sondaży. Ich zadaniem jest m.in. neutralizacja wszystkich zagrożeń.

4 powody dlaczego unikać sondaży

1. Czy na pewno tego nie wiem? Odpowiedź na pytanie, które zamierzamy zadać w sondażu jest już znana.

Ignorowanie informacji, które praktyk PR już ma jest częstym błędem wszystkich ludzi public relations. Chodzi o to, żeby umieć posiadane dane odpowiednio analizować i interpretować. Praktycy PR skupiają się na dniu dzisiejszym zapominając o tym co było wczoraj i przedwczoraj, a taka wiedza szybko się nie starzeje. Ludzka natura się nie zmienia, a pewne nastawienia żyją dłużej niż niejedno pokolenie.

Celem takiego badania będzie nie tyle zdobycie odpowiedzi, ile potwierdzenie, że to, co wie nadal jest aktualne. Czy warto robić nowe badanie skoro zakładamy, że wynik będzie taki sam? Kogo to interesuje? Media chcą nowości, nie odkurzonych archiwów.

2. Czy wiem o co pytam? Nie poznasz odpowiedzi na pytanie jeśli nie wiesz dokładnie jakich informacji potrzebujesz.

Zawsze mnie dziwi kiedy spostrzegam, że klient nie wie czego chce się dowiedzieć. Ma oczywiście w głowie jakiś mglisty obraz, ale żadnych konkretnych pytań. Sondaż, który powstaje można nazwać "Byle Jakie Odpowiedzi Na Byle Jakie Pytania".

Proponuję w takim przypadku zorganizować grupę fokusową, która dokładniej zdefiniuje wątpliwości, potrzeby i pytania do sondażu. Sam sondaż nie ma wbudowanego modułu automatycznie generującego pytania.

3. Pytam, ale czy się dowiem? Ludzie nie odpowiedzą szczerze na pytania czy płacą podatki, czy zdradzają swoich partnerów życiowych lub jak często golą się pod pachami.

Wyniki badań sondażowych są bezpośrednio zależne od respondentów, którzy czasem są nieufni. Udzielają odpowiedzi, które poprawiają ich samoocenę i niekoniecznie muszą odzwierciedlać ich poglądy. Z kolei ci, którzy mówią prawdę, nie muszą stanowić próbki reprezentatywnej.

Bywa, że respondenci nie znają odpowiedzi, ale nie chcą się do tego przyznać. Zjawisko takie często występuje w czasie kampanii politycznych kiedy wyborcy dopiero pod koniec kampanii deklarują swoje prawdziwe sympatie. Do tego momentu wyniki badań mogą się bardzo zmieniać, ponieważ wyborcy wiedzą, że mają jeszcze czas na "ostateczną" decyzję.

4. Czy media to kupią? Czy wyniki sondażu będą wykorzystane w komunikacji zewnętrznej i/lub wewnętrznej?

Czy wyniki sondażu zainteresują media? Jeśli nie, po co go organizować? Po co wydawać pieniądze i angażować środki na działanie, które nie przyniesie medialnego rozgłosu?

Z drugiej strony, jeżeli wyniki sondażu nie są przeznaczone do zewnętrznej dystrybucji - powiedzmy, że jest to badanie nastrojów wśród pracowników - otrzymanie identycznych informacji zwrotnych pokaże tylko, że w firmie nic się nie zmienia.

Próbka reprezentatywna

Wybór rozmiaru grupy reprezentatywnej jest kluczowy, gdyż błąd w dokładnym wyliczeniu tej próby zniekształci końcowe dane o opiniach, nastawieniach czy postawach badanej populacji.

Statystycznie każdy respondent ma identyczne prawo wyboru w badanej populacji. Dziś jednak trudno ten wymóg zachować, gdyż numery telefonów komórkowych nie są przypisane do regionów geograficznych. Ludzie odkładają słuchawkę bez słowa słysząc propozycję udziału w sondażu, wyrzucają arkusze ankiet do kosza, kasują e-maile - nawet kiedy oferuje się im wynagrodzenie za udzielenie odpowiedzi. Stąd próbki badawcze, aby zachować reprezentatywność muszą być większe, a to zabiera więcej czasu i wymaga większych pieniędzy.

Metodologia sondażu - kontakt indywidualny, rozmowa telefoniczna, Internet, przesyłka pocztowa, list elektroniczny - łączy się z wielkością grupy kontrolnej i pytań jakie zadamy. Każda metoda ma swoje zalety i wady. Kontakty indywidualne - wywiady w centrach handlowych, sklepach czy na ulicy - są kosztowne. O kontaktach telefonicznych pisałem wyżej. W Internecie trzeba zadbać o zbudowanie grupy, której poglądy są odbiciem całej badanej populacji. Informacje otrzymywane pocztą zależą tylko od tego kto zechce wypełnić kwestionariusz.

W Internecie popularne są sondaże samoobsługowe (self-administered surveys), w których respondenci samodzielnie odpowiadają na pytania. To tania i wygodna metoda zebrania informacji obarczona jednak ryzykiem, że w przypadku niejasnych i dwuznacznie sformułowanych pytań respondenci mogą je różnie interpretować i ich odpowiedzi mogę być nieporównywalne. Zamknięte pytania lub pytania z wymuszonym zestawem odpowiedzi upraszczają wyniki i gubią niuanse. W sekwencji źle ułożonych pytań odpowiedzi na wcześniejsze pytania mogą wpływać na odpowiedzi w następnych.

Błędy i jeszcze więcej błędów

Nawet jeśli sondaż jest statystycznie poprawny, raport z badania może być niedokładny. Wnioski z badania muszą być opisane precyzyjnym językiem bez zbędnych implikacji i mylących hipotez, a w przypadku sondaży, których wyniki mają trafić do mediów - bez rażących uproszczeń. Może więc się zdarzyć, że raport z badania nie będzie fascynujący, ale lepiej, żeby były nudny niż fałszywy.

Oto 5 rodzajów błędów w raportach z badań opinii publicznej:

1. Nieprawdziwe liczby. Błąd polega na łączeniu nieporównywalnych kategorii i używaniu nieprecyzyjnych określeń w opisywaniu stanowisk respondentów.

Wyobraźmy sobie sondaż na temat wprowadzenia w Polsce euro. Tylko hipotetycznie załóżmy, że jego celem jest poznanie opinii Polaków - ilu jest "za", ilu "przeciw". Są trzy odpowiedzi do wyboru: 1. zdecydowanie za, 2. zdecydowanie przeciw, 3. trochę za i trochę przeciw. Po podliczeniu wyników wiemy, że 33% jest za, 33% przeciw i 33% się waha.

Jeżeli chcesz przedstawić ten wynik jako poparcie dla euro, powiesz, że 66% jest zdecydowanie lub trochę za ("dobrze ponad połowa"). Jeżeli przeciwko europejskiej walucie - 66% jest zdecydowanie lub trochę przeciw.

To często spotykana praktyka, aby przyłączać głosy niezdecydowanych do "poprawienia" wyników tych, którzy wiedzą co "właściwe".

2. Zwodnicza dokładność. Błąd polega podawaniu w dokładnych procentach czegoś czego nie można jednoznacznie policzyć.

Na przykład, PNB (produkt narodowy brutto to wynik dodawania konsumpcja + inwestycje + wydatki rządowe + eksport netto + dochód netto obywateli za granicą. Załóżmy, że można to policzyć i zsumować. Ale jak precyzyjnie? I z jaką dokładnością wiemy czy maleje czy rośnie? Jak w takim razie traktować komunikat, że PNB zmaleje o 2 punkty procentowe?

Mamy złudne wrażenie, że wszystkie ogromne liczby dotyczące ekonomii i gospodarki tworzone są przez armię urzędników stojących przed fabrykami, zaglądających przez okna do biur, zerkających do naszych toreb z zakupami. Lub jeszcze lepiej - przez ogromny komputer gdzieś w Alejach Ujazdowskich. Podczas gdy w rzeczywistości prowadzone są tylko sondażowe wyliczenia oparte na reprezentatywnych próbach. Jeżeli nie można policzyć wszystkiego, liczy się to, co można. Istotne jest, aby wiedzieć co, gdzie, kiedy, jak liczyć i wyciągać właściwe wnioski.

Ludzie odpowiedzialni za sterowanie gospodarką (prezes Narodowego Banku Polskiego, Minister Finansów, Minister Skarbu) prawdopodobnie wiedzą w jakim kierunku zmierzają, ale nie wiedzą dokładnie w jakim miejscu teraz jesteśmy.

3. Procenty bez kontekstu. Błąd często pojawia się w raportach z badań medycznych.

Na przykład, regularne zażywanie tego leku wydłuży życie o X %. 90% ankietowanych kobiet stwierdziło po 6 tygodniach znaczącą poprawę elastyczności skóry na twarzy. Niestety nic nie wiemy na kim testowano lek na długowieczność i ile kobiet ankietowano.

Co znaczy na przykład informacja, że spożywanie nadmiernych ilości witaminy C może szkodzić zdrowiu? Ile to jest nadmierna ilość? Jedna tabletka? Pięć? Dwadzieścia? I czy dla wszystkich to taka sama ilość? Sól jest niezbędnym składnikiem naszego pożywienia. Czy można zjeść jej za dużo? Czy można wypić za dużo wody? Ryzyko jest wszędzie. Istotne czy potrafimy je na czas dostrzec, ocenić i zneutralizować.

Wzrost o 100% liczby kul w rewolwerze dla tego kto gra w rosyjską ruletkę na pewno robi różnicę. Ale ilu z nas gra w nią codziennie?

4. Niezrozumiała przeciętna. Błąd polega na tym, że ludzie przyjmują liczby tak jak są im podane bez sprawdzania ich wiarygodności.

"Średni" to w potocznym rozumieniu zwykły, typowy, normalny, przeciętny, oczekiwany. Wszystko powyżej jest dobre, poniżej - złe. A ponieważ to, co zwykłe, typowe, normalne, przeciętne i oczekiwane dotyczy ogromnego obszaru, może się zdarzyć, że to, co średnie wcale nie mieści się blisko środka, ale daleko od niego, mimo że nadal jest "średnie". Do bólu średnie, ale inne.

Jeśli wciąż się ze mną nie zgadzasz, odpowiedz na pytanie:

"Jaka jest średnia liczba palców u rąk człowieka?"

Nie, wcale nie dziesięć. Trochę mniej. Pomyśl o tych, którzy urodzili się bez palców lub stracili je w wypadku.

Prawie każdy ma trochę powyżej średniej liczby palców :-)

5. Nieuzasadnione łączenie przyczyny i skutku. Błąd polega na pozornie logicznym łączeniu przyczyny ze skutkiem.

Kiedy dwoje ludzi idzie ulicą, to wcale nie znaczy, że kiedy jedna się zatrzyma, druga zrobi to samo. Dwa wydarzenia następujące jedno po drugim nie muszą być ze sobą powiązane. Mogą, ale nie muszą. Jeżeli po lekturze tego artykułu otrzymasz przelew na konto, to wcale nie znaczy, że zechcesz go przeczytać jeszcze raz, prawda? :-)

Problemem jest to, że ani media ani politycy nie chcą uznać roli "czystego przypadku". Liczby mają to do siebie, że raz rosną, raz maleją. Jeżeli wybierzesz dogodny dla siebie okres, dogodny temat i dogodny teren badania, możesz udowodnić wszystko, niczego jednocześnie nie wyjaśniając.

Konkluzja

Jeżeli klient nie ma dużo pieniędzy i czasu, lepiej odwieść go od zamiaru przeprowadzenia sondażu. Świat nie potrzebuje kolejnej porcji bezwartościowych informacji. Na biurkach dziennikarzy i w ich komputerach codziennie i tak ląduje za dużo śmieci. To czego im brakuje to dokładne, aktualne i wartościowe analizy tłumaczące co tak naprawdę się dzieje.

Dla praktyków PR, którzy walczą jedynie o więcej miejsca na szpalcie gazety dla swoich klientów nie jest ważne czy dziennikarz otrzyma wartościowe dane. Dla tych z nas, którzy dbają o uczciwe, pozytywne i długoterminowe relacje z mediami, tacy praktycy public relations są nie tylko kulą u nogi, ale grupą, która niszczy wiarę w to, że sondaże pomagają zrozumieć coraz bardziej skomplikowaną rzeczywistość.