Mixed Mode Survey Design: problem efektu techniki

W sytuacji pogarszających się warunków realizacji badań surveyowych poszukuje się sposobów ograniczenia błędu pomiaru (Total Survey Error), związanego z nieuczestniczeniem wylosowanych jednostek w wywiadzie (Non Response Error). Jedno z rozwiązań stanowi procedura Mixed Mode Survey Design, która polega na uzyskiwaniu tych samych informacji od różnych osób, przy wykorzystaniu odmiennych technik badawczych, np. wywiad PAPI (Paper and Pencil Interviewing), CATI (Computer Assisted Telephone Interviewing), CAWI (Computer Assisted Web Interviewing). Jednakże wykorzystanie tej procedury może powodować wystąpienie efektu techniki (tzw. Mode Effects). W artykule analizujemy efekt techniki na płaszczyźnie: (i) sformułowania pytania; (ii) sposobu kontaktowania oraz (iii) sposobu komunikowania się z respondentem, poddając ocenie wskaźnik realizacji (tzw. Response Rate) oraz porównując odpowiedzi respondentów na te same pytania, uzyskane przy zastosowaniu różnych technik. W analizach wykorzystano materiały zebrane w projektach realizowanych techniką PAPI (badanie European Social Survey, round 3) oraz CATI (badanie w ramach metodologicznego grantu ESS Infrastructure: i3.). Wyniki przeprowadzonych analiz potwierdzają istnienie poważnych różnic związanych z efektem techniki (w przypadku wywiadu PAPI i CATI). Stawia to pod znakiem zapytania ideę ich łączenia celem ograniczenia błędu braku odpowiedzi.

The fieldwork conditions for surveys becomes progressively worse so methods are being sought to reduce the total survey error arising from non-response error. One solution is the mixed mode survey design procedure whereby the same information is obtained from different respondents, using different data collecting modes (e.g. PAPI, CATI, Web survey). However, this procedure may produce the so-called mode effect. In this paper, we analyse the mode effect from the following perspectives: (i) wording of questions, (ii) contacting mode, and (iii) mode of communication with the respondent. We assess response rates and compare respondents’ answers to the same questions obtained through different techniques. Our analysis is based on materials collected in research projects employing two modes PAPI (the European Social Survey, Round 3) and CATI (ESS Infrastructure: i3, a study funded under a methodological grant). The findings from our analysis confirm the existence of significant differences related to the mode effect (in the case of PAPI and CAPI). Those findings challenge the idea of combining those modes to reduce non-response error.