donderdag 17 mei 2012

Validiteit onderzoeken rondom draagvlak Olympische Spelen en advies voor vervolg

Validiteit onderzoeken rondom draagvlak Olympische Spelen en advies voor vervolg Annet Tiessen-Raaphorst, Ineke Stoop en Jos de Haan Sociaal en Cultureel Planbureau januari 2010 In de afgelopen jaren zijn vijf peilingen naar het draagvlak onder de Nederlandse bevolking voor het organiseren van de Olympische Spelen in 2028 (OS2028) in Nederland gehouden. Deze peilingen komen tot verschillende schattingen van het draagvlak: 50% tot 84% van de bevolking zou voor de OS2028 in Nederland zijn. Het ministerie van VWS directie sport heeft het SCP verzocht een uitspraak te doen over de validiteit van deze metingen en een advies te geven hoe metingen naar het draagvlak voor de OS2028 in de nabije toekomst aan te pakken. Uit onderzoek naar dataverzamelingsmethoden (zie ook de recente SCP -publicatie Sporten gemeten (Breedveld en Tiessen-Raaphorst 2009)) blijkt dat onderzoeksresultaten afhangen van de vraag bij wie wordt gemeten (veldwerk, steekproef, nonrespons), hoe wordt gemeten (mondeling, internet) en wat precies wordt gevraagd. Hieronder wordt op deze aspecten ingegaan. Overzicht van de vijf onderzoeken De vijf peilingen zijn tussen juni 2006 en oktober 2009 uitgevoerd door vijf verschillende onderzoeksbureaus. Dit laatste geeft al aan dat de kans op vergelijkbaarheid van de resultaten beperkt zal zijn: ieder bureau heeft zijn eigen onderzoeksdesign en de kans dat iedere keer dezelfde vraag gesteld zal worden aan respondenten is bij voorbaat klein. Dit blijkt ook uit een vergelijking van de verschillende onderzoeken (zie bijlage). Een kort overzicht van overeenkomsten/verschillen: Dataverzameling De eerst vier peilingen zijn uitgevoerd bij online panels, de laatste (Duodecim) is een compilatie van verschillende lokale (telefonische) onderzoeken. Dit laatste onderzoek is daarmee zeker niet representatief voor de Nederlandse bevolking en niet te vergelijken met de andere peilingen. Ook het uitvoeren van peilingen bij verschillende online panels heeft consequenties. Ten eerste is uit eerder onderzoek gebleken dat verschillende panels op verschillende manieren worden samengesteld en daardoor tot verschillende resultaten kunnen leiden (zie Vonk, Van Ossenbruggen en Willems, 2008). Ten tweede hebben niet alle Nederlanders toegang tot internet. Vooral ouderen zijn ondervertegenwoordigd. Ten derde is bij online panels vrijwel nooit sprake van een random steekproef. Mensen kunnen zichzelf aanmelden, of worden gevraagd mee te doen na het afronden van een ander onderzoek. De uiteindelijke respons is vaak heel laag. Tenslotte hebben deelnemers aan online panels ervaring met het invullen van enquêtes en zou je kunnen verwachten dat ze meer dan gemiddeld geïnteresseerd zijn in de samenleving (of stellen ze de beloningen op prijs). Dit alles betekent dat niet zonder meer kan worden aangenomen dat de deelnemers aan online panels de Nederlandse bevolking vertegenwoordigen (zie ook Bethlehem, 2008). Bij alle peilingen is weliswaar gewogen naar achtergrondkenmerken van de Nederlandse bevolking, maar weging kan nooit garanderen dat wordt gecorrigeerd voor bovenstaande vertekeningen. Het aantal respondenten bij de verschillende peilingen varieert tussen 726 en 1.230. Bij een random steekproef zou dit genoeg moeten zijn om een goede schatting te geven van de mening van de Nederlandse bevolking. Bij een online panel is dit afhankelijk van de kwaliteit van het panel. Of een steekproef van rond de duizend groot genoeg is, hangt ook af van de vraag welke uitsplitsingen je wil maken (jong/oud, arm/rijk, urbaan/ruraal, sportief/niet-sportief, etc.). Vraagstelling en antwoordcategorieën In ieder onderzoek is een andere vraag gesteld, waarbij de één vraagt naar een mening over de ambitie om de spelen te organiseren, een ander specifiek NOC*NSF als aanjager noemt en een derde vraagt of de respondent graag de Olympische Spelen in Nederland zou zien. De diversiteit van de vragen (maar ook van de antwoordcategorieën) zal een belangrijke oorzaak zijn van de verschillende percentages. Zo wordt in het MSI-ACI onderzoek de categorie ‘enigszins mee eens’ wel meegenomen in het gepresenteerde percentage, terwijl dit in de Sportersmonitor niet gebeurd. Zou in dit laatste onderzoek de categorie ‘enigszins mee eens’ ook meegenomen worden, dan wijkt het percentage al veel minder af van de andere onderzoeken. Bovendie n verschilt niet alleen de vraagstelling, maar ook de context waarin dit gebeurt verschilt. Sommige vragenlijsten gaan geheel over sport, anderen hebben verschillende onderwerpen in één vragenlijst of zelfs binnen één blok van vragen. Concluderend zou het pas verrassend zijn geweest als er een overeenkomstig percentage uit de verschillende onderzoeken zou zijn gekomen. Advies voor vervolg Dataverzameling Voor toekomstige metingen van het draagvlak onder Nederlanders voor de OS2028 is aan te bevelen om de dataverzameling periodiek uit te laten voeren door hetzelfde onderzoeksbureau. Idealiter worden de vragen gesteld aan een random steekproef uit de Nederlandse bevolking. Als dat niet mogelijk is, zou een panel moeten worden gekozen waar het initiatief om mee te doen zoveel mogelijk bij het onderzoeksbureau ligt, waar bekend is hoe lang mensen lid zijn van het panel, en waarbij de kwaliteit wordt gemonitord en gerapporteerd. Incidenteel zou de kwaliteit van de resultaten getoetst kunnen worden aan de uitkomsten van een random steekproef waaraan dezelfde vragen worden gesteld. Een optie zou zijn aan te haken bij een langlopend onderzoek van het SCP (AVO of Culturele Veranderingen). Vraagstelling In het voorgaande is geconcludeerd dat verschillende vraagstellingen verschillende percentages voor het draagvlak opleveren. Wat is nu de beste vraag? Vanuit de onderzoekskant bekeken is een directe concrete vraag het beste. De vraag zoals gesteld in de Sportersmonitor zou daar een goed voorbeeld van zijn: ‘Ik zou graag zien dat de OS2028 in Nederland worden gehouden.’ Ook de vragen van TNS-NIPO en Duodecim hebben een vergelijkbare formulering: ‘Vindt u het een goed of slecht idee als Nederland in 2028 de Olympische Spelen organiseert?’ Uit de antwoorden kan je natuurlijk nog steeds niet afleiden waarom mensen het een goed idee vinden (sportief, economisch, nationalistisch), en je hebt dus ook geen idee welke gebeurtenissen de mening zouden kunnen beïnvloeden. De vragen zoals gesteld door peil.nl (‘moet Nederland zich inspannen om de OS naar ons land te halen?’) en MSI-ACI (‘wat vindt u ervan dat het NOC*NSF de ambitie heeft de OS2028 naar NL te halen?’) zijn vager en afstandelijker geformuleerd en de resultaten daarvan zullen een minder goed beeld van het draagvlak onder de bevolking geven. Bovendien meten ze ook iets anders: inspanning, of ambities van NOC*NSF. Het is van belang iedere keer dezelfde vraagstelling te gebruiken. Daarbij dient men zich te realiseren dat draagvlak verschillende dimensies kan hebben (vind men het leuk dat Nederland zich zo kan manifesteren, ziet men het sportieve doel, is men bereid financiële of praktische offers te brengen?). Vooraf zouden de verschillende dimensies in een klein kwalitatief onderzoek kunnen worden geïdentificeerd. De uiteindelijke vraagstelling zou vooraf getest moeten worden. Waarschijnlijk komt daaruit dat het draagvlak het best met een paar vragen gemeten kan worden, die ieder een verschillend aspect meten. Incidenteel kan een dergelijke set met een actuele vraag worden uitgebreid. Het is ook van belang zich te realiseren dat de context van een vraag de antwoorden kan beïnvloeden. Vragen naar OS2028 deelname zal anders worden beantwoord in een vragenlijst over sport dan in een vragenlijst over overheidsuitgaven. De context zal dus zoveel mogelijk gelijk gehouden moeten worden. Referenties Bethlehem J. Representativity of web surveys – an illusion? In: Stoop I, Wittenberg M (eds.) (2008) Access panels and online research, panacea or pitfall? Proceedings of the DANS Symposium, Amsterdam, 2006. DANS Symposium Publications 4. Amsterdam: Aksant Academic Publishers, 2008, pp. 19-44. Breedveld, K. en A. Tiessen-Raaphorst (red.) (2009). Sporten gemeten. Den Haag: Sociaal en Cultureel Planbureau/ W.J.H. Mulier Instituut. Vonk T, Ossenbruggen R. van, Willems P. (2008) A comparison study across 19 online panels (NOPVO 2006). In: Stoop I, Wittenberg M (eds.) Access panels and online research, panacea or pitfall? Proceedings of the DANS Symposium, Amsterdam, 2006. DANS Symposium Publications 4. Amsterdam: Aksant Academic Publishers, 2008, pp. 53-77. onderzoeksb momen vraag gepresenteer antwoord- uitsplitsingen bron/panel aantal leeftijd steekproef methode weging type enquête vraag onderdeel opdracht ureau t d resultaat categorieën respon- (sport of van sportblok of gever peiling draagvlak denten algemeen) algemeen 'voor OS' (%) meningenblok TNS-NIPO jun-06 Vindt u het een goed 57% 5 pts. zeer Zeer goed: 25% TNS NIPO 985 18+ Ja, Panel TNS Ideaalcijfers Onderdeel van een Meerdere vragen TNS of slecht idee als goed/tamelijk goed/ Tamelijk goed: 32% base CASI representatief NIPO Base voor genoemde trendmeting, over de Nederland in 2028 de tamelijk slecht/ zeer Tamelijk slecht: 16% voor geslacht, heeft variabelen, waarin bont palet Olympische Spelen Olympische Spelen slecht/weet niet Zeer slecht: 11% leeftijd, regio, vragenlijst deels afkomstig aan onderwerpen organiseert? Weet niet: 16% opleidingsnive online uit eigen de revue passeert. au, ingevuld observatie gezinsgrootte (politiek) en en politiek deels afkomstig stemgedrag van het CBS peil.nl aug-08 Er zijn initiatieven om 50% ja/nee/weet niet, ? zelf ? ? ? internet ja ? ? (Maurice de Nederland voor 2028 geen mening aangemeld Hond) te kandideren voor de panel met Olympische Spelen. steekproef Vindt u dat Nederland daaruit zich moet inspannen om die Olympische Spelen naar ons land toe te halen? Sportersmonit okt-08 Ik zou graag zien dat 63% 5 pts: helemaal mee 31 % helemaal GfK 2.465 15-80 20.000 -> internet ja, specifiek sport sportmeningen MI 1 de Olympische eens- helemaal mee /grotendeels mee ConsumerJury 5.700 voor subgroep blok or MI Spelen in 2028 in oneens eens Panel Nederland worden 32% enigszins mee gehouden eens 37% helemaal/ grotendeels mee oneens MSI-ACI feb-09 Wat vindt u ervan de 57% 5 pts: helemaal voor 34% helemaal voor zelf 865 18+ 125.000 internet geslacht en algemeen algemeen eigen het NOC*NSF de - helemaal tegen 23% enigszins voor aangemeld panelleden in leeftijd aanbod ambitie heeft de 26% geen mening panel NL en B voor N*N Olympische Spelen in 8% enigszins tegen (alleen NL 2028 naar Nederland 9% helemaal tegen bevraagd) te halen? Duodecim okt-09 Vindt u het een goed 84% goed idee/ slecht ? kleinere 1.230 12-70 1432 mensen telefoon nee sport sportdeelname- eigen of een slecht idee om idee onderzoeken jaar (respons onderzoek initiatief in 2028 de op lokaal 83%) Olympische Spelen in niveau Nederland te (gemeente) organiseren? 1 Daarnaast worden door het W.J.H. Mulier Instituut in samenwerking met de Universiteit van Amsterdam en de Vrije Universiteit metingen gedaan naar de relaties tussen topsport en nationale trots. In de periode 2008-2010 zijn 23 metingen verricht met mimaal 300 respondenten. Daaruit blijkt dat prestaties in de topsport (76%) het meest bijdragen tot gevoelens van nationale trots; meer dan bijvoorbeeld wetenschappelijke/technologische prestaties (73%), het systeem van sociale zekerheid (61%), prestaties in kunst en cultuur (52%), de manier waarop de democratie werkt (50%), economische prestaties (50%) en de eerlijke/gelijkwaardige behandeling van groepen in de samenleving (39%). In de laatste 8 metingen is ook gevraagd naar de ambitie om de Olympische Spelen in 2028 naar Nederland te halen (54% vóór, 29% tegen, 17% geen mening). Vergelijkbare cijfers zijn in de laatste 4 metingen gevonden voor het draagvlak voor het WK Voetbal in 2018/2022 in Nederland (55% vóór, 30% tegen, 16% tegen). R:\Topsport\Top\Team Olympisch Plan\Parlementaire Zaken\Brief draagvlakonderzoek Olympische Spelen - bijlage SCP.docx

ikregeer.nl

Powered by League of Brilliance