Esimerkki todella huonosti laaditusta kyselystä: Varo näitä virheitä

Sähköpostiini tuli tänään kysely taloushallinnon ohjelmistoista. Koska olen yrittäjä ja hoitanut kaikki nuo lähinnä Ecxelin avulla ajattelin vastata kyselyyn ja kertoa miten toimin. Samalla ajattelin saada lisätietoa taloushallinnon ohjelmistoista. Tällä motivaatiolla siis vastaamaan kyselyyn. Ensimmäisten kysymysten joukossa oli tällainen kysymys:

No, koska en kerta kaikkiaan tunne yhtään, pyrin siirtymään seuraavaan kysymykseen. Mutta sepä ei onnistunutkaan:

Olin kiltti ja vastasin siis:

Tästä on yritykselle varmaan ”paljon” hyötyä. Tuntui melko turhauttavalta vastata. Älä pakota vastaajaa vastaamaan hänelle turhiin kysymyksiin. Se turhauttaa ja ärsyttää vastaajaa. Seuraavaksi kysytään miten hyvin tunnen seuraavat ohjelmistot. Ihmettelen, eikö edellä muka käynyt jo selväksi, etten tiedä. Ylimpään kysymykseen pystyi vastaamaan ihan rehellisesti ja aidosti. Keskimmäisessä kysymyksessä oli valikko, jossa oli vaihtoehtona ”En tiedä”. Hyvä niin, koska nimien perusteella ei mikään houkuttele. Tähän asti kaikki tällä sivulla hyvin. Sitten tuo viimeinen kysymys. Perustelut, mikä tekee valitusta vaihtoehdosta ”en tiedä” houkuttelevimman. Öö? Yritin hypätä kysymyksen yli, mutta ei niin vain onnistunutkaan, koska tuo punainen virheilmoitus tuli seuraavaksi:

Kysymyskaavake kannattaa miettiä ihan kaikkien vastaajien näkökulmasta. Huolehdi aina siitä, että jokainen vastaa vain niihin kysymyksiin, mitkä koskevat itseä. Tämä vaatii vähän vaivannäköä, koska kaavakkeeseen pitää rakentaa hyppyjä. Jos hyppyjen rakentaminen ei onnistu, pitää toimia samalla tavalla kuin ennen paperikaavakkeissa. Eli ohjeistaa vastaajaa siitä, että voit hypätä seuraavien x kpl kysymysten yli, jos et vastasin tällä tavalla. 

Seuraavaksi halutaan, että arvioisin yhtä edellä mainituista yrityksistä. Yrityksistä, joita en siis tunne edes nimeltä. Miten vastaan?

Melko loogiseltahan tuntuisi hypätä kysymyksen yli, mutta se ei onnistu. Taas tulee virheilmoitus ”Vastaathan kaikkiin tähdellä merkittyihin kysymyksiin”. Laitoin kaikkiin keskimmäisen vaihtoehdon eli kolmosen ja toivoin, ettei asiakaspalvelun bonukset ole kiinni siitä, että keskiarvoksi tulisi vähintään 4,5 niin kuin monissa firmoissa. Älä pakota vastaajaa vastaamaan asioihin, joita hän ei tiedä. Saat virheellisiä vastauksia, jotka vääristävät tutkimuksen lopputuloksia.

Kaiken tämän jälkeen ei ole yllättävää, että tästäkin kysymyksestä puuttuu kokonaan se vaihtoehto, ettei asioi minkään tilitoimiston kanssa, vaan hoitaa ihan itse. Eikä vastausta taaskaan voi edes ohittaa. Virheelliset ja tutkimuksen tuloksia vääristävät elementit jatkuvat:

Nyt mun alkaa jo käydä sääliksi Procountoria, jonka epäilen kärsivän suuresti huonosti laaditusta kyselystä. En silti usko suosittelevani yritystä, jota en ennen tätä kyselyä tuntenut edes nimeltä. Vastaan siis 1= en suosittelisi ja toivon todellakin, ettei kenenkään palkka ole kiinni siitä miten vastaan tai siitä, että kyselystä tulee huono NET PROMOUTER SCORE. 

Lienee selvää, että en ole ollenkaan kyselyn kohderyhmää. Ymmärrän, että joskus on vaikea tietää ketkä ovat potentiaalisia asiakkaita, eikä nykyisiäkään asiakkaita aina tunnisteta. Tämän takia onkin tärkeää, että kyselyssä selvitetään vastaajan taustat eli mihin ryhmään hän kuuluu. Parilla kysymyksellä tämä olisi selvinnyt. Olisi voinut esimerkiksi kysyä avoimesti, ilman johdattelua ”Miten yrityksessänne hoidetaan tilitoimistoyhteistyö?”. Jos oma mielikuvitus vaihtoehtojen kanssa loppuu, käytä avoimia kysymyksiä. Toisaalta kysymyksellä missä on valmiit vastausvaihtoehdot olisi voitu saada valmiiksi luokiteltu vastaajat vaikkapa seuraaviin ryhmiin jatkotoimenpiteitä varten: toivottomat, potentiaaliset, kilpailijan asiakkaat, omat asiakkaat. Selvitä aina vastaajien taustat ja suhde tutkittavaan asiaan. Vaatii aika paljon vaivaa rakentaa kyselyyn hyppyjä, mutta suosittelen niitä lämpimästi. Jos jokaiselle vastaajalle tulee vain häntä itseään kiinnostavia ja olennaisia kysymyksiä he vastaavat kysymyksiin rehellisesti ja mielellään. Saat oikeaa tutkimustietoa. Älä pakota vastaajia vastaamaan, jos et jaksa käyttää hyppyjä, laita joka kysymykseen vaihtoehto en osaa sanoa. Avoimet kysymykset ovat hyviä, koska vastaaja voi niissä selittää omia vastauksiaan.

Vastattuani kyselyyn etsin vielä sähköpostilinkin esiin ja ajattelin, että otan yhteyttä kyselyn laatijaan ja puhun hänen kanssaan, enkä julkaise blogissa mitään hienotunteisuussyistä. Yhteystietoja ei kuitenkaan ollut lainkaan, ei firmaa eikä kenenkään nimeä. Laita tutkimuskutsuun aina yhteystiedot, mistä vastaajat voivat kysyä kyselyn taustoista ja siitä mihin tuloksia käytetään. On turha pelätä mitään sähköpostitulvaa. Olen parikymmentä vuotta näitä tehnyt. Todella harvoin kukaan kysyy mitään. Yleensä kysymykset ovat sitä paitsi tosi hyviä ja aika usein paljastuu, etten ole huomannut ajatella ihan kaikkea kyselyä laatiessani. Mikä auttaa kehittämään kyselyä jatkossa ja varsinkin se auttaa tutkimuksen tulosten tulkinnassa.

Vaikka nykyisin monet sähköiset välineet mahdollistavat ”ilmaisten” kyselyjen laatimisen ihan jokaiselle, kannattaa kuitenkin miettiä tarkkaan kannattako se. Jos käyttäisi ammattilaista saisi luotettavia tutkimustuloksia. Lisäksi (riippuu vähän ketä käyttää) saattaa saada markkinointiargumentteja, tulevasuutta luotaavia näkökulmia, ehdotuksia strategiaan, markkinointiin ja asiakassegmentointiin. Oma yritykseni Miratio tarjoaa noita kaikkia ja tekee mielellään kyselyn sinullekin. Yritykseni tarjoaa myös konsultointipalvelua pienen budjetin toimijoille, jotka haluavat säästää rahaa ja tehdä itse (katso Tutkimusguru). Jo pelkästään kysymyskaavakkeen kommentointi ja sparraus pelastaisi monta tutkimusta. Jos kysymyskaavake on huonosti laadittu, kuten yllä olevassa esimerkissä ei ole mitään mahdollisuutta pelastaa tutkimusta. Jos tutkimus tuottaa virheellistä tietoa ilmaiseksi, kuinka kannattava investointi se on?