Miten tutkia jääkiekkoilijoiden päätöksentekoa pelitilanteissa?

Pelitilanteessa haastatteleminen on melko lailla mahdotonta. Ei myöskään ole helppoa päätellä miten päätökset syntyvät, mitä vaihtoehtoja mietitään ja mitä jätetään päättämättä pelkästään tarkkailemalla pelaajia. Siksi onkin käytetty jonkin verran suhteellisen hyvää metodia eli laitetaan pelaajien kypäriin kamerat, mistä näkee mihin suuntaan he katsovat. Syntyneitä videoita tutkijat katsovat yhdessä pelaajien kanssa ja haastattelevat heitä samalla siitä mitä he missäkin kohtaa ajattelivat, harkitsivat ja katsoivat. Tällä kypäräkamera –video –haastattelu -menetelmällä ovat esimerkiksi Mulligan et al. (2012)[i] tutkineet pelaajien päätöksentekoa. Video ja siihen liittyvät haastattelut auttavat selvittämään mitä pelaaja on missäkin kohtaa ajatellut. Tutkimuksessa keskityttiin erityisesti selvittämään tilanteiden tuttuuden vaikutusta pelaajien päätöksentekoon. Kokeneemmat pelaajat kuvailivat tilanteita ” tutuksi”   huomattavasti useammin kuin kokemattomammat. Tutkimuksessa huomattiin myös, että tuttuus auttoi tekemään parempia päätöksiä.  

Kiinnostava on myös Martel ja Vickers 2004[ii] silmänliikekameroita käyttävä testi jääkiekon pelaajien käyttämistä vihjeistä puolustustilanteessa. Tästä ei varsinaisesti selviä koko päätöksenteon kognitio, mutta siinä keskityttiinkin keräämään tietoa siitä, mitä pelaajat katsovat tehdessään päätöksiään. Tutkimuksessa selvitettiin miten parhaimpien pelaajien tilanteen visuaalinen hahmottaminen eroaa keskinkertaisten pelaajien visuaalisesta hahmottamisesta. Käytännössä tutkimuksessa vertailtiin maajoukkuetason naispelaajien  päätöksentekoa kansallisen tason naispelaajien  päätöksentekoon. Molemmat naisten joukkueet pelasivat puolustuspeliä nuoria miehiä vastaan.  Pelaajien kypäriin kiinnitettiin silmänliikekamerat, joilla mitattiin katseen kestoa ja suuntaa. Tutkimus alkaa siten, että tutkittava pelaaja pitää silmiään kiinni ja seisoo keskiympyrässä. Tilanteessa tulee 3-2 hyökkäys. Vihellyksen jälkeen pelaaja saa avata silmät ja lähteä puolustamaan. Koska tilanne on jo käynnissä,  hänellä on kiire. Hänen pitää ensin kartoittaa pelitilanne ja tulkita nopeasti vihjeet ja poimia omista kokemuksistansa sopiva reaktio kyseiseen tilanteeseen. Sen  jälkeen hänen pitää siirtyä nopeasti oikeaan kohtaan ja pyrkiä kontrolloimaan tilannetta. Näissä tilanteissa on aina sekä tuttuja että tuntemattomia elementtejä. Tutkimushenkilöt luistelivat nopeasti puolustusalueelle ja samaan aikaan skannasivat vastustajien sijaintia, kiekkoa ja oman joukkueen pelaajien sijaintia jäällä. Tämän jälkeen he pystyivät päättämään mihin sijoittuvat. Toisin sanoen minkä pelaajan vetoja tai syöttöjä he pyrkivät ensisijaisesti estämään.

Testin avulla saatiin kiinnostavaa tietoa miten eri tasoiset pelaajat keräsivät vilkaisemalla tietoja pelitilanteesta

Martel ja Vickers 2004 - tutkimuksessa seurattiin puolustavan pelaajan katsetta minkä hän loi pelin alussa välittömästi vihellyksen jälkeen ja minne hän katsoi luistelun aikana, sekä minkä katseen hän loi juuri ennen lopullista sijoittumistaan tilanteeseen. Havaittiin, että eliittiurheilijat käyttivät nopeaa vilkaisua heti tilanteen alussa. Keskinkertaisilla pelaajilla meni pidempi aika hahmottaa tilanne. Eliittiryhmä pystyi siirtymään taktisesti oikeaan kohtaan nopeammin, koska hahmottivat myös tilanteen nopeammin. Tilanteen loppuvaiheessa juuri ennen lopullista ratkaisua (esimerkiksi syöttöä) eliittiryhmäläiset loivat pidemmän ja vakaamman katseen tilanteeseen, varmistuen että heidän alunperin suunnittelemansa taktiikka oli edelleen pätevä. Kokeneemmat pelaajat eroavat siis vähän vähemmän kokeneista koska pystyvät aloittamaan toiminnan nopeammin ja sitten siirtymään taktisesti oikeampaan paikkaan ja koska juuri ennen toimintaa he varmistavat pidemmälle ja vakaamalla katsella, että toimintaa on halutunlainen ja ettei tilanne ole muuttunut epäedulliseksi.

Jääkiekkotuomarien (tai pelaajien) päätöksentekoa ei oikein voi labrassa tutkia

Hancock & Ste-Marie (2013)[iii] ovat tutkineet laboratorio-olosuhteissa millaisia eroja on kokeneiden tuomarien ja vähemmän kokeneiden tuomareiden päätöksenteossa. Laboratorio-olosuhteissa ei huomattu mitään eroa siinä mihin tuomarit katsoivat tai kuinka pitkään. Muissa aiemmissa tutkimuksissa on huomattu, että nimenomaan se, että osaa katsoa oikeita asioita ja ennakoida mihin pitää katsoa, erottaa hyvät tuomarit keskinkertaisista. Ero saattaa johtua siitä, että kun katsotaan videolta tiedetään jo mikä on olennaista mihin kuuluu keskittyä. Eikä tämä tutkimusmenetelmä ehkä kerro juuri mitään siitä, mitä oikeasti kentällä tapahtuu. Oikeassa pelitilanteessa on hyvin monta asiaa johon pitää kiinnittää huomiota.

---

[i] Mulligan, D., McCracken, J., & Hodges, N. J. (2012). Situational familiarity and its relation to decision quality in ice-hockey. International Journal of Sport and Exercise Psychology, 10(3), 198-210.

[ii] Martell, Stephen G & Vickers, Joan N. (2004): “Gaze characteristics of elite and near-elite athletes in ice hockey defensive tactics”, Human Movement Science, 22(6),p.689-712, Apr 2004

[iii] Hancock, David J., and Diane M. Ste-Marie. "Gaze behaviors and decision making accuracy of higher-and lower-level ice hockey referees." Psychology of Sport and Exercise 14.1 (2013): 66-71.

Intuition tutkimuksessa käytetyn RPD-mallin kehittelyn historia

Intuitiivisen päätöksenteon tutkimus on oikeastaan käynnistynyt, kun A. DeGroot tutki shakinpelaajia vuonna 1978 ja ihmetteli sitä, miten parhaat pelaajat pystyivät päätymään optimaaliseen ratkaisuun. Keskinkertaiset pelaajat eivät useinkaan edes harkinneet parhaimpia siirtoja. Parhaat pelaajat erosivat lisäksi keskinkertaisista pelaajista siinä, että he pystyvät nopeammin arvioimaan mahdolliset pelisuunnat hyviksi tai huonoiksi.

Vähän myöhemmin eli vuonna 1986 Gary Klein tutki tutkimusryhmänsä kanssa palopäällikköjen päätöksentekoa yhdessä kollegoidensa kanssa. ”Rapid decision making on the fireground”-nimisessä artikkelissa todetaan, että palopäälliköt tarkastelevat akuutissa tilanteessa yhtä mahdollista toimintatapaa kerrallaan (sitä mikä ensin tulee heidän mieleensä). Jos se on riittävän hyvä tapa toimia, he eivät edes harkitse muita tapoja. Jos ensin mieleentuleva tapa osoittautuu pikaisen harkinnan päätteeksi huonoksi, he muokkaavat sitä. Jos muokkaaminen ei onnistu, tai toimintatapa on edelleen huono, he hylkäävät sen ja miettivät seuraavaa mahdollista mieleen tulevaa vaihtoehtoa. Nämä vaihtoehdot eivät kuitenkaan pullahda mieleen ihan tyhjästä, vaan perustuvat kokemukseen. Lienee selvää, että toivomme palopäällikköjemme olevan kokeneita ja asiantuntevia. Noviisien tekemät päätökset olisivat varmasti aika lailla erilaisia kuin kokeneiden palomiesten. Kokeneella palomiehillä on tietoa siitä miten tuli leviää rakennuksessa, he osaavat tulkita merkit siitä milloin talo saattaa romahtaa, he tietävät milloin kannattaisi pyytää lisää apua ja monia muita asioita.

Vuonna 1988 tapahtui kansainvälinen tragedia kun USS Vincennes vahingossa ampui alas Iranilaisen lentokoneen. Tähän tapahtumaan liittynyttä päätöksentekoa on tutkittu paljon. Ja sen seurauksena Yhdysvaltojen merivoimat päätti aloittaa TADMUS (= Tactical Decision Making Under Stress) -tutkimusohjelman päätöksenteosta[i]. Seuraavana vuonna 30 tutkijaa osallistui ohjelmaan ja pyrki löytämään yhtäläisyyksiä palopäälliköiden, ydinvoimalasuunnittelijoiden, moottoritiesuunnittelijoiden ja muiden ryhmien päätöksenteosta. Tämän seurauksena syntyi vuonna 1993 kirja Decision making in action: Models and methods, mitä pidetään intuitiivisen päätöksenteon tärkeimpänä teoksena. Tutkijoiden päätavoitteena oli poistaa mystiikka intuitiivisesti päätöksenteosta. Tutkimustekniikkana he käyttivät haastattelua, minkä avulla selvitettiin miten ihmiset ovat tehneet päätöksensä. Tätä menetelmää käytettiin esimerkiksi Crandall ja Getchell-Reiter  tekemässä tutkimuksessa, missä selvitettiin hoitajien päätöksentekoa vastasyntyneiden teho-osastolla. Havaintojen mukaan hoitajat pystyvät huomaamaan tulehdukset jo ennen kuin verikokeiden tulokset tulivat. Kun heiltä kysyttiin, he eivät aluksi pystyneet kertomaan miten he tiesivät tulehduksista. Kun asiaa tutkittiin tarkemmin selvisi, että on tiettyjä vihjeitä siihen suuntaan ja kokemuksen perusteella hoitajat pystyivät päättelemään milloin on kyse tulehduksesta ja milloin ei. Tutkijat totesivat, että on olennaista tunnistaa vihjeet, joita asiantuntijat käyttävät tehdessään päätöksiä.

Gary Klein kehitteli aiempien tutkimusten pohjalta intuitiivisen päätöksenteon teoriaa. Hän kutsuu sitä tunnistamiseen perustuvaksi malliksi (englanniksi RPD =  recognition primed decision making). Klein testasi mallin toimivuutta useissa päätöksentekotilanteissa ja julkaisi aiheesta kirjan ”Sources of power: How people make decisions” vuonna 1998. Kleinin tutkimuksen mukaan sairaanhoitajat, systeemisuunnittelijat, armeijan toimihenkilöt, öljynporauslauttojen johtajat ja osakevälittäjät tekevät päätöksiä kiireessä siten, että he ensin tunnistavat onko tilanne heille entuudestaan tuttu. Tämän jälkeen he miettivät siihen sopivia toimintatapoja. Tämä prosessi voidaan tehdä joko alitajuisesti tai tiedostavasti harkiten. Mahdollisuudet jakaantuvat kolmeen erilaiseen ryhmään (katso alla oleva kuva). Kokenut päätöksentekijä tunnistaa onko tilanne tuttu ja voiko siinä käyttää vanhoja kokeiltuja toimintatapoja. Jos voi ja toimintatavat ovat hyviä, niin niitä käytetään. Jos vanhat toimintatavat tuntuvat huonoilta, luodaan uusia tapoja. Jos tilanne on tuntematon, siihen sovitellaan vanhoja muissa tilanteissa kokeiltuja toimintatapoja. Kuviosta puuttuu looginen neljäs vaihtoehto eli tuntematon tilanne mihin ei vanhat kokeillut toimintatavat päde, koska se ei enää ole intuitiivista päätöksentekoa. 

Intuitiivinen päätöksenteko on siis tilanteiden ja toimintatapojen tunnistamisprosessia, tärkeää on tunnistaa olennaiset vihjeet ja tietää kokemukseen perustuen miten kannattaa toimia. 

Intuitiivinen päätöksenteko - lähteet 

• Gladwell, Malcolm (2005): Välähdys – alitajuisen ajattelun voima (alkuteos Blink – the power of thinking without thinking)
• deGroot, A. D. (1978). Thought and choice in chess. The Hague: Mouton. (Original work published 1946)
• Klein, G. A., Calderwood, R., & Clinton-Cirocco, A. (1986). Rapid decision making on the fireground. In Proceedings of the Human Factors and Ergonomics Society 30th Annual Meeting (Vol. 1, pp. 576-580). Norwood, NJ: Ablex.  
• Collyer, S. C., & Malecki, G. S. (1998). Tactical decision making under stress: History and overview. In J. A. Cannon-Bowers & E. Salas (Eds.), Making decisions under stress: Implications for individual and team training (pp. 3-15). Washington, DC: American Psychological Association.
• Klein, G. A, J. Orasanu, R. Calderwood, & C. E. Zsambok (Eds.) (1993): ”Decision making in action: Models and methods” (pp. 138-147). Norwood, NJ: Ablex
• Klein, G. A. (1993). A recognition-primed decision (RPD) model of rapid decision making. In G. A. Klein, J. Orasanu, R. Calderwood, & C. E. Zsambok (Eds.), Decision making in action: Models and methods (pp. 138-147). Norwood, NJ: Ablex
• Crandall, B., & Getchell-Reiter, K. (1993). Critical decision method: A technique for eliciting concrete assessment indicators from the “intuition” of NICU nurses. Advances in Nursing Sciences, 16(1), 42-51.
• Klein, Gary A. (1998). Sources of power: How people make decisions. Cambridge, MA: MIT Press, pp. 1-30.

---

[i] Tämä TADMUS-ohjelma ja sen taustat on kattavasti esitelty Collyer ja Maleckin kirjoittamassa artikkelissa ”Tactical decision making under stress: History and overview”, mikä puolestaan on julkaistu kirjassa ”Making decisions under stress: Implications for individual and team training”.

Ongelmalliset sukupuoli- ja rotustereotypiat ja miten huomioida ne tutkimuksia tehdessä

Käytämme stereotypioita koko ajan, koska ne yksinkertaistavat ajattelua ja tekevät maailmasta helpommin käsiteltävän. Siinä ei sinänsä ole mitään pahaa, emme voisi tehdä minkäänlaisia kvantitatiivisia tutkimuksiakaan, jos emme olisi valmiita yleistämään tutkimustuloksia. Ongelmallisia stereotypiat ovat silloin kun niistä on merkittävää haittaa kohteelle ja ne eriarvoistavat oletusarvoisesti ihmisiä. Tällöin stereotypiat ja ennakkoluulot johtavat siihen, että kohtelemme jotain ihmistä huonosti. Miranda Fricker (2007)[i]  kertoo esimerkin: jos joku nainen esittää kokouksessa mielipiteen, niin se helposti ignoorataan. Jos taas sen saman mielipiteen esittää mies, tulee hyväksyvää mutinaa ja kommenttipuheenvuoroja tukien mielipidettä. Kuuntelija siis arvioi puhujan kapasiteettia (vähän niin kuin talenttia) sen tiedon tuottajana ja mahdollisesti aliarvioi tiedon pätevyyttä liittyen joihin ennakkoluuloihin (stereotypioihin), joita hänellä on ennestään puhujasta.  Samasta asiasta on kyse, jos poliisi pysäyttää mustan miehen ja epäilee tämän varastaneen auton, mutta ei samassa tilanteessa epäilisi valkoista miestä. Tällöin on kohdeltu näitä henkilöitä epäoikeudenmukaisesti ja he ovat kokeneet vääryyttä perustuen stereotypioihin ja olettamuksiin. Tyypillisesti huonoista stereotypioista kärsivät naiset, joita vähätellään sukupuolen vuoksi tai vähemmistörotujen edustajat, joita pidetään erilaisina (outoina) ja sopimattomina tiettyihin tehtäviin.

Miksi sukupuolirooleihin liittyvät stereotypiat ovat ongelmallisia

Iris Bohnet (2016)[ii] on tutkinut sukupuolirooleihin liittyviä ennakkoluuloja ja stereotypioita, mitkä näkyvät esimerkiksi siinä, että olemme yllättyneitä jos on mieshoitajia tai naisinsinöörejä. Ihmisten määritteleminen sukupuolen perusteella on ongelmallista tilanteissa,  missä se johtaa epätasa-arvoiseen kohteluun. Vaikka ilmiö on alitajuinen, sillä on silti suuri merkitys. Yhdysvalloissa herättiin tähän ongelmaan, kun huomattiin että orkestereihin palkatuista muusikoista vajaa 20% oli naisia. Kun alettiin järjestämään työhönottoon liittyviä koesoittoja verhon takana, siten etteivät arvioitsijat eivät näe hakijan sukupuolta, naisten osuus nousi 40%:iin. Iris Bohnet kertoo myös toisesta ilmiötä valottavasta testistä mikä tehtiin Harwardin yliopistossa. Opiskelijoille kerrottiin tositarina Heidistä. Kerrottiin miten Heidi menestyi liike-elämässä. Mielenkiintoiseksi  tutkimus muuttui siinä vaiheessa, kun osalle oppilaista kerrottiin sama tarina siten, että vaihdettiin Heidin nimi Howardiksi. Kun opiskelijoilta jälkikäteen kysyttiin mielipidettä tarinoista, he pitivät Howardista enemmän ja hänen tarinaansa pidettiin opettavaisempana kuin Heidin.  Opiskelijat myös palkkaisivat Howardin todennäköisemmin kuin Heidin.

Rotuihin liittyvät ennakkoluulot ja niiden ongelma

Claude Steel (2010)[iii] kertoo tutkimuksesta, missä tutkittiin rotuihin liittyviä stereotypioita. Tutkimuksessa oli joukko amerikkalaisia opiskelijoita, joukossa sekä valkoihoisia että mustaihoisia. Heille kerrottiin, että kyseessä on älykkyystesti. Mustaihoiset pärjäsivät huonommin. Verrokkiryhmälle ei kerrottu, että kyseessä on älykkyystesti. Tässä ryhmässä mustaihoiset pärjäsivät yhtä hyvin kuin valkoisetkin. Ero johtuu vallalla olevasta negatiivisesta stereotypiasta mustaihoisten älykkyydestä, mitä mustilla on itsestään (ja valtaväestöllä myös). On helppo havaita miten ongelmallinen tuo stereotypia on.

4 tapaa huomioida ongelmalliset stereotypiat tutkimuksia tehdessä

Kysymysjärjestys on olennaista. Jos ensin kysytään sukupuolta ja sitten jotain sukupuolisesti värittynyttä asiaa (vaikka urheiluun tai tekniikkaan liittyvää mielipidettä) saattaa vastaukset erota huomattavasti siitä, jos sukupuolta kysyttäisiin vasta tämän jälkeen.

Jos käytetään jotain esimerkkiä missä kerrotaan henkilöstä on syytä miettiä tarkkaan henkilön sukupuolta (ja muita ominaisuuksia)

Sukupuoli ja rotu eivät ole ainoita ongelmallisia muuttujia. Myös ikä, asuinpaikka, uskonto ja tulotaso saattavat olla värittyneitä. (vertaa mielikuvaa mikä syntyy, jos kerron Kauniaisissa asuvasta tai Kiteellä asuvasta ihmisestä).

Kun tutkitaan jotain tilannetta, mihin saattaa liittyä stereotypioita on hyvä toki selvittää taustakysymykset (sukupuoli jne), mutta tehdä ne vasta jälkikäteen. Tällöin voi verrata onko vastaukset esim. sukupuolen mukaan erilaisia ja tehdä päätelmiä johtuuko erot todellisista eroista vai ovatko ne stereotypioiden luomia.

---

[i] Edmonds, David  & Warburton, Nigel (2007): ”Miranda Fricker on Epistemic Injustice”, Philosophy Bites Podcast by David Edmonds & Nigel Warburton, who interview special quests, 16.6.2007

[ii] Bohnet, Iris (2016): ” Iris Bohnet on Discrimination and design”, Social Science Bites  Podcast by David Edmonds & Nigel Warburton, who interview special quests, 10.5.2016

[iii] Steel, Claude (2010):  Whistling Vivaldi – How stereotypes affect us and what can we do?

Miten kysymyskaavakkeen paperin väri vaikuttaa kirjekyselyssä vastausprosenttiin?

Vaikka kirjekyselyt alkavat olla hyvin harvinaisia näin nettikyselyiden aikakaudella, esittelen silti kiinnostavan ja perusteellisen tutkimuksen siitä, miten kyselytutkimuksen paperin väri vaikuttaa vastausprosenttiin. Etter et al. (2002)[i] testasivat valkoista ja vihreää paperia ja totesivat, ettei vastausprosenteissa ollut juuri ollenkaan eroja. He olivat tästä tuloksesta yllättyneitä ja alkoivat perehtymään muihin aiempiin testeihin paperin värin vaikutuksista kyselytutkimusten vastausprosentteihin. Näitä  aiempia viestejä löytyi 8 kappaletta. Etter et al tutkimus ja nuo 8 muuta on listattu alla olevaan taulukkoon. Taulukossa on myös listattuna vastausprosentit. Eri tutkimuksissa on ollut mukana eri värisiä papereita ja siksi taulukossa on aukkoja. 

	Valkoinen	Pinkki	Vihreä	Sininen	Keltainen
Greer & Lohtia 1994, n=200	14 %	15,5% (11% parempi)	14,5% (4% parempi)		14,5% (4% parempi)
Matteson 1974, n=1020	25,60 %	28,3% (11% parempi)
Fullerton & Dodge 1988, n=766	24,10 %	27,5% (14 parempi)		25,6% (6% parempi)	22,9% (5% huonompi)
Gullahorn & Gullahorn 1963, n=3670	49,30 %		50,9% (3% parempi)
Pucel 1971, n=98	42,90 %		50% (17% parempi)
Etter et al. 2002, n=850	73,30 %		73,6% (sama)
Jobber & Sanderson 1983, n=400	55,50 %			58,8% (6% parempi)
White & Chambers 1997, n=139	41 %			38% (7% huonompi)
Buttle & Thomas 1997, n= 2125	29,30 %				28,2% (4% huonompi)

 Yhteenvetona taulukon luvuista voidaan nähdä, että

• Pinkki on 12% parempi kuin valkoinen
• Vihreä on 2% parempi kuin valkoinen
• Sininen on 3% parempi kuin valkoinen
• Keltainen on 4% huonompi kuin valkoinen

Mikään tutkimuksista ei löytänyt mitään yhteyttä  kaavakkeen väärin ja vastaamisnopeuden tai vastaamisen huolellisuuden välillä. Toisin sanoen, jos vielä teet kirjekyselyitä postitse, harkitse pinkkiä paperia koska se nostaa pullia 12%, mutta älä kokeile keltaista.

LÄHTEET

-       Buttle, F & Thomas G. (1997): “Questionnaire colour and mail survey response rate”, Journal of the Mareketing Research Society, 39, p. 625-262.

-       Fullerton, S & Dodge, R. H. (1988): “The impact of color on the response rates for mail questionnaires”, Academy of Marketing Society proceedings, 11, p. 413-415.

-       Greer, Thomas V.& Lohtia, Ritu (1994): “Effects of source and paper color on response rates in mail surveys”Industrial Marketing Management, Volume 23, Issue 1, February 1994, Pages 47–54

-       Gullahorn, J.E. & Gullahorn J.T. (1963): “An investigation of the effects of three factors on response to mail questionnaires”, Public Opinion Quarterly, 27, p. 294-296.

-       Jobber, D & Sanderson, S (1983): “The effect of prior letter and colored questionnaire on mail survey response rates”, Jounal of the Market Research Sopciety, 25, p. 339-349.

-       Matteson, M.T. (1974): “Type of transmittal letter and questionnaire color as two variables influencing response rates in mail survey”, Journal of Applied Psychology, 59, 535-536.

-       Pucel, D.J. & Nelson H.F. & Wheeler D.N. (1971): “Questionnaire follow-up returnsa as a function of incentives and responder characteristics”, Vocational Guidance Quarterly, 19, p. 188-193

-       White, M.B. & Chambers, K.M. (1997): “Type of cover letter and questionnaire color: Do they insluence the response rate in survey research with marriage and family therapists?”, Family Therapy, 24, p.19-24.

-       Etter, Jean-François & Cucherat, Michel & Perneger, Thomas V. (2002): “Questionnaire Color and Response Rates to Mailed Surveys: A Randomizedtrial Anda Meta-Analysis”, Eval Health Prof June 2002 vol. 25 no. 2 185-199

Kiitos kuvasta Ambro at free digital photos.net

---

[i] Etter, Jean-François & Cucherat, Michel & Perneger, Thomas V. (2002): “Questionnaire Color and Response Rates to Mailed Surveys: A Randomizedtrial Anda Meta-Analysis”, Eval Health Prof June 2002 vol. 25 no. 2 185-199