Suomessa on vaikka minkälaista laadutonta tutkimusyritystä. Päädyin taas yhden sellaisen sivuille.
Sain sähköpostiini kutsun osallistua Tutkimus- ja analysointikeskus TAK Oy:n toteuttamaan kyselyyn, TAK Palvelumittariin. Palvelumittarissa tutkitaan hämeenlinnalaisyritysten ja Hämeenlinnan kaupungin palvelun laatua.
Tutkimuksen teettävät Hämeen Sanomat ja Kehittämiskeskus Oy Häme, joista jälkimmäisen omistajia on muun muassa Hämeenlinnan kaupunki.
Hieno juttu sinänsä, että yrityksiä ja kaupunkia kiinnostaa palvelun laatu. Pari pientä muttaa Palvelumittarissa kuitenkin on:
1) Kysymyssarja on liian pitkä – 340 kysymystä* ja 26 sivua.
Kuka jaksaa huvikseen (tai edes palkinnon toivossa) vastata 340 kysymykseen? Tietenkään minun ei tarvinnut kommentoida jokaista kohtaa, mutta silti ne piti kahlata läpi. Aikaa kului hitaan mokkulayhteyden kanssa 56 minuuttia, enkä edes perehtynyt kunnolla kysymyksiin.
Väittäisin, että Palvelumittarin tutkimustuloksiin vaikuttaa huomattavasti se, kuinka syvällä kysymyspatteristossa arvioitava yritys sijaitsee. Pari ensimmäistä sivua jaksaa vielä vastata perehtyen, mutta loput menevät vain arvosanoja viskomalla.
Tämän tietää jokainen ammattitaitoinen tutkimusyritys: mitä laajempi kysymyssarja, sitä vähemmän motivoituneita vastaajia ja sitä epäluotettavammat tulokset.
Ohessa on ote ensimmäisestä kysymyssivusta:
2) Palvelumittarissa väärää vastausta ei voi perua.
Kun olet täysin uupuneena Palvelumittarin 18. kysymyssivulla, kätesi lipsahtaa ja annat vahingossa arvosanan liikkeelle, jossa et ole käynyt. Hups! Arvosanaa ei voikaan enää poistaa.
Onneksi arvosanaa voi muuttaa, joten sitten pitää vain päättää, millaista asiakaspalvelua voisi olla vaikkapa Hattulan kellosepällä tai Aktialla. Positiivinen ihminen heittää viitosen, negatiivinen ykkösen ja neutraali kolmosen. Voisiko tämä hieman vääristää tuloksia?
3) Palvelumittarissa ei ole yksilöity toimipaikkoja.
Millaista palvelua on Tapiolassa? Kertoisin mielelläni, jos tietäisin, tarkoitetaanko Prisman palvelupistettä (erinomaista palvelua) vai keskustan konttoria (neutraalia palvelua).
Yhtä vaikeaa oli kuitata yhdellä arvosanalla kohta ”Kaupungin urheilu- ja liikuntapaikat”. Niitä on pahuksen monta, ja niiden kunto vaihtelee loistavasta kehnoon. Minkä arvosanan annan?
4) Perustelu-kenttä on liian suppea.
Kovin moni ei jaksa perustella antamiaan kolmeasataa arvosanaa, mutta jos jaksaisi, niin perusteluille varattu kenttä on aivan liian pieni. On hankala kirjoittaa kunnon lausetta, kun viiden sanan jälkeen lauseen alku on jo kadonnut näkyvistä, eikä tekstiään näe kokonaisuutena.
Kenttään ei pysty kirjoittamaan esimerkiksi perusteluja Anttilan arvosanalle: ”En tiedä, mitä vastaisin, koska Anttilassa on yksi myyjä, joka on kuin happaman greipin syönyt, mutta siellä on myös upeita, positiivisia työntekijöitä. En koskaan mene sen sitruksia nauttineen kassalle, vaan jonotan mieluummin vaikka puoli tuntia iloisemman myyjän pakeille. Pitäkää puhuttelu sille greipinsyöjättärelle.”
5) Palvelumittarin otos on puolueellinen.
Rohkeasti väitän, että yksikään nuori ei jaksa vastata tuollaiseen kyselyyn. Uskon myös, että melko moni ruuhkavuosiaan elävä perheenäiti tai -isä jättää vastaamatta tutkimukseen, puhumattakaan kiireisistä uraihmisistä tai työtä tekevistä opiskelijoista.
Toki kyselyssä mukana olevat yrittäjät, heidän tuttunsa ja perheenjäsenensä saattavat antaa omat kommenttinsa, mutta on eri asia, kuinka puolueettomia nämä näkemykset ovat.
Palvelumittari onkii todelliset mielipiteet ainoastaan niiltä, joilla on sekä aikaa että kärsivällisyyttä: tämä määritelmä kattaa lähinnä osan eläkeläisistä ja työttömistä. Niinpä jos halutaan saada kunnon otos hämeenlinnalaisten mielipiteistä, tulokset ovat varsin vääristyneet.
6) Kaupunki haaskaa tutkimukseen veronmaksajien rahoja.
Vetoan kohtiin 1-5. Jos tutkimuksen otanta, laajuus ja tekniset seikat ovat jo lähtökohtaisesti pielessä, kerätyt tulokset eivät vastaa todellisuutta.
Olisi mukava tietää, paljonko Kehittämiskeskus Häme ja Hämeen Sanomat maksavat humpuukista. Lupaan tarjota yhtä luotettavat tulokset puoleen hintaan (suoraan omasta hatustani, tunnin toimitusajalla).
* 340 kysymystä sisältää myös vastaajan yhteystiedot, jos tämä haluaa osallistua arvontaan. Laskin kahteen kertaan kysymykset ja päädyin tähän lukuun. Pahoittelen, jos matkalla sattui laskuvirhe, ja oikea kysymysten määrä olisikin ”vain” esimerkiksi 323 kysymystä.
”Kun nyt kerran tutkitaan, niin tutkitaan sitten ihan kaikki mahdollinen. On tuo tutkimuksen teettäminen niin kallistakin…”
Mikko, todennäköisesti juuri näin on käynyt. Sääliksi käy niitä yrittäjiä, jotka haaveilevat saavansa joitain hyödynnettäviä tuloksia ulos tuosta kyselystä.Todennäköisesti jotkut yrittäjät ovat maksaneet Palvelumittarista ekstraa, koska joistakin yrityksistä oli ”syvällisempi” haastatteluosio kuin toisista. Nämä syventävät otokset olivat kyselyn viimeisillä sivuilla, joten tulokset ovat todennäköisesti yhtä tyhjän kanssa.
Katsotaan muuten, mitä olen oppinut hakukoneoptimoinnista. Pääsin artikkelin ekalla versiolla kymmenenneksi hakusanalla TAK Palvelumittari ja 16:nneksi hakusanalla Palvelumittari.Korjasin otsikoita hieman, joten kurkistan huomenna uudelleen, miten pärjään Googlessa. Olisi kiinnostavaa päästä hakutuloksissa TAK:n itsensä edelle. Tavoitteenani on herätellä TAK:n asiakkaita pohtimaan, onko sijoitus järkevä.Ja varmasti TAK:lle itselleenkin on terveellistä analysoida, voisiko tutkimusta jotenkin järkevöittää.
Katleena,Kiitos taas kerran mainioista havainnoistasi, näitä on aina yhtä mukava lukea!Hesarissa oli tänään mielenkiintoinen juttu (17.5.2009, sivu A8) siitä, miten Liikenne- ja viestintäministeriö tekee selvityksiään.Virkamiehet olivat uhkasakon uhalla kiristäneet linja-autoyhtiöitä toimittamaan ”vuorokohtaisia tietoja esimerkiksi keski- ja maksimikuormasta, nousijoista sekä rahti- ja lipputuloista parilta viikolta kesällä 2007.”Pikalinjoja ajavien yhtiöiden edustajat olivat yrittäneet piipittää, etteivät he rekisteröi tai talleta sellaisia tietoja. Arvatenkin datan toimittaminen oli aika hankalaa, kun sitä ei koskaan kerättykään.No, sehän ei tietenkään menoa haitannut. Tiedot oli pakko toimittaa, kun ministeriö niin halusi. Niidenkin perusteella luultavasti taas perustellaan säkenöiviä lakiuudistuksia jossain vaiheessa.
Jari, kiitos kannustuksestasi.Sekä sinun esimerkkisi että Palvelumittari osoittavat, kuinka joillekin on tärkeintä tiedon (tai pikemminkin datan) määrä, ei sen oikeellisuus.Itse väittäisin, että 30 hämeenlinnalaisen syvähaastattelu kasvokkain (2 tuntia per napa) tuottaisi oikeita tuloksia. Kohderyhmä pitäisi valita huolellisesti, jotta se edustaisi väestön keskijakaumaa. Lopuksi jokaiselle voitaisiin lykätä käteen ilmainen hilavitkutin palkkioksi.Se on sitten eri asia, kuinka tutkimustuloksia hyödynnetään. Luotettavistakaan tuloksista ei ole hyötyä, jos palveluntuottaja toteaa ”ai jaa” ja heittää tutkimusprujut roskiin.
Pitäisiköhän tuossa yllä olevassa kommentissani Jarille lukea Sekä sinun antamasi Hesari-esimerkki että Palvelumittari–Tuo kirjoittamani kommentti näyttää siltä, että Jarin oma toiminta antaa esimerkin siitä, kuinka tiedon määrä on tärkeämpää kuin sen laatu.:)