Olen ihmetellyt, miksei Tutkimus- ja Analysointikeskus TAK kommentoi mitään, vaikka olen solvannut sen Palvelumittaria taannoisessa postauksessani.
Nyt TAK:n toimarilta tuli viesti, jonka julkaisen sellaisenaan:
Lomakkeen pituudesta
Kysely on pitkä, kuten totesit. Se on kuitenkin vastaajalle helppo, sillä kysymyksillä arvioidaan suurta joukkoa yrityksiä samalla arvoasteikolla. Tarkoitan tällä sitä, että joka sivulla ei tarvitse miettiä, mitäs tässä nyt kysytäänkään.
Vastaajat todellakin voivat arvioida vain niitä yrityksiä joita haluavat ja heitä pyydetään arvioimaan vain yrityksiä, joissa ovat asioineet kuluneen puolen vuoden aikana. Jos vastaaja väsyy vastaamaan, hän todennäköisemmin hyppää sivujen yli vastaamatta kuin ’viskoo’ arvosanoja. Hämeenlinnan TAK Palvelumittari –tutkimuksessa vastaajat arvioivat keskimäärin viittä lomakkeen alkupäässä olleista 31 vaateliikkeestä sekä viittä liikettä lomakkeen loppupään toimialoilta (kenkä-, kodinkone-, apteekki- ja kultasepänliikkeet, yhteensä 27 liikettä). Näin ollen ei voida myöskään sanoa, että vastaajat olisivat vastanneet passiivisemmin loppupään kysymyksiin.
Hämeenlinnan 680 vastauksesta vain neljännes (172 vastausta) tuli Internet-kyselystä. Valtaosa vastauksista (456 vastausta) kerättiin siten, että haastattelijat täytättivät lomakkeen otokseen valituilta. Lisäksi viitisenkymmentä vastausta saatiin jakamalla lomakkeita palautuskuorineen eri liikkeissä. Täytettäessä paperista lomaketta, jonka pituus on 7 sivua, lomake ei tunnu yhtä pitkältä. Olet varmaan itsekin törmännyt jopa 20-sivua pitkiin postikyselyihin.
Väärän vastauksen perumisesta
Nettikyselyohjelmassa todellakin oli sellainen ongelma, että vastausta ei voinut perua. Se ongelma saatiin poistettua alkukesästä. Käytännössä vastaajat tällaisessa tilanteessa yleensä laittavat vastauksen arvoasteikon puoliväliin, mikä on ikään kuin neutraali vastaus.
Toimipaikkojen yksilöinnistä
Pääsääntöisesti toimipaikat on yksilöity lomakkeessa. Ainoastaan sellaisissa tapauksissa, joissa ei voida odottaa toimipaikan saavan vähintään 50 vastaajan arviota, toimipaikkoja ei yksilöidä. Tämä nimenomaan siksi, että kysymyslomake ei venyisi vielä nykyisestään. Tällaisessa tapauksessa tulos kuvaa sitä, kuinka tyytyväisiä asiakkaat ovat kyseisen yrityksen toimipaikkoihin yhteensä painottaen toimipaikkojen asiakasmääriä.
Perustelu-kentän suppeudesta
Olet oikeassa siinä, että perustelu-kenttä on suppea. Sen suurentamista rajoittaa jälleen se, että lomake ei tulisi liian raskaan näköiseksi. Tekstikenttää on jonkin verran pidennetty keväästä.
Otoksen puolueellisuudesta
Kyselyyn vastanneista 15,5 % oli 15-24 –vuotiaita (ikäryhmän osuus Kanta-Hämeenlinnan yli 15-vuotiaasta väestöstä on 15,4 %).
Itse asiassa kaikkein heikoimmin tutkimuksessa ovat edustettuina vanhukset, joiden osuus on vain runsaat 8 % vastanneista. Tutkimuksen analysointivaiheessa aineistoa kuitenkin painotetaan siten, että se vastaa väestön ikäjakaumaa.Aineiston analysointivaiheessa tehdään myös ns. luotettavuustarkastelu, jossa tuloksia verrataan yrityskohtaisesti eri aineistonkeruutavoilla saaduissa aineistoissa. Ts. jos esimerkiksi Internet-kyselyssä joku yritys saa paremman tuloksen kuin haastattelijoiden tekemässä kyselyssä, vastaukset tarkastellaan yksittäin mahdollisten manipulointiyritysten löytämiseksi. Tämän kevään tutkimusaineistosta poistettiin tämän luotettavuustarkastelun perusteella 22 vastausta.
Verorahojen tuhlauksesta
Tutkimuksen keskeinen tavoite on saada yritykset kilpailemaan hyvällä palvelulla mittaamalla asiakastyytyväisyyttä vuosittain ja palkitsemalla julkisesti parhaiten menestyneet yritykset. Tämän vuoden paras yritys Hämeenlinnassa, Olutravintola Birger, sai vuonna 2007 asiakastyytyväisyyttä kuvaavan tyytyväisyysindeksin arvoksi +20, vuonna 2008 +30 ja tänä vuonna +41. Vuoden 2007 heikoimmin menestyneen yrityksen vastaavat luvut olivat -8, -3 ja +12. Kaikilla yrityksillä kehitys ei tosin ole näin myönteistä, mutta olemme tehneet tutkimusta vuodesta 1997 lähtien kymmenillä eri paikkakunnilla ja yleisesti ottaen voidaan todeta, että asiakastyytyväisyys näillä paikkakunnilla on kehittynyt myönteiseen suuntaan.
Kiitos palautteesta
Kiitän lämpimästi antamastasi palautteesta. Harmi vain että et lähettänyt sitä myös suoraan meille julkaistuasi sen blogissasi. Näin olisimme voineet reagoida palautteeseen välittömästi. Joka tapauksessa kaikki palaute on arvokasta ja johtaa yleensä myös kehittämistoimiin.
Kunnioittaen
Pasi Nurkka
toimitusjohtaja
Tutkimus- ja Analysointikeskus TAK Oy
Kiitokset Pasille hyvin jäsennellystä vastineesta! Hienoa, että vastausten ikäjakauma on kunnossa. Kiitos myös nettilomakkeen korjaamisesta.
Pidän kuitenkin yhä Palvelumittarin tuloksia epäluotettavina, ja perustelen sitä seuraavasti:
1) Vastaukset ovat vajaita.
Koska annettujen vastausten määrä painottuu valtavan kyselypatteriston alku- ja loppupäähän, keskivälin liikkeet jäävät vaille luotettavaa arviota.
On myös olennaista ymmärtää, että vaikka vastaajia on ollut 680, jokainen liike ei ole saanut toiminnastaan 680:tä erillistä arvosanaa. Päinvastoin: jokin liike on saattanut saada vain kuusi arvosanaa. Tämä ei ole enää tilastollisesti merkittävä lukema. Niinpä kyseinen yritys olisi saattanut voittaa (tai hävitä) oman sarjansa, jos sitä olisi arvioinut esimerkiksi 100 kaupunkilaista.
Tästä olisi mukava kuulla enemmän: Pasi, mikä oli annettujen arvosanojen kokonaismäärä siinä yrityksessä, jota arvioitiin useimmin? Entä mikä oli arvosanojen kokonaismäärä siinä yrityksessä, jota arvioitiin vähiten? Mikä oli arvosanojen määrien keskiarvo per yritys?
2) Palvelumittari kerää huolimattomia vastauksia normaalia enemmän.
TAK luottaa siihen, että kun vastaaja kyllästyy, hän mieluummin hyppää yli kuin viskoo arvosanoja. Itse en olisi niin varma, sillä ihmiset ovat kovin erilaisia. Itse kuulun siihen ryhmään, joka ensin keskittyy tutkimukseen, sitten arpoo ja vasta lopuksi ohittaa kysymyksiä.
Jokaiseen kyselytutkimukseen päätyy vastaajia, jotka roiskivat arvosanansa. Palvelumittarissa tämä porukka on normaalia suurempi, koska kysely on niin järkälemäinen.
3) Ne yritykset, joilla on usea toimipaikka, eivät saa varmaa tulosta.
Minun on vastaajana hankala antaa Tapiolan kahdelle eri toimipaikalle yksi kattava arvosana. Lisäksi tapiolalaisten on mahdotonta kehittää asiakaspalveluaan mokoman yleisarvosanan perusteella. Siitä ei voi tietää, ovatko vastaajat arvioineet Tapiolaa toimipaikkojen keskiarvon mukaan vai ovatko he pisteyttäneet Tapiolan huonomman tai paremman toimipaikan mukaan.
4) Asiakastyytyväisyyden parantuminen ei ole automaattisesti Palvelumittarin ansiota.
On turhan rohkeaa väittää, että juuri Palvelumittari on pistänyt yritykset kehittämään toimintaansa ja siten parantanut asiakastyytyväisyyttä. Ehkä pikemminkin lisääntynyt kilpailu on syynä palvelun parantumiseen. Väitän myös, että nousukausi on kasvattanut tyytyväisiä asiakkaita, ja lama tulee lisäämään tyytymättömyyttä.
Kaiken tämän vuoksi on omituista, jos kunnat tukevat tällaista tutkimusta. Jos halutaan pitää huolta veroeurojen hyvästä sijoittamisesta, Palvelumittari ei kuulu tarpee
llisten hankintojen listaan.
Onhan se aika väsyttävän pitkä tutkimus. Mutta mikä olisi vaihtoehto? Vai onko pointti vain se, että tällaista tutkimusta ei saa tehdä?
Uskoisin että tarkoitit sitä että tällainen tutkimus on turha, koska se ei anna luotettavaa kuvaa kuluttajien mielipidettä.
Ei bloggaajan tehtävä ole lähettää kopioita jutuista tekstissä mainituille yrityksille — jokaisen yrityksen on syytätehdä sähköpostitilaus Googlen hakutuloksista omalla nimellään. Vain näin on mahdollista vaikuttaa yritysmaineeseen sosiaalisessa mediassa.
Lämpimät kiitokset kommenteista!Se, sait kiinni ajatuksestani: tuollaista tutkimusta ei saisi tehdä lainkaan. On eettisesti väärin rahastaa kuntia pseudotieteellisestä analyysistä, josta ei ole mitään hyötyä kenellekään.Tipu, kuten sanoit, Palvelumittarin tuloksia ei voi pitää luotettavina.Jos halutaan kuluttajilta oikeita mielipiteitä palvelusta, kysely pitää tehdä suppeampana tai sitten kasvokkain haastatellen.Mikko, olen kanssasi samaa mieltä: jokaisen yrityksen pitäisi nykyään seurata sosiaalista mediaa eikä odottaa, että bloggaaja tulee kolkuttelemaan ovelle. Jos Palvelumittarista olisi käynnissä pippurinen keskustelu vaikkapa Suomi24:llä, ei siitäkään kukaan tule tiedottamaan yritykselle itselleen.Sosiaalisen median luonne on liian monelta yritykseltä hukassa.
Mä kyllä lähtisin siitä ajatuksesta, että ois ollut fiksua käyttäytymistä meilata juttu, tai ainakin ilmoitus jutusta ko. yrittäjälle silloin kun sen julkaisit.(Hatunnosto toimarille, siitä että vaivautui vastaamaan noinkin selkeästi ja monisanaisesti. Itse sain vastauksista fiksun ja luotettavan kuvan.)Mitä sitten tulee tuohon itse kyselyyn, niin mut pitäis kyllä palkata täyttämään noin pitkää kyselyä, jotta jaksaisin nähdä vaivaa. Muistaakseni vastailin aikoinaan johonkin toiseen superpitkään kyselyyn ja siitä sai palkkioksi 50€ lahjakortin, jolloin tuomaroinnin teki ihan mielellään alusta loppuun asti. Kun siitä sai tuon pikkupalkkion, niin kysely tuntuikin lopulta varsin pieneltä, eikä tullu sitten juuri roiskittuakaan.
Samuli, ymmärrän kyllä pointin, vaikka olenkin eri mieltä. Tuo "ilmoitusvelvollisuus" on monisyinen asia:- Ensinnäkin mikä olisi se solvaamisen raja, josta pitäisi ilmoittaa solvaamisen kohteelle? Jos paheksun blogissani yhtä kirjoitusvirhettä, laitanko meilillä asiasta tiedon kirjoitusvirheen tekijälle? Tuskin, mutta rajaa ei ole kovin helppo löytää.- Toisekseen, mielestäni web 2.0 -sisältöjä ei kuulu lähettää tiedonantomaisesti jokaiselle puheenaiheelle (vaikka puheenaiheet siitä olisivatkin kiitollisia). Se rasittaisi verkkoa aivan suotta. Sosiaalinen media edellyttää omaa aktiivisuutta, ja mielestäni web 2.0 -osaaminen kuuluu jokaisen (ainakin TAK:n kokoluokan ja sitä suuremman) yrityksen perusvalmiuksiin.- Kolmannekseen, jos olisin toimittaja tai jonkin kustantajan alla toimiva bloggaaja, minulla olisi velvollisuus hankkia vastakkaisen osapuolen näkemys. Sen sijaan koska olen yksityisyrittäjä (enkä edes TAK:n kilpailija), minulla ei niskassani toimittajan velvoitteita. Voin vain avata sanaisen arkkuni, ja lukijan tehtävänä on päättää, onko argumentointini uskottavaa vai utopistista.—Mitä tulee tuohon palkkiointiin, niin se antaisi tosiaan luotettavampia tutkimustuloksia. Ihminen on tarkempi, kun kyse on "palkkatyöstä".
Hei vielä,tämä olkoon viimeinen kommenttini tähän blogikirjoitteluusi TAK Palvelumittarista.1) Vastaukset ovat vajaita?En oikein ymmärrä, miksi arvelet vastausten painottuvan alku- ja loppupäähän. Vastausaktiivisuus on tasainen läpi koko lomakkeen.Raporttiin otetaan mukaan vain ne liikkeet, joita on arvioinut vähintään 50 henkilöä. Keskimäärin yhtä yritystä on arvioinut 161 vastaajaa. Eniten arvioita saanut yritys sai 561 vastausta.2) Palvelumittari kerää huolimattomia vastauksia normaalia enemmän?Kuten aiemmin kerroin, vertaamme eri keruutavoilla saatuja vastauksia keskenään. Aineistoissa ei ole poikkeamia, joten tuloksia voidaan pitää luotettavina. Otetaan vaikka esimerkiksi mainitsemasi Tapiola. Internet-kyselyssä ja haastattelijoiden keräämässä aineistossa ero tyytyväisyyttä mittaavassa muuttujassa on vain 0,1 (asteikolla 0 – 4), vaikka yritystä oli arvioinut vain 57 vastaajaa. 3) Ne yritykset, joilla on usea toimipaikka, eivät saa varmaa tulosta?Jos asiakkaat arvioivat vaikka Aulangon apteekin henkilökunnan ystävällisyyttä yrityksen asiakastyytyväisyystutkimuksessa, he voivat muodostaa käsityksensä kenestä tahansa tai useasta apteekin eri asiakaspalvelijasta. Silti siitä muodostuu oikea kokonaiskuva liikkeen henkilökunnan ystävällisyydestä. Aivan samalla tavalla muodostuu Tapiolan asiakastyytyväisyys useasta eri toimipisteestä.4) Asiakastyytyväisyyden parantuminen ei ole automaattisesti Palvelumittarin ansiota?Sitä en tohdi väittää. Se on kuitenkin yksi keino pyrkiä vaikuttamaan myönteisesti asiakaspalvelun kehittymiseen. Tutkimuksesta julkaistaan vain hyvin menestyneiden yritysten tulokset. Pyrimme tällä tavoin positiivisella viestillä muutokseen mollaamatta heikommin pärjänneitä. Itse uskon positiivisen, suoraan palvelun tarjoajalle annettavan, palautteen voimaan. Se käynnistää usein hyvän kierteen – kun sinusta pidetään, sinun on helppo pitää myös muista.Ystävällisin terveisinPasi NurkkatoimitusjohtajaTutkimus- ja Analysointikeskus TAK Oy
Pasi, lämmin kiitos kommenteistasi!Selkeästi olemme eri mieltä, ja jokainen voi ratkaista oman kantansa argumenttiemme pohjalta. Hieno juttu, että olet osallistunut keskusteluun – jäämme vielä odottamaan Discopressin näkemystä omasta toiminnastaan.