Kehunpa taas..vähän jankutan..ja haastan (Birgitta 2003-08-11 11:35)
Eikös tonne palvelimeen vois kehittää jonkin pisteytyssysteemin, jonne kuikin voisi tapaamilleen orkestereille antaa arvosanan tms?
Tästähän on ollut puhetta useampaan kertaan. Idean toteuttamisessa on kaksi ongelmaa, yleinen ja spesifinen. Yleinen ongelma on, että tanssipalvelimen ylläpito nykyisellä tasolla vie käytännöllisesti katsoen kaikki käytettävissä olevat resurssit, mukaanlukien tilapäisesti allokoidut resurssit, jotka on pakko aika pian vapauttaa muuhun käyttöön. Uusien ominaisuuksien lisääminen ja eräiden puolivalmiiden ominaisuuksien täydentäminenkin on näissä oloissa vaikeaa.
Spesifinen ongelma on se, että vaikka eri ihmiset käyttävät esiintyjiä arvioidessaan samoja sanoja, he tarkoittavat niillä eri asioita tai ainakin painottavat osatekijöitä hyvin eri tavalla. Tämä on tullut selvästi ilmi aikaisemmista puheenvuoroista. Jos arvosteluasteikot eivät ole samat, ei esimerkiksi pistemäärien keskiarvon laskeminen tuota mielekästä tulosta.
Periaatteessa paras ratkaisu olisi kysymysten muotoileminen niin täsmällisesti, että kaikki vastaajat käsittävät ne samalla tavalla, mutta se on hyvin vaikeaa, ainakaan minä en osaa sitä tehdä. Tekstin saa kyllä yksiselitteisiksi, mutta siitä tulee silloin sen verran pitkä, etteivät ihmiset jaksa lukea sitä loppuun asti
Toinen ratkaisu on yrittää erottaa eri tulkinnat tilastollisella analyysilla. Jos esimerkiksi äänestäjien osajoukko A melko yhdenmukaisesti liittää tietyn adjektiivin esiintyjäjoukkoon P ja toinen äänestäjien osajoukko B liittää saman adjektiivin esiintyjäjoukkoon Q, niin adjektiivin kaksi merkitystä pystytään helposti tunnistamaan. Niiden nimeäminen voi olla vaikeaa, mutta merkityksistä saa käsityksen luettelemalla joukkojen P ja Q jäsenet.
Käytännössä tilanne on luultavasti paljon sekavampi, ja merkitysten erittelyyn tarvitaan tehokkaampia matemaattisia menetelmiä. Oletan, että ominaisarvoanalyysilla aineistosta saadaan jotain irti, mutta on avoin kysymys, kuinka paljon. Jos jollakulla on ideoita menetelmistä, niin kuulisin mielelläni.
Äänestämällä tehtävien listojen ongelma on myös manipulointi. Kun joku viihdetoimisto huomaa, että täällä on ilmainen mainospaikka, hämmästelisitte varmaan listan kärkiorkestereita ja niiden saamia pisteitä! Kuvaan voisi lisäksi kuulua kilpailevien ohjelmatoimistojen artistien vähättely.
Itse asiassa manipulointi on suurempi ongelma keskustelupalstalla. Eli on lähetetty tanssijoiden nimissä artikkeleja, joissa on kehuttu tiettyä esiintyjää tai tiettyä tanssipaikkaa, ja lähettäjäksi on paljastunut kyseisen esiintyjän/tanssipaikan edustaja. Erillisellä numeerisiin arvosanoihin perustuvalla äänestyspalstalla manipuoloinnin estäminen olisi huomattavasti helpompaa. Yllä mainitut matemaattiset analysointimenetelmät hylkivät luonnostaan epäkoherentteja vastauksia.
Jos äänestystä ryhtyisi toteuttamaan, pitäisi ensin yrittää suppealla esimerkkiaineistolla selvittää, minkä näköinen signaali aineistosta voitaisiin löytää. Tätä varten tarvittaisiin joukko mahdollisimman erilaisia näkemyksiä edustavia vapaaehtoisia vastaamaan testikysymyksiin. Aikaisemmin esittämässäni luonnoksessa esiintyjiä koskevia kysymyksi oli neljä: monipuolisuus, soitto/laulutaito, yleisön huomioonottaminen ja karisma. Testiaineistossa tarvittaisiin samoja esiintyjiä koskevat arviot eri vastaajilta, mutta siis mieluimmin ristiriitaiset arviot.
Todennäköisesti tuloksien tulkinta onnistuu paremmin, jos äänestäjiltä kysytään myös hiukan taustatietoa. Testivaiheessa pitäisi löytää ne taustatietokysymykset, joiden vastaukset korreloivat adjektiivien merkityserojen kanssa. Tämä tarkoittaa käytännössä, että testivaiheeseen osallistuvilta vastaajia pitäisi vaivata järkevien kysymysten lisäksi erilaisilla tyhmillä kysymyksillä, koska etukäteen ei tiedetä, mitkä taustatiedot ovat merkityksellisiä tulosten analysoinnissa.
Jos vapaaehtoisia koeäänestäjiä on, niin ainakin tämän esivaiheen voisi viedä läpi. Koeäänestäjät voivat ilmoittautua sähköpostitse. Älkää lähettäkö koeääniä suoraan ilmoittautumisen yhteydessä; ne pitää kirjoittaa määrämuotoon, jotta ne voi käsitellä koneellisesti.