Ovatko Steam-käyttäjäarviot rakentavaa palautetta vai hyödyttömät itkupotkuraivarit? Jättitutkimus tarjoaa tieteelliset tulokset

Käyttäjäarvosteluista tai muista kommenteista harvemmin paljastuu ihan Shakespearen tuotantoon vertautuvaa proosaa, mutta nyt asiaa on tutkittu myös akateemisesti.

Empiirisenä tutkimuksena toteutettu projekti otti tarkasteluun Steamissa annetut käyttäjäarviot, joiden laadukkuutta haluttiin verrata muun muassa App Storen ja Play Storen vastaaviin. Mittakaava on ainakin kohdillaan, sillä tutkimuksen aineistona on 6224 nimikettä ja yhteensä lähes 11 miljoonaa käyttäjäarvostelua.

Aineistoa on rajattu sen verran, että nimikkeiden on täytynyt olla julkaistu alkuvuoteen 2016 mennessä, minkä lisäksi materiaalia on karsittu sisällön osalta. Esimerkiksi pelkkä hymiörivi ei ylittänyt kynnystä, vaan palautteena piti olla edes jonkinlaista tekstisisältöä. Kielellä ei ollut merkitystä, sillä englanninkielisiä palautteita oli ”vain” noin 6,8 miljoonaa kappaletta.

Palautteet kategorisoitiin sen mukaan, olivatko ne ison yhtiön vai indietalon peliä koskevia. Lisäksi mahdollinen free-to-play- sekä Early Access -asema vaikutti tilastointiin. Sen sijaan pelaamiseen käytettyä aikaa ei huomioitu tutkimuksessa.

Nyt kun turhat alustukset on saatu pois alta, päästään pihvinä oleviin tuloksiin. Tutkimuksessa paljastui tilastollisesti muun muassa seuraavat asiat:

- Negatiiviset palautteet olivat aavistuksen positiivisia palautteita pidempiä, mutta ero on hiirenhieno
- Early Access -palautteet olivat aavistuksen pidempiä kuin muiden julkaisujen
- Pelaajat kirjoittivat pidempiä palautteita sellaisista peleistä, joista he olivat maksaneet. Free-to-play-pelien keskiarvo oli 105 merkkiä, kun taas ostettujen pelien keskimitta peräti 215 merkkiä
- Palautteiden kielellinen anti vastaa Amerikassa noin 8. luokkalaisten tasoa

Palautteiden sisällöstä puolestaan saatiin kaavittua seuraavanlaisia faktoja:

- Vain 42% palautteista sisälsi sellaista asiaa, jonka kehittäjät kokivat hyödylliseksi
- Pelaajat rutisevat enemmän suunnittelumokista (34%) kuin bugeista (8%)
- Kielteiset arviot sisälsivät enemmän arvokasta tietoa kehittäjille kuin positiiviset arviot
- Pelejä pelataan keskimäärin 13,5 tuntia ennen käyttäjäarvostelun kirjoittamista

Tutkimuksen lopputuloksena tuumataan, että vaikka Steamissa saatavasta palautteesta merkittävä osa on melkoista tauhkaa, palvelu on kehittäjille todella hyödyllinen.

Koko tutkimus on luettavissa täältä.