Ratings or pairwise comparisons? An experimental study on scale usability

A series of experiments was run in order to evaluate the usability of two different measurement approaches: ratings and ranks (pairwise comparisons). Respondents were asked to assess perceived characteristics (i.e. height and length) of different physical objects by using either a rating or a ranking scale. An artificial neural network model was built to analyse the ranks and standard statistical tests were applied to analyse the ratings. The results were then statistically compared with actual (real) characteristics of objects (i.e. their real height and length). Both systems for measuring values were found equally valid in projecting reality. Such findings offer some methodological and epistemological insights, as they provide information on the measurement power of each scale in terms of approximating real-life phenomena.

Celem badania była ocena użyteczności dwóch różnych skal pomiarowych (ratingowej i rangowej, czyli tzw. porównań parami) w zakresie aproksymacji rzeczywistych zjawisk. Uczestnicy eksperymentu zostali losowo podzieleni na kilka grup badawczych, w ramach których mieli za zadanie ocenić postrzegane cechy różnych obiektów (tj. wysokość lub długość). Ocen tych dokonywali za pomocą jednej z badanych skal pomiarowych. W celu analizy wyników skali rangowej zbudowano model sztucznej sieci neuronowej, natomiast do zanalizowania rezultatów skali ratingowej zastosowano standardowe testy statystyczne. Następnie wszystkie wyniki porównywano z rzeczywistymi charakterystykami obiektów (tj. ich prawdziwą wysokością lub długością). Oba systemy pomiaru okazały się równie dobre w aproksymacji rzeczywistości. Eksperyment ten niesie pewną wartość poznawczą w kontekście metodologicznym oraz epistemologicznym, ponieważ dostarcza informacji o sile pomiarowej każdej ze skal pod względem trafności odzwierciedlania badanych zjawisk.