Zastosowanie współczynnika konkordancji w pomiarze zgodności ocen ekspertów

Celem artykułu jest przedstawienie zagadnienia pomiaru zgodności ocen wyrażonych na skali porządkowej. Istnieje szereg sposobów sprawdzenia stopnia zgodności opinii ekspertów. Z reguły do tego celu stosuje się współczynniki korelacji rang. W artykule skoncentrowano się na przypadku gdzie m > 2 ekspertów ocenia n obiektów, z dopuszczeniem rang wiązanych. Dla tak sformułowanego problemu jako miary zgodności przyjęło się stosować współczynnik konkordancji W Kendalla. W artykule zaproponowano uogólnioną wersję obliczania tego współczynnika, która upraszcza obliczenia w przypadku występowania rang wiązanych. Oprócz przedstawienia procedury badania istotności statystycznej, podniesiono także problem interpretacji otrzymywanych wartości współczynnika konkordancji. W nawiązaniu do zaprezentowanego przypadku podjęto również dyskusję na temat ograniczeń zastosowań współczynników korelacji w ocenie zgodności ekspertów.

In this article the problem of the measurement of agreement among experts is discussed. There are several tools to verify whether opinions expressed by an ordinal scale are reliable. If the objects are ranked, one of correlation coefficients is chosen. At the beginning, the case of m > 2 experts ranking n objects is presented; first, using untied ranks and second, tied ranks. To this end Kendall’s coefficient of concordance is applied. The method of examination of the statistical significance is also presented. Additionally the issue of the interpretation of the concordance coefficient in reference to the average of Spearman’s r coefficients is raised. The paper provides an example of using concordance coefficient when ranks are tied and discusses limitations of using rank correlation methods as a tool for evaluating the degree of agreement among experts’ opinions.