Problem of the evaluation of research processes – verification of credibility of statistical data

The present paper presents the problem of the research work evaluation, with a special focus on reliability of statistical data used in tests. Besides situations, when an Author does not specify the source of data, this fact disqualifying the work, in some cases Authors are pleading the need to keep the source of data confidential. The only choice left to the Reviewer then is to accept the reliability of data or to reject it and refuse to review the study. How to eliminate this serious disadvantage from the scientific review process? An answer is provided in the hypothesis presented below. If the statistical data distribution follows Benford’s law, the reliability of data used in the study can be confirmed with a probability close to certainty. The conclusion of the paper contains a proposal of assumptions for a system supporting Reviewers in preparing scientific reviews. The results of the empirical investigation, the assumptions of which were to support the process of verifying the hypothesis, are presented in an appendix.

Tematem niniejszego artykułu jest zagadnienie oceny prac badawczych, a w szczególności ocena wiarygodności danych statystycznych użytych w badaniu. Pomijam fakt, kiedy Autor pracy nie podaje źródła danych, co dyskwalifikuje badanie. Zdarzają się przypadki, gdy Autor powołuje się na konieczność utajnienia źródła danych, wówczas Recenzentowi pozostaje wybór: uznać, że dane są wiarygodne bądź odrzucić to założenie, a tym samym odstąpić od wykonania recenzji. Jak wyeliminować istotny mankament recenzji? Odpowiedzi może dostarczyć następująca hipoteza: Jeśli dane statystyczne mają rozkład zgodny z rozkładem Benforda, to z prawdopodobieństwem graniczącym z pewnością można zweryfikować wiarygodność danych wykorzystanych w badaniu. W zakończeniu artykułu sformułowano założenia systemu wspomagającego Recenzentów przy formułowaniu ocen prac badawczych. W załączniku zamieszczono wyniki badania empirycznego, które z założenia mają wesprzeć proces weryfikacji sformułowanej hipotezy badawczej.