- Tytuł:
-
How reliable is a measure of model reliability? Bootstrap confidence intervals over validation results
Jak wiarygodna jest miara oceny modelu? Bootstrapowe przedziały ufności dla miar dokładności modelu - Autorzy:
-
Koźniewski, M.
Cypko, M. A.
Drużdżel, M. J. - Powiązania:
- https://bibliotekanauki.pl/articles/88378.pdf
- Data publikacji:
- 2016
- Wydawca:
- Politechnika Białostocka. Oficyna Wydawnicza Politechniki Białostockiej
- Tematy:
-
sieci bayesowskie
bootstrapowe przedziały ufności
walidacja
Bayesian networks
bootstrap confidence intervals
validation - Opis:
-
A researcher testing a model will frequently question the reliability of the test results, understanding well the intuition that verification performed on a handful of cases is less reliable than verification based on very large numbers of cases. Because a limited number of verification cases happens pretty often in very specific domains, a question of practical importance is, thus, how reliable is a reported reliability measure. We propose a methodology based on deriving confidence intervals over various measures of accuracy of Bayesian network models by means of bootstrap confidence intervals. We evaluate our approach on ROC and calibration curves derived for a model derived from an UC Irvine Machine Learning Repository data set and a sizeable (over 300 variables) practical model constructed using expert knowledge and evaluated on merely 66 accumulated real patient cases. We show how increasing the number of test cases impacts the width of confidence intervals and how this can aid in estimating a reasonable number of verification cases that will increase the confidence in model reliability.
Przy testowaniu modelu należy zdawać sobie z tego sprawę że weryfikacja modelu przy pomocy małego zbioru danych jest mniej przekonywująca niż weryfikacja bazująca na dużym zbiorze danych. Często napotyka się sytuację, w której do analizy modelu dysponujemy nieznaczną ilością rekordów. Nasuwa się pytanie o wiarygodność oceny modelu. Proponujemy w takiej sytuacji przyjrzeć się bootrstrapowym przedziałom ufności różnych ˙ miar dokładności modelu. W tej pracy określamy bootstrapowe przedziały ufności dla krzywych ROC i krzywych kalibracji modeli uzyskanych z danych z repozytorium UC Irvine. Czynność powtarzamy dla modelu skonstruowanego na podstawie wiedzy ekspertów (ponad 300 zmiennych) i testowanego na 66 zebranych rekordach pacjentów. Pokazujemy jak wzrost liczby rekordów wpływa na szerokość bootstrapowych przedziałów ufności oraz jak taka analiza może pomóc w określeniu liczby rekordów, która może podwyższyć rzetelność weryfikacji modelu. - Źródło:
-
Advances in Computer Science Research; 2016, 13; 27-41
2300-715X - Pojawia się w:
- Advances in Computer Science Research
- Dostawca treści:
- Biblioteka Nauki
Artykuł