- Tytuł:
-
On Model Selection in Some Regularized Linear Regression Methods
O wyborze postaci modelu w wybranych metodach regularyzowanej regresji liniowej - Autorzy:
- Kubus, Mariusz
- Powiązania:
- https://bibliotekanauki.pl/articles/905647.pdf
- Data publikacji:
- 2013
- Wydawca:
- Uniwersytet Łódzki. Wydawnictwo Uniwersytetu Łódzkiego
- Tematy:
-
model selection
EDC
regularization
linear models
feature selection - Opis:
-
A dynamic development of various regularization formulas in linear models has
been observed recently. Penalizing the values of coefficients affects decreasing of the variance
(shrinking coefficients to zero) and feature selection (setting zero for some coefficients). Feature
selection via regularized linear models is preferred over popular wrapper methods in high dimension
due to less computational burden as well as due to the fact that it is less prone to overfitting.
However, estimated coefficients (and as a result quality of the model) depend on tuning parameters.
Using model selection criteria available in R implementation does not guarantee that optimal
model will be chosen. Having done simulation study we propose to use EDC criterion as an alternative.
W ostatnich latach można zaobserwować dynamiczny rozwój różnych postaci regularyzacji w modelach liniowych. Wprowadzenie kary za duże wartości współczynników skutkuje zmniejszeniem wariancji (wartości współczynników są ,,przyciągane” do zera) oraz eliminacją niektórych zmiennych (niektóre współczynniki się zerują). Selekcja zmiennych za pomocą regularyzowanych modeli liniowych jest w problemach wielowymiarowych preferowana wobec popularnego podejścia polegającego na przeszukiwaniu przestrzeni cech i ocenie podzbiorów zmiennych za pomocą kryterium jakości modelu (wrappers). Przyczyną są mniejsze koszty obliczeń i mniejsza podatność na nadmierne dopasowanie. Jednakże wartości estymowanych współczynników (a więc także jakość modelu) zależą od parametrów regularyzacji. Zaimplementowane w tym celu w programie R kryteria jakości modelu nie gwarantują wyboru modelu optymalnego. Na podstawie przeprowadzonych symulacji w artykule proponuje się zastosowanie kryterium EDC. - Źródło:
-
Acta Universitatis Lodziensis. Folia Oeconomica; 2013, 285
0208-6018
2353-7663 - Pojawia się w:
- Acta Universitatis Lodziensis. Folia Oeconomica
- Dostawca treści:
- Biblioteka Nauki
Artykuł