O wpływie wybranych metod selekcji nieliniowych zmiennych objaśniających na jakość modeli regresyjnych

Najpopularniejsza parametryczna metoda najmniejszych kwadratów oraz jej rozszerzenia (regresja grzbietowa, metoda LASSO, metoda LARS, regresja BRIDGE) pozwalają na budowę addytywnych modeli liniowych. W rzeczywistości często mamy do czynienia z nieliniowymi zależnościami, a użyteczna informacja jest powtarzana w wielu zmiennych objaśniających. Bezkrytyczne wykorzystanie wszystkich takich dostępnych zmiennych może prowadzić do naruszenia założeń Gaussa-Markowa i najczęściej obniża jako ść modeli regresyjnych. Znane metody selekcji pozwalają na wybór zmiennych, które wnoszą najwięcej użytecznej informacji, ograniczając jednocześnie zbędny szum. Opisany eksperyment weryfikuje metodą symulacji komputerowej jakość modeli regresyjnych otrzymanych za pomocą wybranych metod parametrycznych, dla których przeprowadzono selekcję predyktorów, wykorzystując: drzewa regresyjne, regresję grzbietową oraz algorytm genetyczny.

The most common parametric Ordinary Least Squares Method and its extension (ridge regression, LASSO and LARS methods, BRIDGE regression) allow to build additive linear models. In reality, we often have to deal with non-linear dependencies, and useful information is repeated in a number of explanatory variables. Use of all available variables can lead to violations of Gauss-Markow assumptions and frequently reduces the quality of regression models. Known methods of selection allow to select the variables that contribute the most useful information, reducing unnecessary noise. Described experiment verifies, by computer simulation, quality of regression models obtained using selected parametric methods, for which the selection was carried out using: regression trees, ridge regression and genetic algorithm.