- Tytuł:
-
Training neural networks with a hybrid differential evolution algorithm
Uczenie sieci neuronowych hybrydowym algorytmem opartym na differential evolution - Autorzy:
-
Bandurski, K.
Kwedlo, W. - Powiązania:
- https://bibliotekanauki.pl/articles/341051.pdf
- Data publikacji:
- 2009
- Wydawca:
- Politechnika Białostocka. Oficyna Wydawnicza Politechniki Białostockiej
- Tematy:
-
sieci neuronowe
differential evolution
gradienty sprzężone
minima lokalne
neural networks
conjugate gradients
local minima - Opis:
-
A new hybrid method for feed forward neural network training, which combines differential evolution algorithm with a gradient-based approach is proposed. In the method, after each generation of differential evolution, a number of iterations of the conjugate gradient optimization algorithm is applied to each new solution created by the mutation and crossover operators. The experimental results show, that in comparison to the standard differential evolution the hybrid algorithm converges faster. Although this convergence is slower than that of classical gradient based methods, the hybrid algorithm has significantly better capability of avoiding local optima.
W artykule przedstawiono nową, hybrydową metodę uczenia sieci neuronowych, łączącą w sobie algorytm Differential Evolution z podejściem gradientowym. W nowej metodzie po każdej generacji algorytmu Differential Evolution, każde nowe rozwiązanie, powstałe w wyniu działania operatorów krzyżowania i mutacji, poddawane jest kilku iteracjom algorytmu optymalizacji wykorzystującego metodę gradientów sprzężonych.Wyniki eksperymentów wskazują, że nowy, hybrydowy algorytm ma szybszą zbieżność niż standardowy algorytm Differential Evolution. Mimo, iż zbieżność ta jest wolniejsza, niż w przypadku klasycznych metod gradientowych, algorytm hybrydowy potrafi znacznie lepiej unikać minimów lokalnych. - Źródło:
-
Zeszyty Naukowe Politechniki Białostockiej. Informatyka; 2009, 4; 5-17
1644-0331 - Pojawia się w:
- Zeszyty Naukowe Politechniki Białostockiej. Informatyka
- Dostawca treści:
- Biblioteka Nauki
Artykuł