Analiza wydajności biblioteki TensorFlow z wykorzystaniem różnych algorytmów optymalizacji

W artykule zaprezentowano wyniki analizy wydajności biblioteki TensorFlow wykorzystywanej w uczeniu maszyno-wym i głębokich sieciach neuronowych. Analiza skupia się na porównaniu parametrów otrzymanych podczas treningu modelu sieci neuronowej dla algorytmów optymalizacji: Adam, Nadam, AdaMax, AdaDelta, AdaGrad. Zwrócono szczególną uwagę na różnice pomiędzy efektywnością treningu na zadaniach wykorzystujących mikroprocesor i kartę graficzną. Do przeprowadzenia badań utworzono modele sieci neuronowej, której zadaniem było rozpoznawanie znaków języka polskiego pisanych odręcznie. Otrzymane wyniki wykazały, że najwydajniejszym algorytmem jest AdaMax, zaś podzespół komputera wykorzystywany podczas badań wpływa jedynie na czas treningu wykorzystanego modelu sieci neuronowej.

This paper presents the results of performance analysis of the Tensorflow library used in machine learning and deep neural networks. The analysis focuses on comparing the parameters obtained when training the neural network model for optimization algorithms: Adam, Nadam, AdaMax, AdaDelta, AdaGrad. Special attention has been paid to the differences between the training efficiency on tasks using microprocessor and graphics card. For the study, neural network models were created in order to recognise Polish handwritten characters. The results obtained showed that the most efficient algorithm is AdaMax, while the computer component used during the research only affects the training time of the neural network model used.