Realizacja aplikacji do zbierania, przetwarzania i wizualizacji zapisów w rejestrze zdarzeń systemu informatycznego z wykorzystaniem silnika wyszukiwawczego Elasticsearch

Odpowiedzią na potrzebę stosowania wydajnego przetwarzania danych typu Big Data coraz częściej stają się scentralizowane systemy zbierania danych. Jednym z takich systemów jest system ELK (Elasticsearch, Logstash, Kibana). Zapewnia to bardzo zaawansowany skalowalny zestaw technologii, umożliwiających stworzenie systemu, który zbierze, przeanalizuje i wyświetli odpowiednie informacje. W artykule opisano przykład realizacji systemu, który umożliwia zbieranie oraz analizę zapisów zdarzeń systemowych z różnych urządzeń sieciowych firmy oraz serwerów usługowych i urządzeń dostępowych. Informacje w postaci logów zebranych z systemu IT firmy przechowywane są w scentralizowanej bazie danych Elasticsearch. Wykorzystano tu system ELK, który jest odpowiedzialny za zbieranie, przetwarzanie oraz odpowiednią wizualizację danych, aby można było je odczytywać i ponownie przetwarzać. Pozwala to na bardzo szybką reakcję w razie awarii urządzeń sieciowych i serwerów systemu IT.

The article describes the embodiment of a system that allows the collection and analysis of records of system events from various network devices from servers and services and access devices. Information in the form of logs harvested from the company's IT system are stored in a centralized database Elasticsearch. In the presented system there are also used a data collection and log parsing engine called Logstash, and an analytics and visualization platform called Kibana. The three products are designed to be used as an integrated solution, referred to as the "ELK stack". ELK system is responsible for collecting, processing and adequate visualization of data that it can be read and processed again. This allows for very fast response in case of failure of the IT system.