Informacja

Drogi użytkowniku, aplikacja do prawidłowego działania wymaga obsługi JavaScript. Proszę włącz obsługę JavaScript w Twojej przeglądarce.

Wyszukujesz frazę "data architecture" wg kryterium: Temat


Wyświetlanie 1-2 z 2
Tytuł:
Concepts of distributed database for decision support in Smart Grid
Koncepcja rozproszonej bazy danych dla wspomagania decyzji w inteligentnych sieciach Smart Grid
Autorzy:
Mazurek, M.
Powiązania:
https://bibliotekanauki.pl/articles/210781.pdf
Data publikacji:
2013
Wydawca:
Wojskowa Akademia Techniczna im. Jarosława Dąbrowskiego
Tematy:
smart grid
architektura danych
rozproszona hurtownia danych
data architecture
distributed data warehouse
Opis:
Smart Grid is a concept of energy distribution network where flow of electricity, its production and consumption is managed by decentralized nodes located in microgrids. Training data for machine learning algorithms is collected from intelligent sensors, weather data, and energy market prices. Volume of the data is much higher than any of currently processed in data warehouses solutions. This challenge along with the requirement that a microgrid should be able to work in an islanding mode are key factors affecting data architecture presented in the paper. Distributed repositories are built based on NoSQL database management systems. Collecting data, mining data, developing algorithms and extraction of business rules are available as services from "cloud". This architecture minimizes costs of maintaining IT infrastructure on the microgid side, at the same time giving access to state-of-art machine learning algorithms leading to most effective strategies of energy management. In the paper, there is proposed an open-source platform for implementing the described solution.
Inteligentne sieci energetyczne, określane jako Smart Grid, zakładają wykorzystanie zdecentralizowanych ośrodków sterowania przepływem energii elektrycznej oraz pracą urządzeń zasilanych tą energią. Proces uczenia algorytmów sztucznej inteligencji sterujących systemem odbywa się w oparciu o gromadzone z sensorów dane opisujące między innymi stan urządzeń, warunki pogodowe oraz ceny na rynku. Wolumen gromadzonych danych, niespotykany w dotychczasowych zastosowaniach systemów hurtowni danych oraz wymagania na autonomiczność mikrosieci, czyli jednostek tworzących system stanowią podstawę do przedstawionej w artykule architektury danych systemu. Jest ona oparta o rozproszone repozytoria danych oraz centra przetwarzania danych zbudowane w oparciu o systemy zarządzania danymi klasy NoSQL. Gromadzenie danych, eksploracja tych danych oraz zbudowane reguły zarządzania przepływem energii są dostępne jako usługi oferowane w "chmurze". Rozwiązanie takie umożliwia minimalizację kosztów związanych z utrzymaniem infrastruktury po stronie mikrosieci, zapewniając jednocześnie możliwość wykorzystywania najnowszych i najefektywniejszych algorytmów uczenia maszynowego. W artykule przedstawiona została propozycja platformy open-source, w oparciu o którą można zbudować opisywane rozwiązanie.
Źródło:
Biuletyn Wojskowej Akademii Technicznej; 2013, 62, 1; 115-128
1234-5865
Pojawia się w:
Biuletyn Wojskowej Akademii Technicznej
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Efficient storage, retrieval and analysis of poker hands: An adaptive data framework
Autorzy:
Gorawski, M.
Lorek, M.
Powiązania:
https://bibliotekanauki.pl/articles/330018.pdf
Data publikacji:
2017
Wydawca:
Uniwersytet Zielonogórski. Oficyna Wydawnicza
Tematy:
big data
storage model design
data architecture
data access
path optimization
zbiór danych
architektura danych
udostępnianie danych
optymalizacja obszaru
Opis:
In online gambling, poker hands are one of the most popular and fundamental units of the game state and can be considered objects comprising all the events that pertain to the single hand played. In a situation where tens of millions of poker hands are produced daily and need to be stored and analysed quickly, the use of relational databases no longer provides high scalability and performance stability. The purpose of this paper is to present an efficient way of storing and retrieving poker hands in a big data environment. We propose a new, read-optimised storage model that offers significant data access improvements over traditional database systems as well as the existing Hadoop file formats such as ORC, RCFile or SequenceFile. Through index-oriented partition elimination, our file format allows reducing the number of file splits that needs to be accessed, and improves query response time up to three orders of magnitude in comparison with other approaches. In addition, our file format supports a range of new indexing structures to facilitate fast row retrieval at a split level. Both index types operate independently of the Hive execution context and allow other big data computational frameworks such as MapReduce or Spark to benefit from the optimized data access path to the hand information. Moreover, we present a detailed analysis of our storage model and its supporting index structures, and how they are organised in the overall data framework. We also describe in detail how predicate based expression trees are used to build effective file-level execution plans. Our experimental tests conducted on a production cluster, holding nearly 40 billion hands which span over 4000 partitions, show that multi-way partition pruning outperforms other existing file formats, resulting in faster query execution times and better cluster utilisation.
Źródło:
International Journal of Applied Mathematics and Computer Science; 2017, 27, 4; 713-726
1641-876X
2083-8492
Pojawia się w:
International Journal of Applied Mathematics and Computer Science
Dostawca treści:
Biblioteka Nauki
Artykuł
    Wyświetlanie 1-2 z 2

    Ta witryna wykorzystuje pliki cookies do przechowywania informacji na Twoim komputerze. Pliki cookies stosujemy w celu świadczenia usług na najwyższym poziomie, w tym w sposób dostosowany do indywidualnych potrzeb. Korzystanie z witryny bez zmiany ustawień dotyczących cookies oznacza, że będą one zamieszczane w Twoim komputerze. W każdym momencie możesz dokonać zmiany ustawień dotyczących cookies