Informacja

Drogi użytkowniku, aplikacja do prawidłowego działania wymaga obsługi JavaScript. Proszę włącz obsługę JavaScript w Twojej przeglądarce.

English (EN)·Polski (PL)·Yкраїнський (UK)
Przejdź do strony domowej biblioteki Centralna Biblioteka Wojskowa Link otwiera się w nowym oknie Logo biblioteki Prolib Integro - strona głównaCentralna Biblioteka Wojskowa

Wyszukujesz frazę "proces decyzyjny Markowa" wg kryterium: Temat

  Lista filtrów
Wyrównaj
    Wyświetlanie 1-6 z 6
    Tytuł:
    Predictive Modelling of a Honeypot System Based on a Markov Decision Process and a Partially Observable Markov Decision Process
    Autorzy:
    Wang, Lidong
    Mosher, Reed
    Duett, Patti
    Falls, Terril
    Powiązania:
    https://bibliotekanauki.pl/articles/27304921.pdf
    Data publikacji:
    2023
    Wydawca:
    NASK - National Research Institute
    Tematy:
    cybersecurity
    honeypot
    machine learning
    Markov decision process
    Q-learning
    cyberbezpieczeństwo
    uczenie maszynowe
    proces decyzyjny Markowa
    Opis:
    A honeypot is used to attract and monitor attacker activities and capture valuable information that can be used to help practice good cybersecurity. Predictive modelling of a honeypot system based on a Markov decision process (MDP) and a partially observable Markov decision process (POMDP) is performed in this paper. Analyses over a finite planning horizon and an infinite planning horizon for a discounted MDP are respectively conducted. Four methods, including value iteration (VI), policy iteration (PI), linear programming (LP), and Q-learning, are used in the analyses over an infinite planning horizon for the discounted MDP. The results of the various methods are compared to evaluate the validity of the created MDP model and the parameters in the model. The optimal policy to maximise the total expected reward of the states of the honeypot system is achieved, based on the MDP model employed. In the modelling over an infinite planning horizon for the discounted POMDP of the honeypot system, the effects of the observation probability of receiving commands, the probability of attacking the honeypot, the probability of the honeypot being disclosed, and transition rewards on the total expected reward of the honeypot system are studied.
    Źródło:
    Applied Cybersecurity & Internet Governance; 2023, 2, 1; 1-14
    2956-3119
    2956-4395
    Pojawia się w:
    Applied Cybersecurity & Internet Governance
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
    Tytuł:
    Travel management optimization based on air pollution condition using Markov decision process and genetic algorithm (case study: Shiraz city)
    Autorzy:
    Bagheri, Mohammad
    Ghafourian, Hossein
    Kashefiolasl, Morteza
    Pour, Mohammad Taghi Sadati
    Rabbani, Mohammad
    Powiązania:
    https://bibliotekanauki.pl/articles/223520.pdf
    Data publikacji:
    2020
    Wydawca:
    Polska Akademia Nauk. Czytelnia Czasopism PAN
    Tematy:
    air pollution
    dynamic optimization
    genetic algorithm
    Markov decision-making process
    zarządzanie transportem
    optymalizacja
    zanieczyszczenie powietrza
    algorytm genetyczny
    proces decyzyjny Markowa
    Opis:
    Currently, air pollution and energy consumption are the main issues in the transportation area in large urban cities. In these cities, most people choose their transportation mode according to corresponding utility including traveller's and trip’s characteristics. Also, there is no effective solution in terms of population growth, urban space, and transportation demands, so it is essential to optimize systematically travel demands in the real network of roads in urban areas, especially in congested areas. Travel Demand Management (TDM) is one of the well-known ways to solve these problems. TDM defined as a strategy that aims to maximize the efficiency of the urban transport system by granting certain privileges for public transportation modes, Enforcement on the private car traffic prohibition in specific places or times, increase in the cost of using certain facilities like parking in congested areas. Network pricing is one of the most effective methods of managing transportation demands for reducing traffic and controlling air pollution especially in the crowded parts of downtown. A little paper may exist that optimize urban transportations in busy parts of cities with combined Markov decision making processes with reward and evolutionary-based algorithms and simultaneously considering customers’ and trip’s characteristics. Therefore, we present a new network traffic management for urban cities that optimizes a multi-objective function that related to the expected value of the Markov decision system’s reward using the Genetic Algorithm. The planned Shiraz city is taken as a benchmark for evaluating the performance of the proposed approach. At first, an analysis is also performed on the impact of the toll levels on the variation of the user and operator cost components, respectively. After choosing suitable values for the network parameters, simulation of the Markov decision process and GA is dynamically performed, then the optimal decision for the Markov decision process in terms of total reward is obtained. The results illustrate that the proposed cordon pricing has significant improvement in performance for all seasons including spring, autumn, and winter.
    Źródło:
    Archives of Transport; 2020, 53, 1; 89-102
    0866-9546
    2300-8830
    Pojawia się w:
    Archives of Transport
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
    Tytuł:
    An efficient microgrid model based on Markov fuzzy demand-side management
    Autorzy:
    Jabash Samuel, G. K.
    Sivagama Sundari, M. S.
    Bhavani, R.
    Jasmine Gnanamalar, A.
    Powiązania:
    https://bibliotekanauki.pl/articles/27311444.pdf
    Data publikacji:
    2023
    Wydawca:
    Polska Akademia Nauk. Czasopisma i Monografie PAN
    Tematy:
    smart grid
    fuzzy Markov decision process
    power scheduling
    operating cost
    nonlinear model predictive control
    inteligentna sieć
    planowanie mocy
    koszt operacyjny
    proces decyzyjny Markowa rozmyty
    regulator predykcyjny nieliniowego modelu
    Opis:
    Today’s electricity management mainly focuses on smart grid implementation for better power utilization. Supply-demand balancing, and high operating costs are still considered the most challenging factors in the smart grid. To overcome this drawback, a Markov fuzzy real-time demand-side manager (MARKOV FRDSM) is proposed to reduce the operating cost of the smart grid system and maintain a supply-demand balance in an uncertain environment. In addition, a non-linear model predictive controller (NMPC) is designed to give a global solution to the non-linear optimization problem with real-time requirements based on the uncertainties over the forecasted load demands and current load status. The proposed MARKOV FRDSM provides a faster scale power allocation concerning fuzzy optimization and deals with uncertainties and imprecision. The implemented results show the proposed MARKOV FRDSM model reduces the cost of operation of the microgrid by 1.95%, 1.16%, and 1.09% than the existing method such as differential evolution and real coded genetic algorithm and maintains the supply-demand balance in the microgrid.
    Źródło:
    Bulletin of the Polish Academy of Sciences. Technical Sciences; 2023, 71, 3; art. no. e145569
    0239-7528
    Pojawia się w:
    Bulletin of the Polish Academy of Sciences. Technical Sciences
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
    Tytuł:
    Optimal maintenance of a series production system with two multi-component subsystems and an intermediate buffer
    Optymalna strategia utrzymania ruchu dla seryjnego systemu produkcji złożonego z dwóch podsystemów wieloskładnikowych oraz buforu pośredniego
    Autorzy:
    Zhou, Y.
    Zhang, Z.
    Powiązania:
    https://bibliotekanauki.pl/articles/301663.pdf
    Data publikacji:
    2015
    Wydawca:
    Polska Akademia Nauk. Polskie Naukowo-Techniczne Towarzystwo Eksploatacyjne PAN
    Tematy:
    series-parallel systems
    intermediate buffers
    Markov decision process
    policy iteration
    generalized minimum residual method
    układ szeregowo-równoległy
    bufor pośredni
    proces decyzyjny Markowa
    iteracja strategii
    uogólniona metoda najmniejszego residuum
    Opis:
    Intermediate buffers often exist in practical production systems to reduce the influence of the breakdown and maintenance ef subsystems on system production. At the same time, the effects of intermediate buffers also make the degradation process of the system more difficult to model. Some existing papers investigate the performance evaluation and maintenance optimisation of a production system with intermediate buffers under a predetermined maintenance strategy structure. However, only few papers pay attention to the property of the optimal maintenance strategy structure. This paper develops a method based on the Markov decision process to identify the optimal maintenance strategy for a series-parallel system with two multi-component subsystems and an intermediate buffer. The structure of the obtained optimal maintenance strategy is analysed, which shows that the optimal strategy structure cannot be modelled by a limited number of parameters. However, some useful properties of the strategy structure are obtained, which can simplify the maintenance optimisation. Another interesting finding is that a large buffer capacity cannot always bring about high average revenue even through the cost of holding an item in the buffer is much smaller than the production revenue per item.
    W systemach produkcyjnych często stosuje się bufory pośrednie w celu zmniejszenia wpływu awarii i konserwacji podsystemów na system produkcji. Jednocześnie, oddziaływanie buforów pośrednich utrudnia modelowanie procesu degradacji systemu. Istnieją badania dotyczące oceny funkcjonowania i optymalizacji utrzymania systemów produkcyjnych wykorzystujących bufory pośrednie przy założeniu wcześniej określonej struktury strategii utrzymania ruchy. Jednak tylko nieliczne prace zwracają uwagę na własności optymalnej struktury strategii utrzymania ruchu. W przedstawionej pracy opracowano opartą na procesie decyzyjnym Markowa metodę określania optymalnej strategii utrzymania ruchu dla układu szeregowo-równoległego z dwoma podsystemami wieloskładnikowymi oraz buforem pośrednim. Przeanalizowano strukturę otrzymanej optymalnej strategii utrzymania i wykazano, że struktury takiej nie można zamodelować przy użyciu ograniczonej liczby parametrów. Jednak odkryto pewne przydatne właściwości struktury strategii, które mogą ułatwić optymalizację utrzymania ruchu. Innym interesującym odkryciem było to, że duża pojemność bufora nie zawsze daje wysoką średnią przychodów mimo iż koszty przechowywania obiektu w buforze są znacznie mniejsze niż przychody z produkcji w przeliczeniu na jeden obiekt.
    Źródło:
    Eksploatacja i Niezawodność; 2015, 17, 2; 314-325
    1507-2711
    Pojawia się w:
    Eksploatacja i Niezawodność
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
    Tytuł:
    Application of Markov decision process as a mathematical model of operation and maintenance process
    Zastosowanie decyzyjnego procesu Markowa jako matematycznego modelu procesu eksploatacji
    Autorzy:
    Landowski, B.
    Powiązania:
    https://bibliotekanauki.pl/articles/359385.pdf
    Data publikacji:
    2010
    Wydawca:
    Akademia Morska w Szczecinie. Wydawnictwo AMSz
    Tematy:
    komunikacja miejska
    proces eksploatacji
    decyzyjny proces Markowa
    urban transport system
    operation and maintenance process
    Markov decision process
    Opis:
    This paper presents an example of applying Markov decision process to model and analyse the bus operation and maintenance process within an urban transport system and to forecast the influence of the operation and maintenance strategies realised for the technical objects on the transport system behaviour. Setting the values of the indices describing the process under the analysis is performed on the basis of a computerised simulation of the Markov decision process, being a mathematical model of the technical objects operation and maintenance process. In order to simulate the operation and maintenance process (Markov decision process) and to evaluate the influence of the decisions being made on the course and effectiveness of the process being realised within the study object a simulation algorithm has been elaborated and a computer calculation program has been written. The model presented herein has been created in such a way to assure that it shall be possible to use it in as extensive as possible class of the problems regarding the operation and maintenance of the technical objects.
    W artykule przedstawiono przykład zastosowania decyzyjnego procesu Markowa do modelowania i analizy procesu eksploatacji autobusów komunikacji miejskiej oraz prognozowania wpływu realizowanych strategii eksploatacji obiektów technicznych na zachowanie się systemu transportowego. Wyznaczanie wartości wskaźników charakteryzujących analizowany proces realizowane jest na podstawie komputerowej symulacji decyzyjnego procesu Markowa, będącego matematycznym modelem procesu eksploatacji obiektów technicznych. W celu symulacji procesu eksploatacji (decyzyjnego procesu Markowa) i oceny wpływu podejmowanych decyzji na przebieg i efektywność procesu realizowanego w obiekcie badań opracowano algorytm symulacji i napisano komputerowy program obliczeniowy. Przedstawiony w pracy model został skonstruowany w taki sposób, by zapewnić możliwość jego wykorzystania w jak najszerszej klasie problemów związanych z eksploatacją obiektów technicznych.
    Źródło:
    Zeszyty Naukowe Akademii Morskiej w Szczecinie; 2010, 24 (96); 12-16
    1733-8670
    2392-0378
    Pojawia się w:
    Zeszyty Naukowe Akademii Morskiej w Szczecinie
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
    Tytuł:
    Bottom-up learning of hierarchical models in a class of deterministic POMDP environments
    Autorzy:
    Itoh, H.
    Fukumoto, H.
    Wakuya, H.
    Furukawa, T.
    Powiązania:
    https://bibliotekanauki.pl/articles/330566.pdf
    Data publikacji:
    2015
    Wydawca:
    Uniwersytet Zielonogórski. Oficyna Wydawnicza
    Tematy:
    partially observable system
    Markov decision process
    hierarchical model
    bottom up learning
    układ częściowo obserwowalny
    decyzyjny proces Markowa
    model hierarchiczny
    Opis:
    The theory of partially observable Markov decision processes (POMDPs) is a useful tool for developing various intelligent agents, and learning hierarchical POMDP models is one of the key approaches for building such agents when the environments of the agents are unknown and large. To learn hierarchical models, bottom-up learning methods in which learning takes place in a layer-by-layer manner from the lowest to the highest layer are already extensively used in some research fields such as hidden Markov models and neural networks. However, little attention has been paid to bottom-up approaches for learning POMDP models. In this paper, we present a novel bottom-up learning algorithm for hierarchical POMDP models and prove that, by using this algorithm, a perfect model (i.e., a model that can perfectly predict future observations) can be learned at least in a class of deterministic POMDP environments.
    Źródło:
    International Journal of Applied Mathematics and Computer Science; 2015, 25, 3; 597-615
    1641-876X
    2083-8492
    Pojawia się w:
    International Journal of Applied Mathematics and Computer Science
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
      Wyświetlanie 1-6 z 6

      Ta witryna wykorzystuje pliki cookies do przechowywania informacji na Twoim komputerze. Pliki cookies stosujemy w celu świadczenia usług na najwyższym poziomie, w tym w sposób dostosowany do indywidualnych potrzeb. Korzystanie z witryny bez zmiany ustawień dotyczących cookies oznacza, że będą one zamieszczane w Twoim komputerze. W każdym momencie możesz dokonać zmiany ustawień dotyczących cookies