Sprzętowa realizacja fuzji obrazów metodą piramidy Laplacea w systemach nadzoru i diagnostyki

Wiele współczesnych systemów nadzoru, monitorowania otoczenia czy diagnostyki procesów przemysłowych korzysta z optycznej kontroli powiązanej z akwizycją obrazów pochodzących z różnych źródeł. W artykule przedstawiono sposób implementacji w układzie FPGA przykładowego systemu diagnostycznego opartego na algorytmie fuzji obrazów metodą piramidy Laplace'a. System korzysta z dwóch kamer obserwujących ten sam obiekt (kamery termowizyjnej i kamery światła widzialnego) i działa w czasie rzeczywistym.

Many supervisory, monitoring and diagnostics systems need to acquire and analyze multisensor visual information, for example two video sequences from TV and thermal (IR) camera. Thus, an image fusion algorithm [1-6] is necessary if we want to have one common image containing details of both input images. The paper presents a hardware implementation of the Laplacian pyramid algorithm ([1, 7], Fig. 1-3) for image fusion. Prior image registration is necessary, which is presented by the authors in other paper [8]. The Laplacian pyramid algorithm generates stable video sequences, without flickering or glow, and enables real-time implementation, necessary for supervisory and similar systems. Some results of testing of the algorithm are presented (Fig. 4, 5). The system has been realized on a chip making use of a single Altera Cyclone III FPGA (Fig. 6), with a 3-levels Laplacian pyramid module (Fig. 7, 8). The image fusion process execution time is below 10 ms, with a clock speed of 150 MHz. The presented system allows for quick reconfiguration and stands out from similar solutions [6, 11] with very good economical factors (Tab. 1). This enables realization of additional algorithms simply by adjoining new components to the Avalon bus.