Implementacja obliczania map dysparycji w czasie rzeczywistym dla strumienia wizyjnego 3D zrealizowana w układzie FPGA

W artykule opisano system umożliwiający odbieranie i przetwarzanie strumienia wideo w technologii 3D transmitowanego w standardzie HDMI (tryb side by side), co pozwala na współpracę z dostępnymi na rynku kamerami 3D. Zaproponowana architektura umożliwia implementację popularnych metod obliczania map dysparycji: m. in. SAD oraz opartych o transformatę Censusa, realizację sprawdzenia symetryczności mapy oraz filtrację medianową poprawiającą jakość wyników. W pracy omówiono budowę każdego z modułów, użycie zasobów FPGA, zużycie mocy, a także przykładowe rezultaty działania na płycie ewaluacyjnej VC707 z układem Virtex 7.

In the paper a system for acquisition and processing of a 3D video stream is presented. It can work with 3D HDMI cameras available on the market. In Section 2 the basic concepts of stereovision systems are described [1]. In Section 3 three distance metrics, SAD [4], ZSAD and Census [5], used for correspondence matching are discussed. Evaluation of the matching process on the Middlebury dataset [2] is also presented. The best results were obtained for the SAD and ZSAD methods and greyscale images. In Table 1 there are shown three best configurations. Figure 1 illustrates the obtained disparity maps. A description of the hardware implementation is given in Section 4. The block diagram of the system is presented in Figure 2. The proposed solution is able to process images transmitted in side by side mode, to compute two disparity maps (left to right and right to left, method from [4]), to use SAD or ZSAD cost function, to check maps consistency and execute median filtering for final image processing. The described module is highly parameterizable: different cost functions, window sizes and disparity range can be used, image size and median filtering size can be adjusted. FPGA resource utilization is presented in Table 2. A picture of the working system is shown in Figure 3 (1280 x 720 @60 fps, real-time video-stream processing). The proposed module can be used for video surveillance, pedestrian collision avoidance systems or in autonomous vehicles.