Informacja

Drogi użytkowniku, aplikacja do prawidłowego działania wymaga obsługi JavaScript. Proszę włącz obsługę JavaScript w Twojej przeglądarce.

English (EN)·Polski (PL)·Yкраїнський (UK)
Przejdź do strony domowej biblioteki Centralna Biblioteka Wojskowa Link otwiera się w nowym oknie Logo biblioteki Prolib Integro - strona głównaCentralna Biblioteka Wojskowa

Wyszukujesz frazę "Kompresja danych" wg kryterium: Temat

  Lista filtrów
Wyrównaj
    Wyświetlanie 1-10 z 10
    Tytuł:
    Realizacja kompresji danych metodą Huffmana z ograniczeniem długości słów kodowych
    Implementation of Huffman compression with limited codeword length
    Autorzy:
    Rybak, K.
    Jamro, E.
    Wiatr, K.
    Powiązania:
    https://bibliotekanauki.pl/articles/156575.pdf
    Data publikacji:
    2012
    Wydawca:
    Stowarzyszenie Inżynierów i Techników Mechaników Polskich
    Tematy:
    kompresja danych
    FPGA
    kodowanie Huffmana
    data compression
    Huffman coding
    Opis:
    Praca opisuje zmodyfikowany sposób budowania książki kodowej kodu Huffmana. Książka kodowa została zoptymalizowana pod kątem implementacji sprzętowej kodera i dekodera Huffmana w układach programowalnych FPGA. Opisano dynamiczną metodę kodowania - książka kodowa może się zmieniać w zależności od zmiennego formatu kompresowanych danych, ponadto musi być przesłana z kodera do dekodera. Sprzętowa implementacja kodeka Huffmana wymusza ograniczenie maksymalnej długości słowa, w przyjętym założeniu do 12 bitów, co pociąga za sobą konieczność modyfikacji algorytmu budowy drzewa Huffmana.
    This paper presents a modified algorithm for constructing Huffman codeword book. Huffman coder, decoder and histogram calculations are implemented in FPGA similarly like in [2, 3]. In order to reduce the hardware resources the maximum codeword is limited to 12 bit. It reduces insignificantly the compression ratio [2, 3]. The key problem solved in this paper is how to reduce the maximum codeword length while constructing the Huffman tree [1]. A standard solution is to use a prefix coding, like in the JPEG standard. In this paper alternative solutions are presented: modification of the histogram or modification of the Huffman tree. Modification of the histogram is based on incrementing (disrupting) the histogram values for an input codeword for which the codeword length is greater than 12 bit and then constructing the Huffman tree from the very beginning. Unfortunately, this algorithm is not deterministic, i.e. it is not known how much the histogram should be disrupted in order to obtain the maximum codeword length limited by 12 bit. Therefore several iterations might be required. Another solution is to modify the Huffman tree (see Fig. 2). This algorithm is more complicated (when designing), but its execution time is more deterministic. Implementation results (see Tab. 1) show that modifi-cation of the Huffman tree results in a slightly better compression ratio.
    Źródło:
    Pomiary Automatyka Kontrola; 2012, R. 58, nr 7, 7; 662-664
    0032-4140
    Pojawia się w:
    Pomiary Automatyka Kontrola
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
    Tytuł:
    Optymalizacja kompresji Huffmana pod kątem podziału na bloki
    Optimization of Huffman compression employing different block sizes
    Autorzy:
    Rybak, K.
    Jamro, E.
    Wielgosz, M.
    Wiatr, K.
    Powiązania:
    https://bibliotekanauki.pl/articles/154957.pdf
    Data publikacji:
    2014
    Wydawca:
    Stowarzyszenie Inżynierów i Techników Mechaników Polskich
    Tematy:
    kompresja danych
    kodowanie Huffmana
    deflate
    data compression
    Huffman coding
    Opis:
    Prezentowane w pracy badania dotyczą bezstratnej kompresji danych opartej o metodę Huffmana i zgodnej ze standardem deflate stosowanym w plikach .zip / .gz. Zaproponowana jest optymalizacja kodera Huffmana polegająca na podziale na bloki, w których stosuje się różne książki kodowe. Wprowadzenie dodatkowego bloku z reguły poprawia stopień kompresji kosztem narzutu spowodowanego koniecznością przesłania dodatkowej książki kodowej. Dlatego w artykule zaproponowano nowy algorytm podziału na bloki.
    According to deflate [2] standard (used e.g. in .zip / .gz files), an input file can be divided into different blocks, which are compressed employing different Huffman [1] codewords. Usually the smaller the block size, the better the compression ratio. Nevertheless each block requires additional header (codewords) overhead. Consequently, introduction of a new block is a compromise between pure data compression ratio and headers size. This paper introduces a novel algorithm for block Huffman compression, which compares sub-block data statistics (histograms) based on current sub-block entropy E(x) (1) and entropy-based estimated average word bitlength Emod(x) for which codewords are obtained for the previous sub-block (2). When Emod(x) - E(x) > T (T - a threshold), then a new block is inserted. Otherwise, the current sub-block is merged into the previous block. The typical header size is 50 B, therefore theoretical threshold T for different sub-block sizes S is as in (3) and is given in Tab. 2. Nevertheless, the results presented in Tab. 1 indicate that optimal T should be slightly different - smaller for small sub-block size S and larger for big S. The deflate standard was selected due to its optimal compression size to compression speed ratio [3]. This standard was selected for hardware implementation in FPGA [4, 5, 6, 7].
    Źródło:
    Pomiary Automatyka Kontrola; 2014, R. 60, nr 7, 7; 519-521
    0032-4140
    Pojawia się w:
    Pomiary Automatyka Kontrola
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
    Tytuł:
    Implementacja w układach FPGA dekompresji danych zgodnie ze standardem Deflate
    FPGA Implementation of Deflate standard data decompression
    Autorzy:
    Jamro, E.
    Wiatr, K.
    Powiązania:
    https://bibliotekanauki.pl/articles/156208.pdf
    Data publikacji:
    2013
    Wydawca:
    Stowarzyszenie Inżynierów i Techników Mechaników Polskich
    Tematy:
    kompresja danych
    FPGA
    kodowanie Huffmana
    data compression
    Deflate
    Huffman
    Opis:
    Otwarty standard kompresji danych, Deflate, jest szeroko stosowanym standardem w plikach .gz / .zip i stanowi kombinację kompresji metodą LZ77 / LZSS oraz kodowania Huffmana. Niniejszy artykuł opisuje implementację w układach FPGA dekompresji danych według tego standardu. Niniejszy moduł jest w stanie dokonać dekompresji co najmniej 1B na takt zegara, co przy zegarze 100MHz daje 100MB/s. Aby zwiększyć szybkość, możliwa jest praca wielu równoległych modułów dla różnych strumieni danych wejściowych.
    This paper describes FPGA implementation of the Deflate standard decoder. Deflate [1] is a commonly used compression standard employed e.g. in zip and gz files. It is based on dictionary compression (LZ77 / LZSS) [4] and Huffman coding [5]. The proposed Huffman decoded is similar to [9], nevertheless several improvements are proposed. Instead of employing barrel shifter a different translation function is proposed (see Tab. 1). This is a very important modification as the barrel shifter is a part of the time-critical feedback loop (see Fig. 1). Besides, the Deflate standard specifies extra bits, which causes that a single input word might be up to 15+13=28 bits wide, but this width is very rare. Consequently, as the input buffer might not feed the decoder width such wide input date, a conditional decoding is proposed, for which the validity of the input data is checked after decoding the input symbol, thus when the actual input symbol bit widths is known. The implementation results (Tab. 2) show that the occupied hardware resources are mostly defined by the number of BRAM modules, which are mostly required by the 32kB dictionary memory. For example, comparable logic (LUT / FF) resources to the Deflate standard decoder are required by the AXI DMA module which transfers data to / from the decoder.
    Źródło:
    Pomiary Automatyka Kontrola; 2013, R. 59, nr 8, 8; 739-741
    0032-4140
    Pojawia się w:
    Pomiary Automatyka Kontrola
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
    Tytuł:
    Optymalizacja sprzętowej architektury kompresji danych metodą słownikową
    FPGA implementation of Deflate standard data decompression
    Autorzy:
    Gwiazdoń, M.
    Jamro, E.
    Wiatr, K.
    Powiązania:
    https://bibliotekanauki.pl/articles/152652.pdf
    Data publikacji:
    2013
    Wydawca:
    Stowarzyszenie Inżynierów i Techników Mechaników Polskich
    Tematy:
    kompresja danych
    FPGA
    kodowanie Huffmana
    data compression
    Deflate
    LZ77
    Opis:
    Niniejszy artykuł opisuje nową architekturę sprzętową kompresji słownikowej, np. LZ77, LZSS czy też Deflate. Zaproponowana architektura oparta jest na funkcji haszującej. Poprzednie publikacje były oparte na sekwencyjnym odczycie adresu wskazywanego przez pamięć hasz, niniejszy artykuł opisuje układ, w którym możliwe jest równoległe odczytywanie tego adresu z wielu pamięci hasz, w konsekwencji możliwa jest kompresja słownikowa z szybkością na poziomie 1B ciągu wejściowego na takt zegara. Duża szybkość kompresji jest okupiona nieznacznym spadkiem stopnia kompresji.
    This paper describes a novel parallel architecture for hardware (ASIC or FPGA) implementation of dictionary compressor, e.g. LZ77 [1], LZSS [2] or Deflate [4]. The proposed architecture allows for very fast compression – 1B of input data per clock cycle. A standard compression architecture [8, 9] is based on sequential hash address reading (see Fig. 2) and requires M clock cycles per 1B of input data, where M is the number of candidates for string matching, i.e. hashes look ups (M varies for different input data). In this paper every hash address is looked up in parallel (see Fig. 3). The drawback of the presented method is that the number of M is defined (limited), therefore the compression ratio is slightly degraded (see Fig. 4). To improve compression ratio, a different sting length may be searched independently, i.e. not only 3B, but also 4B, … N B hashes (see results in Fig. 5, 6). Every hash memory (M(N-2)) usually requires a direct look-up in the dictionary to eliminate hash false positive cases or to check whether a larger length sting was found. In order to reduce the number of dictionary reads, an additional pre-elimination algorithm is proposed, thus the number of dictionary reads does not increase rapidly with growing N (see Fig. 7).
    Źródło:
    Pomiary Automatyka Kontrola; 2013, R. 59, nr 8, 8; 827-829
    0032-4140
    Pojawia się w:
    Pomiary Automatyka Kontrola
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
    Tytuł:
    Optymalizacja ilości danych w pomiarach charakterystyk częstotliwościowych
    Optimization of the amount of data in measurements of frequency characteristic
    Autorzy:
    Olchowik, W.
    Powiązania:
    https://bibliotekanauki.pl/articles/151503.pdf
    Data publikacji:
    2014
    Wydawca:
    Stowarzyszenie Inżynierów i Techników Mechaników Polskich
    Tematy:
    charakterystyka częstotliwościowa
    optymalizacja rozdzielczości
    kompresja danych
    frequency characteristic
    optimization of the resolution
    data compression
    Opis:
    W artykule przedstawiono metody ograniczenia ilości danych podczas zautomatyzowanego pomiaru charakterystyk częstotliwościowych układów elektronicznych poprzez optymalizację rozdzielczości w dziedzinie częstotliwości oraz grupowanie i uśrednianie wyników w ramach ustalonych przedziałów. Efektem przedstawionej metodyki jest redukcja danych pomiarowych i udokładnienie charakterystyk w obszarach o podwyższonej niepewności.
    In this paper, there are presented two methods limiting the amount of data during an automated measurement of the frequency response characteristics of linear electric circuits. The first method involves the optimization of the resolution in the frequency domain. It consists in the usage of a changeable frequency of measurements dependent on the gradient of the characteristics of the measured circuit. The frequency of measurements is automatically regulated so that the absolute difference between the values of the subsequent measurements is approximately constant. The second method involves the reduction of data in the areas with the increased measurement uncertainty, with the standard method of increasing the number of measurements. The method requires division of the frequency range with the increased measurement number into intervals, grouping and averaging the data in these intervals. The aforementioned techniques can be applied in parallel, integrating them into a single system. The result of the described integrated methodology is the decrease in the number of measurement data files and frequently decrease in the overall experiment time without significant decrease in the quality of the frequency characteristics reconstruction. Depending on the assumed quality and characteristic of the measurement, the amount of data can be reduced two to ten times. Moreover, the accuracy of the characteristic areas with the increased measurement uncertainty can be increased with the averaging method without the increase in the number of the data. The presented methodology can be implemented in computer measurement systems.
    Źródło:
    Pomiary Automatyka Kontrola; 2014, R. 60, nr 9, 9; 690-693
    0032-4140
    Pojawia się w:
    Pomiary Automatyka Kontrola
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
    Tytuł:
    Autoasocjacyjna sieć neuronowa jako narzędzie do nieliniowej kompresji danych
    The artificial neural nerwork as a helping tool in the process of non-linear data compression
    Autorzy:
    Boniecki, P.
    Przybył, J.
    Powiązania:
    https://bibliotekanauki.pl/articles/336092.pdf
    Data publikacji:
    2006
    Wydawca:
    Sieć Badawcza Łukasiewicz - Przemysłowy Instytut Maszyn Rolniczych
    Tematy:
    sieć neuronowa
    autoasocjacyjna sieć neuronowa
    kompresja danych
    artificial neural network
    data compression
    autoassociative network
    Opis:
    Sieci autoasocjacyjne to sieci, które odtwarzają wartości wejściowe na swoich wyjściach. Działanie takie zdecydowanie ma sens, ponieważ rozważana sieć autoasocjacyjna posiada w warstwie środkowej (ukrytej) zdecydowanie mniejszą liczbą neuronów niż w warstwie wejściowej czy wyjściowej. Dzięki takiej budowie dane wejściowe muszą przecisnąć się przez swojego rodzaju zwężenie w warstwie ukrytej sieci, kierując się w do wyjścia. Dlatego też, w celu realizacji stawianego jej zadania reprodukcji informacji wejściowej na wyjściu, sieć musi się najpierw nauczyć reprezentacji obszernych danych wejściowych za pomocą mniejszej liczby sygnałów produkowanych przez neurony warstwy ukrytej, a potem musi opanować umiejętność rekonstrukcji pełnych danych wejściowych z tej "skompresowanej" informacji. Oznacza to, że sieć autoasocjacyjna w trakcie uczenia zdobywa umiejętność redukcji wymiaru wejściowych danych.
    An autoassociative network is one which reproduces its inputs as outputs. Autoassociative networks have at least one hidden layer with less units than the input and output layers (which obviously have the same number of layers as each other). Hence, autoassociative networks perform some sort of dimensionality reduction or compression on the cases. Dimensionality reduction can be used to pre-process the input data to encode Information in a smaller number of variables. This approach recognizes that the intrinsic dimensionality of the data may be lower than the number of variables. In other words, the data can be adequately described by a smaller number of variables, if the right transformation can be found.
    Źródło:
    Journal of Research and Applications in Agricultural Engineering; 2006, 51, 1; 37-40
    1642-686X
    2719-423X
    Pojawia się w:
    Journal of Research and Applications in Agricultural Engineering
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
    Tytuł:
    An efficient eigenspace updating scheme for high-dimensional systems
    Autorzy:
    Gangl, S.
    Mongus, D.
    Žalik, B.
    Powiązania:
    https://bibliotekanauki.pl/articles/330681.pdf
    Data publikacji:
    2014
    Wydawca:
    Uniwersytet Zielonogórski. Oficyna Wydawnicza
    Tematy:
    eigenspace updating
    projection space
    data compression
    principal component analysis
    przestrzeń rzutowa
    kompresja danych
    analiza składowych głównych
    Opis:
    Systems based on principal component analysis have developed from exploratory data analysis in the past to current data processing applications which encode and decode vectors of data using a changing projection space (eigenspace). Linear systems, which need to be solved to obtain a constantly updated eigenspace, have increased significantly in their dimensions during this evolution. The basic scheme used for updating the eigenspace, however, has remained basically the same: (re)computing the eigenspace whenever the error exceeds a predefined threshold. In this paper we propose a computationally efficient eigenspace updating scheme, which specifically supports high-dimensional systems from any domain. The key principle is a prior selection of the vectors used to update the eigenspace in combination with an optimized eigenspace computation. The presented theoretical analysis proves the superior reconstruction capability of the introduced scheme, and further provides an estimate of the achievable compression ratios.
    Źródło:
    International Journal of Applied Mathematics and Computer Science; 2014, 24, 1; 123-131
    1641-876X
    2083-8492
    Pojawia się w:
    International Journal of Applied Mathematics and Computer Science
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
    Tytuł:
    Klasyczna i neuronowa analiza głównych składowych na przykładzie zadania kompresji obrazu
    Classical and neural network-based principal component analysis for image compression
    Autorzy:
    Bartecki, K.
    Powiązania:
    https://bibliotekanauki.pl/articles/154740.pdf
    Data publikacji:
    2013
    Wydawca:
    Stowarzyszenie Inżynierów i Techników Mechaników Polskich
    Tematy:
    analiza składników głównych
    sztuczna sieć neuronowa
    kompresja danych
    principal component analysis
    artificial neural network
    data compression
    Opis:
    W artykule omówiono zastosowanie analizy składników głównych (PCA) w zadaniu kompresji stratnej sygnału na przykładzie kompresji obrazu. Zadanie zrealizowano z wykorzystaniem klasycznej metody PCA oraz dwóch rodzajów sieci neuronowych: jednokierunkowej, dwuwarstwowej sieci z uczeniem nadzorowanym i jednowarstwowej sieci z uczeniem nienadzorowanym. W każdym z przypadków przeanalizowano wpływ struktury modelu PCA na wartości współczynnika kompresji oraz średniokwadratowego błędu kompresji.
    In the paper, lossy data compression techniques based on the principal component analysis (PCA) are considered on the example of image compression. The presented task is performed using the classical PCA method based on the eigen-decomposition of the image covari-ance matrix as well as two different kinds of artificial neural networks. The first neural structure used is a two-layer feed-forward network with supervised learning shown in Fig.1, while the second one is a single-layered network with unsupervised Hebbian learning. In each case considered, the effect of the PCA model structure on the data compression ratio and the mean square reconstruction error is analysed. The compression results for a Hebbian neural network with K=4 PCA units are presented in Figs. 2, 3 and 4. They show that only 4 eigenvectors are able to capture the main features of the processed image, giving as a result high value of the data compression ratio. However, the reconstructed image quality is not sufficient from a practical point of view. Therefore, selection of the appropriate value for K should take into account the tradeoff between a sufficiently high value for the compression ratio and a reasonably low value for the image reconstruction error. The summary results for both classical and neural PCA compression approaches obtained for different number of eigenvectors (neurons) are compared in Fig. 5. The author concludes that a positive aspect of using neural networks as a tool for extracting principal components from the image data is that they do not require calculating the correlation matrix explicitly, as in the case of the classical PCA-based approach.
    Źródło:
    Pomiary Automatyka Kontrola; 2013, R. 59, nr 1, 1; 34-37
    0032-4140
    Pojawia się w:
    Pomiary Automatyka Kontrola
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
    Tytuł:
    Lightweight compression with encryption based on asymmetric numeral systems
    Autorzy:
    Duda, Jarosław
    Niemiec, Marcin
    Powiązania:
    https://bibliotekanauki.pl/articles/2201015.pdf
    Data publikacji:
    2023
    Wydawca:
    Uniwersytet Zielonogórski. Oficyna Wydawnicza
    Tematy:
    symmetric cryptography
    lightweight cryptography
    data compression
    entropy coding
    kryptografia symetryczna
    kryptografia lekka
    kompresja danych
    kodowanie entropijne
    Opis:
    Data compression combined with effective encryption is a common requirement of data storage and transmission. Low cost of these operations is often a high priority in order to increase transmission speed and reduce power usage. This requirement is crucial for battery-powered devices with limited resources, such as autonomous remote sensors or implants. Well-known and popular encryption techniques are frequently too expensive. This problem is on the increase as machine-to-machine communication and the Internet of Things are becoming a reality. Therefore, there is growing demand for finding trade-offs between security, cost and performance in lightweight cryptography. This article discusses asymmetric numeral systems-an innovative approach to entropy coding which can be used for compression with encryption. It provides a compression ratio comparable with arithmetic coding at a similar speed as Huffman coding; hence, this coding is starting to replace them in new compressors. Additionally, by perturbing its coding tables, the asymmetric numeral system makes it possible to simultaneously encrypt the encoded message at nearly no additional cost. The article introduces this approach and analyzes its security level. The basic application is reducing the number of rounds of some cipher used on ANS-compressed data, or completely removing an additional encryption layer when reaching a satisfactory protection level.
    Źródło:
    International Journal of Applied Mathematics and Computer Science; 2023, 33, 1; 45--55
    1641-876X
    2083-8492
    Pojawia się w:
    International Journal of Applied Mathematics and Computer Science
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
    Tytuł:
    Lossless compression method for ASCII UTM format sea survey data obtained from multibeam echosounder
    Opracowanie bezstratnej metody kompresji danych sondażowych pochodzących z sondy wielowiązkowej zapisanych w formacie ASCII UTM
    Autorzy:
    Maleika, W.
    Czapiewski, P.
    Powiązania:
    https://bibliotekanauki.pl/articles/346470.pdf
    Data publikacji:
    2014
    Wydawca:
    Polskie Towarzystwo Informacji Przestrzennej
    Tematy:
    multibeam echosounder (MBES)
    bathymetry
    sea survey
    UTM coordinate system
    data compression
    differential coding
    echosonda wielowiązkowa MBES
    batymetria
    sondaż morski
    system UTM
    kompresja danych
    kodowanie różnicowe
    Opis:
    Data gathered through seabed surveys performed using multibeam echosounder tend to be significant in size. Quite often a single measurement session leads to obtaining even several million distinct points (usually in x, y, z format). These data are saved in files (often text files), where x, y represent the location of a point (in geographical format, or more commonly in UTM format) and z represents the measured depth at the respective point. Due to the huge amount of such points, the data occupy a significant space in memory or in storage system (the order of megabytes for small areas and of gigabytes for larger ones). The paper contains a survey of existing methods of compressing ASCII UTM files and a proposal of a novel method tailored for a particular data structure. As a result of utilising differential coding and coding using varying length values, the size of such files can be diminished by a factor exceeding ten, while preserving the full information. The paper presents a detailed description of the proposed algorithm and experimental results using real data.
    Dane pozyskane z sondaży dna morskiego wykonane z użyciem sondy wielowiązkowej cechują się znacznym rozmiarem. Bardzo często w wyniku jednej sesji pomiarowej otrzymujemy nawet kilka milionów pojedynczych punktów (najczęściej w formacie x,y,z). Informacje te zapisywane są w plikach, często tekstowych, gdzie x,y to położenie punktu (w formacie geograficznym lub częściej UTM), a z określa zmierzoną głębokość w tym punkcie. Ze względu na ogromną liczbę tych punktów dane te zajmują w pamięci komputera lub na dyskach znaczny rozmiar (liczony w MB dla małych obszarów lub GB dla większych). Autorzy przedstawili w artykule różne metody kompresji plików ASCII UTM, w tym opracowaną autorską metodę dopasowaną do struktury danych. Dzięki zastosowaniu metody zapisu różnicowego z wykorzystaniem zmiennej długości w bajtach możemy ponad dziesięciokrotnie zmniejszyć rozmiary tego typu plików, przy zachowaniu pełnej informacji. W artykule przedstawiono dokładny algorytm oraz testy wykonane na danych rzeczywistych.
    Źródło:
    Roczniki Geomatyki; 2014, 12, 3(65); 289-301
    1731-5522
    2449-8963
    Pojawia się w:
    Roczniki Geomatyki
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
      Wyświetlanie 1-10 z 10

      Ta witryna wykorzystuje pliki cookies do przechowywania informacji na Twoim komputerze. Pliki cookies stosujemy w celu świadczenia usług na najwyższym poziomie, w tym w sposób dostosowany do indywidualnych potrzeb. Korzystanie z witryny bez zmiany ustawień dotyczących cookies oznacza, że będą one zamieszczane w Twoim komputerze. W każdym momencie możesz dokonać zmiany ustawień dotyczących cookies