Informacja

Drogi użytkowniku, aplikacja do prawidłowego działania wymaga obsługi JavaScript. Proszę włącz obsługę JavaScript w Twojej przeglądarce.

Wyszukujesz frazę "Kompresja danych" wg kryterium: Temat


Tytuł:
Test results of bathymetric data processing obtained by swath sounder GS+
Wyniki testów przetwarzania danych batymetrycznych uzyskanych z sondy GS+
Autorzy:
Stateczny, Andrzej (1956- ).
Włodarczyk-Sielicka, Marta.
Powiązania:
Zeszyty Naukowe / Akademia Marynarki Wojennej im. Bohaterów Westerplatte 2012, nr 4(191), s. 105-118
Data publikacji:
2012
Tematy:
Stacje hydrolokacyjne
Kompresja danych
Hydroakustyka
Urządzenia
Opis:
Rys., tab.
Bibliogr.
Dostawca treści:
Bibliografia CBW
Artykuł
Tytuł:
Realizacja kompresji danych metodą Huffmana z ograniczeniem długości słów kodowych
Implementation of Huffman compression with limited codeword length
Autorzy:
Rybak, K.
Jamro, E.
Wiatr, K.
Powiązania:
https://bibliotekanauki.pl/articles/156575.pdf
Data publikacji:
2012
Wydawca:
Stowarzyszenie Inżynierów i Techników Mechaników Polskich
Tematy:
kompresja danych
FPGA
kodowanie Huffmana
data compression
Huffman coding
Opis:
Praca opisuje zmodyfikowany sposób budowania książki kodowej kodu Huffmana. Książka kodowa została zoptymalizowana pod kątem implementacji sprzętowej kodera i dekodera Huffmana w układach programowalnych FPGA. Opisano dynamiczną metodę kodowania - książka kodowa może się zmieniać w zależności od zmiennego formatu kompresowanych danych, ponadto musi być przesłana z kodera do dekodera. Sprzętowa implementacja kodeka Huffmana wymusza ograniczenie maksymalnej długości słowa, w przyjętym założeniu do 12 bitów, co pociąga za sobą konieczność modyfikacji algorytmu budowy drzewa Huffmana.
This paper presents a modified algorithm for constructing Huffman codeword book. Huffman coder, decoder and histogram calculations are implemented in FPGA similarly like in [2, 3]. In order to reduce the hardware resources the maximum codeword is limited to 12 bit. It reduces insignificantly the compression ratio [2, 3]. The key problem solved in this paper is how to reduce the maximum codeword length while constructing the Huffman tree [1]. A standard solution is to use a prefix coding, like in the JPEG standard. In this paper alternative solutions are presented: modification of the histogram or modification of the Huffman tree. Modification of the histogram is based on incrementing (disrupting) the histogram values for an input codeword for which the codeword length is greater than 12 bit and then constructing the Huffman tree from the very beginning. Unfortunately, this algorithm is not deterministic, i.e. it is not known how much the histogram should be disrupted in order to obtain the maximum codeword length limited by 12 bit. Therefore several iterations might be required. Another solution is to modify the Huffman tree (see Fig. 2). This algorithm is more complicated (when designing), but its execution time is more deterministic. Implementation results (see Tab. 1) show that modifi-cation of the Huffman tree results in a slightly better compression ratio.
Źródło:
Pomiary Automatyka Kontrola; 2012, R. 58, nr 7, 7; 662-664
0032-4140
Pojawia się w:
Pomiary Automatyka Kontrola
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Optymalizacja kompresji Huffmana pod kątem podziału na bloki
Optimization of Huffman compression employing different block sizes
Autorzy:
Rybak, K.
Jamro, E.
Wielgosz, M.
Wiatr, K.
Powiązania:
https://bibliotekanauki.pl/articles/154957.pdf
Data publikacji:
2014
Wydawca:
Stowarzyszenie Inżynierów i Techników Mechaników Polskich
Tematy:
kompresja danych
kodowanie Huffmana
deflate
data compression
Huffman coding
Opis:
Prezentowane w pracy badania dotyczą bezstratnej kompresji danych opartej o metodę Huffmana i zgodnej ze standardem deflate stosowanym w plikach .zip / .gz. Zaproponowana jest optymalizacja kodera Huffmana polegająca na podziale na bloki, w których stosuje się różne książki kodowe. Wprowadzenie dodatkowego bloku z reguły poprawia stopień kompresji kosztem narzutu spowodowanego koniecznością przesłania dodatkowej książki kodowej. Dlatego w artykule zaproponowano nowy algorytm podziału na bloki.
According to deflate [2] standard (used e.g. in .zip / .gz files), an input file can be divided into different blocks, which are compressed employing different Huffman [1] codewords. Usually the smaller the block size, the better the compression ratio. Nevertheless each block requires additional header (codewords) overhead. Consequently, introduction of a new block is a compromise between pure data compression ratio and headers size. This paper introduces a novel algorithm for block Huffman compression, which compares sub-block data statistics (histograms) based on current sub-block entropy E(x) (1) and entropy-based estimated average word bitlength Emod(x) for which codewords are obtained for the previous sub-block (2). When Emod(x) - E(x) > T (T - a threshold), then a new block is inserted. Otherwise, the current sub-block is merged into the previous block. The typical header size is 50 B, therefore theoretical threshold T for different sub-block sizes S is as in (3) and is given in Tab. 2. Nevertheless, the results presented in Tab. 1 indicate that optimal T should be slightly different - smaller for small sub-block size S and larger for big S. The deflate standard was selected due to its optimal compression size to compression speed ratio [3]. This standard was selected for hardware implementation in FPGA [4, 5, 6, 7].
Źródło:
Pomiary Automatyka Kontrola; 2014, R. 60, nr 7, 7; 519-521
0032-4140
Pojawia się w:
Pomiary Automatyka Kontrola
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Implementacja w układach FPGA dekompresji danych zgodnie ze standardem Deflate
FPGA Implementation of Deflate standard data decompression
Autorzy:
Jamro, E.
Wiatr, K.
Powiązania:
https://bibliotekanauki.pl/articles/156208.pdf
Data publikacji:
2013
Wydawca:
Stowarzyszenie Inżynierów i Techników Mechaników Polskich
Tematy:
kompresja danych
FPGA
kodowanie Huffmana
data compression
Deflate
Huffman
Opis:
Otwarty standard kompresji danych, Deflate, jest szeroko stosowanym standardem w plikach .gz / .zip i stanowi kombinację kompresji metodą LZ77 / LZSS oraz kodowania Huffmana. Niniejszy artykuł opisuje implementację w układach FPGA dekompresji danych według tego standardu. Niniejszy moduł jest w stanie dokonać dekompresji co najmniej 1B na takt zegara, co przy zegarze 100MHz daje 100MB/s. Aby zwiększyć szybkość, możliwa jest praca wielu równoległych modułów dla różnych strumieni danych wejściowych.
This paper describes FPGA implementation of the Deflate standard decoder. Deflate [1] is a commonly used compression standard employed e.g. in zip and gz files. It is based on dictionary compression (LZ77 / LZSS) [4] and Huffman coding [5]. The proposed Huffman decoded is similar to [9], nevertheless several improvements are proposed. Instead of employing barrel shifter a different translation function is proposed (see Tab. 1). This is a very important modification as the barrel shifter is a part of the time-critical feedback loop (see Fig. 1). Besides, the Deflate standard specifies extra bits, which causes that a single input word might be up to 15+13=28 bits wide, but this width is very rare. Consequently, as the input buffer might not feed the decoder width such wide input date, a conditional decoding is proposed, for which the validity of the input data is checked after decoding the input symbol, thus when the actual input symbol bit widths is known. The implementation results (Tab. 2) show that the occupied hardware resources are mostly defined by the number of BRAM modules, which are mostly required by the 32kB dictionary memory. For example, comparable logic (LUT / FF) resources to the Deflate standard decoder are required by the AXI DMA module which transfers data to / from the decoder.
Źródło:
Pomiary Automatyka Kontrola; 2013, R. 59, nr 8, 8; 739-741
0032-4140
Pojawia się w:
Pomiary Automatyka Kontrola
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Optymalizacja sprzętowej architektury kompresji danych metodą słownikową
FPGA implementation of Deflate standard data decompression
Autorzy:
Gwiazdoń, M.
Jamro, E.
Wiatr, K.
Powiązania:
https://bibliotekanauki.pl/articles/152652.pdf
Data publikacji:
2013
Wydawca:
Stowarzyszenie Inżynierów i Techników Mechaników Polskich
Tematy:
kompresja danych
FPGA
kodowanie Huffmana
data compression
Deflate
LZ77
Opis:
Niniejszy artykuł opisuje nową architekturę sprzętową kompresji słownikowej, np. LZ77, LZSS czy też Deflate. Zaproponowana architektura oparta jest na funkcji haszującej. Poprzednie publikacje były oparte na sekwencyjnym odczycie adresu wskazywanego przez pamięć hasz, niniejszy artykuł opisuje układ, w którym możliwe jest równoległe odczytywanie tego adresu z wielu pamięci hasz, w konsekwencji możliwa jest kompresja słownikowa z szybkością na poziomie 1B ciągu wejściowego na takt zegara. Duża szybkość kompresji jest okupiona nieznacznym spadkiem stopnia kompresji.
This paper describes a novel parallel architecture for hardware (ASIC or FPGA) implementation of dictionary compressor, e.g. LZ77 [1], LZSS [2] or Deflate [4]. The proposed architecture allows for very fast compression – 1B of input data per clock cycle. A standard compression architecture [8, 9] is based on sequential hash address reading (see Fig. 2) and requires M clock cycles per 1B of input data, where M is the number of candidates for string matching, i.e. hashes look ups (M varies for different input data). In this paper every hash address is looked up in parallel (see Fig. 3). The drawback of the presented method is that the number of M is defined (limited), therefore the compression ratio is slightly degraded (see Fig. 4). To improve compression ratio, a different sting length may be searched independently, i.e. not only 3B, but also 4B, … N B hashes (see results in Fig. 5, 6). Every hash memory (M(N-2)) usually requires a direct look-up in the dictionary to eliminate hash false positive cases or to check whether a larger length sting was found. In order to reduce the number of dictionary reads, an additional pre-elimination algorithm is proposed, thus the number of dictionary reads does not increase rapidly with growing N (see Fig. 7).
Źródło:
Pomiary Automatyka Kontrola; 2013, R. 59, nr 8, 8; 827-829
0032-4140
Pojawia się w:
Pomiary Automatyka Kontrola
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Joint compression and encryption of visual data using orthogonal parametric transforms
Autorzy:
Puchala, D.
Yatsymirskyy, M. M.
Powiązania:
https://bibliotekanauki.pl/articles/201442.pdf
Data publikacji:
2016
Wydawca:
Polska Akademia Nauk. Czytelnia Czasopism PAN
Tematy:
data encryption
parametric linear transforms
lossy data compression
szyfrowanie danych
parametryczne transformacje liniowe
kompresja danych
Opis:
In this paper, we introduce a novel method of joint compression and encryption of visual data. In the proposed approach the compression stage is based on block quantization while the encryption uses fast parametric orthogonal transforms of arbitrary forms in combination with a novel scheme of intra-block mixing of data vectors. Theoretical analysis of the method indicates no impact of encryption stage on the effectiveness of block quantization with an additional step of first order entropy coding. Moreover, a series of experimental studies involving natural images and JPEG lossy compression standard were performed. Here, the obtained results indicate a high level of visual content concealment with only a small reduction of compression performance. An additional analysis of security allows to state that the proposed method is resistant to cryptanalytic attacks known for visual data encryption schemes including the most efficient NZCA attack. The proposed method can be also characterized by high computational efficiency and feasibility of hardware realizations.
Źródło:
Bulletin of the Polish Academy of Sciences. Technical Sciences; 2016, 64, 2; 373-382
0239-7528
Pojawia się w:
Bulletin of the Polish Academy of Sciences. Technical Sciences
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Optymalizacja ilości danych w pomiarach charakterystyk częstotliwościowych
Optimization of the amount of data in measurements of frequency characteristic
Autorzy:
Olchowik, W.
Powiązania:
https://bibliotekanauki.pl/articles/151503.pdf
Data publikacji:
2014
Wydawca:
Stowarzyszenie Inżynierów i Techników Mechaników Polskich
Tematy:
charakterystyka częstotliwościowa
optymalizacja rozdzielczości
kompresja danych
frequency characteristic
optimization of the resolution
data compression
Opis:
W artykule przedstawiono metody ograniczenia ilości danych podczas zautomatyzowanego pomiaru charakterystyk częstotliwościowych układów elektronicznych poprzez optymalizację rozdzielczości w dziedzinie częstotliwości oraz grupowanie i uśrednianie wyników w ramach ustalonych przedziałów. Efektem przedstawionej metodyki jest redukcja danych pomiarowych i udokładnienie charakterystyk w obszarach o podwyższonej niepewności.
In this paper, there are presented two methods limiting the amount of data during an automated measurement of the frequency response characteristics of linear electric circuits. The first method involves the optimization of the resolution in the frequency domain. It consists in the usage of a changeable frequency of measurements dependent on the gradient of the characteristics of the measured circuit. The frequency of measurements is automatically regulated so that the absolute difference between the values of the subsequent measurements is approximately constant. The second method involves the reduction of data in the areas with the increased measurement uncertainty, with the standard method of increasing the number of measurements. The method requires division of the frequency range with the increased measurement number into intervals, grouping and averaging the data in these intervals. The aforementioned techniques can be applied in parallel, integrating them into a single system. The result of the described integrated methodology is the decrease in the number of measurement data files and frequently decrease in the overall experiment time without significant decrease in the quality of the frequency characteristics reconstruction. Depending on the assumed quality and characteristic of the measurement, the amount of data can be reduced two to ten times. Moreover, the accuracy of the characteristic areas with the increased measurement uncertainty can be increased with the averaging method without the increase in the number of the data. The presented methodology can be implemented in computer measurement systems.
Źródło:
Pomiary Automatyka Kontrola; 2014, R. 60, nr 9, 9; 690-693
0032-4140
Pojawia się w:
Pomiary Automatyka Kontrola
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Autoasocjacyjna sieć neuronowa jako narzędzie do nieliniowej kompresji danych
The artificial neural nerwork as a helping tool in the process of non-linear data compression
Autorzy:
Boniecki, P.
Przybył, J.
Powiązania:
https://bibliotekanauki.pl/articles/336092.pdf
Data publikacji:
2006
Wydawca:
Sieć Badawcza Łukasiewicz - Przemysłowy Instytut Maszyn Rolniczych
Tematy:
sieć neuronowa
autoasocjacyjna sieć neuronowa
kompresja danych
artificial neural network
data compression
autoassociative network
Opis:
Sieci autoasocjacyjne to sieci, które odtwarzają wartości wejściowe na swoich wyjściach. Działanie takie zdecydowanie ma sens, ponieważ rozważana sieć autoasocjacyjna posiada w warstwie środkowej (ukrytej) zdecydowanie mniejszą liczbą neuronów niż w warstwie wejściowej czy wyjściowej. Dzięki takiej budowie dane wejściowe muszą przecisnąć się przez swojego rodzaju zwężenie w warstwie ukrytej sieci, kierując się w do wyjścia. Dlatego też, w celu realizacji stawianego jej zadania reprodukcji informacji wejściowej na wyjściu, sieć musi się najpierw nauczyć reprezentacji obszernych danych wejściowych za pomocą mniejszej liczby sygnałów produkowanych przez neurony warstwy ukrytej, a potem musi opanować umiejętność rekonstrukcji pełnych danych wejściowych z tej "skompresowanej" informacji. Oznacza to, że sieć autoasocjacyjna w trakcie uczenia zdobywa umiejętność redukcji wymiaru wejściowych danych.
An autoassociative network is one which reproduces its inputs as outputs. Autoassociative networks have at least one hidden layer with less units than the input and output layers (which obviously have the same number of layers as each other). Hence, autoassociative networks perform some sort of dimensionality reduction or compression on the cases. Dimensionality reduction can be used to pre-process the input data to encode Information in a smaller number of variables. This approach recognizes that the intrinsic dimensionality of the data may be lower than the number of variables. In other words, the data can be adequately described by a smaller number of variables, if the right transformation can be found.
Źródło:
Journal of Research and Applications in Agricultural Engineering; 2006, 51, 1; 37-40
1642-686X
2719-423X
Pojawia się w:
Journal of Research and Applications in Agricultural Engineering
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
An efficient eigenspace updating scheme for high-dimensional systems
Autorzy:
Gangl, S.
Mongus, D.
Žalik, B.
Powiązania:
https://bibliotekanauki.pl/articles/330681.pdf
Data publikacji:
2014
Wydawca:
Uniwersytet Zielonogórski. Oficyna Wydawnicza
Tematy:
eigenspace updating
projection space
data compression
principal component analysis
przestrzeń rzutowa
kompresja danych
analiza składowych głównych
Opis:
Systems based on principal component analysis have developed from exploratory data analysis in the past to current data processing applications which encode and decode vectors of data using a changing projection space (eigenspace). Linear systems, which need to be solved to obtain a constantly updated eigenspace, have increased significantly in their dimensions during this evolution. The basic scheme used for updating the eigenspace, however, has remained basically the same: (re)computing the eigenspace whenever the error exceeds a predefined threshold. In this paper we propose a computationally efficient eigenspace updating scheme, which specifically supports high-dimensional systems from any domain. The key principle is a prior selection of the vectors used to update the eigenspace in combination with an optimized eigenspace computation. The presented theoretical analysis proves the superior reconstruction capability of the introduced scheme, and further provides an estimate of the achievable compression ratios.
Źródło:
International Journal of Applied Mathematics and Computer Science; 2014, 24, 1; 123-131
1641-876X
2083-8492
Pojawia się w:
International Journal of Applied Mathematics and Computer Science
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Klasyczna i neuronowa analiza głównych składowych na przykładzie zadania kompresji obrazu
Classical and neural network-based principal component analysis for image compression
Autorzy:
Bartecki, K.
Powiązania:
https://bibliotekanauki.pl/articles/154740.pdf
Data publikacji:
2013
Wydawca:
Stowarzyszenie Inżynierów i Techników Mechaników Polskich
Tematy:
analiza składników głównych
sztuczna sieć neuronowa
kompresja danych
principal component analysis
artificial neural network
data compression
Opis:
W artykule omówiono zastosowanie analizy składników głównych (PCA) w zadaniu kompresji stratnej sygnału na przykładzie kompresji obrazu. Zadanie zrealizowano z wykorzystaniem klasycznej metody PCA oraz dwóch rodzajów sieci neuronowych: jednokierunkowej, dwuwarstwowej sieci z uczeniem nadzorowanym i jednowarstwowej sieci z uczeniem nienadzorowanym. W każdym z przypadków przeanalizowano wpływ struktury modelu PCA na wartości współczynnika kompresji oraz średniokwadratowego błędu kompresji.
In the paper, lossy data compression techniques based on the principal component analysis (PCA) are considered on the example of image compression. The presented task is performed using the classical PCA method based on the eigen-decomposition of the image covari-ance matrix as well as two different kinds of artificial neural networks. The first neural structure used is a two-layer feed-forward network with supervised learning shown in Fig.1, while the second one is a single-layered network with unsupervised Hebbian learning. In each case considered, the effect of the PCA model structure on the data compression ratio and the mean square reconstruction error is analysed. The compression results for a Hebbian neural network with K=4 PCA units are presented in Figs. 2, 3 and 4. They show that only 4 eigenvectors are able to capture the main features of the processed image, giving as a result high value of the data compression ratio. However, the reconstructed image quality is not sufficient from a practical point of view. Therefore, selection of the appropriate value for K should take into account the tradeoff between a sufficiently high value for the compression ratio and a reasonably low value for the image reconstruction error. The summary results for both classical and neural PCA compression approaches obtained for different number of eigenvectors (neurons) are compared in Fig. 5. The author concludes that a positive aspect of using neural networks as a tool for extracting principal components from the image data is that they do not require calculating the correlation matrix explicitly, as in the case of the classical PCA-based approach.
Źródło:
Pomiary Automatyka Kontrola; 2013, R. 59, nr 1, 1; 34-37
0032-4140
Pojawia się w:
Pomiary Automatyka Kontrola
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Lightweight compression with encryption based on asymmetric numeral systems
Autorzy:
Duda, Jarosław
Niemiec, Marcin
Powiązania:
https://bibliotekanauki.pl/articles/2201015.pdf
Data publikacji:
2023
Wydawca:
Uniwersytet Zielonogórski. Oficyna Wydawnicza
Tematy:
symmetric cryptography
lightweight cryptography
data compression
entropy coding
kryptografia symetryczna
kryptografia lekka
kompresja danych
kodowanie entropijne
Opis:
Data compression combined with effective encryption is a common requirement of data storage and transmission. Low cost of these operations is often a high priority in order to increase transmission speed and reduce power usage. This requirement is crucial for battery-powered devices with limited resources, such as autonomous remote sensors or implants. Well-known and popular encryption techniques are frequently too expensive. This problem is on the increase as machine-to-machine communication and the Internet of Things are becoming a reality. Therefore, there is growing demand for finding trade-offs between security, cost and performance in lightweight cryptography. This article discusses asymmetric numeral systems-an innovative approach to entropy coding which can be used for compression with encryption. It provides a compression ratio comparable with arithmetic coding at a similar speed as Huffman coding; hence, this coding is starting to replace them in new compressors. Additionally, by perturbing its coding tables, the asymmetric numeral system makes it possible to simultaneously encrypt the encoded message at nearly no additional cost. The article introduces this approach and analyzes its security level. The basic application is reducing the number of rounds of some cipher used on ANS-compressed data, or completely removing an additional encryption layer when reaching a satisfactory protection level.
Źródło:
International Journal of Applied Mathematics and Computer Science; 2023, 33, 1; 45--55
1641-876X
2083-8492
Pojawia się w:
International Journal of Applied Mathematics and Computer Science
Dostawca treści:
Biblioteka Nauki
Artykuł

Ta witryna wykorzystuje pliki cookies do przechowywania informacji na Twoim komputerze. Pliki cookies stosujemy w celu świadczenia usług na najwyższym poziomie, w tym w sposób dostosowany do indywidualnych potrzeb. Korzystanie z witryny bez zmiany ustawień dotyczących cookies oznacza, że będą one zamieszczane w Twoim komputerze. W każdym momencie możesz dokonać zmiany ustawień dotyczących cookies