Informacja

Drogi użytkowniku, aplikacja do prawidłowego działania wymaga obsługi JavaScript. Proszę włącz obsługę JavaScript w Twojej przeglądarce.

Wyszukujesz frazę "data reduction" wg kryterium: Temat


Tytuł:
Novel approach for big data classification based on hybrid parallel dimensionality reduction using spark cluster
Autorzy:
Ali, Ahmed Hussein
Abdullah, Mahmood Zaki
Powiązania:
https://bibliotekanauki.pl/articles/305766.pdf
Data publikacji:
2019
Wydawca:
Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie. Wydawnictwo AGH
Tematy:
big data
dimensionality reduction
parallel processing
Spark
PCA
LDA
Opis:
The big data concept has elicited studies on how to accurately and efficiently extract valuable information from such huge dataset. The major problem during big data mining is data dimensionality due to a large number of dimensions in such datasets. This major consequence of high data dimensionality is that it affects the accuracy of machine learning (ML) classifiers; it also results in time wastage due to the presence of several redundant features in the dataset. This problem can be possibly solved using a fast feature reduction method. Hence, this study presents a fast HP-PL which is a new hybrid parallel feature reduction framework that utilizes spark to facilitate feature reduction on shared/distributed-memory clusters. The evaluation of the proposed HP-PL on KDD99 dataset showed the algorithm to be significantly faster than the conventional feature reduction techniques. The proposed technique required >1 minute to select 4 dataset features from over 79 features and 3,000,000 samples on a 3-node cluster (total of 21 cores). For the comparative algorithm, more than 2 hours was required to achieve the same feat. In the proposed system, Hadoop’s distributed file system (HDFS) was used to achieve distributed storage while Apache Spark was used as the computing engine. The model development was based on a parallel model with full consideration of the high performance and throughput of distributed computing. Conclusively, the proposed HP-PL method can achieve good accuracy with less memory and time compared to the conventional methods of feature reduction. This tool can be publicly accessed at https://github.com/ahmed/Fast-HP-PL.
Źródło:
Computer Science; 2019, 20 (4); 411-429
1508-2806
2300-7036
Pojawia się w:
Computer Science
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Efektywne wykorzystanie danych lidar w dwuwymiarowym modelowaniu hydraulicznym
Effective application of lidar data in two-dimensional hydraulic modelling
Autorzy:
Bakuła, K.
Powiązania:
https://bibliotekanauki.pl/articles/129777.pdf
Data publikacji:
2014
Wydawca:
Stowarzyszenie Geodetów Polskich
Tematy:
modelowanie hydrauliczne
lotnicze skanowanie laserowe
ALS
numeryczny model terenu
NMT
redukcja ilościowa danych
numeryczny model szorstkości podoża
hydraulic modeling
airborne laser scanning (ALS)
digital terrain model (DTM)
DTM
data reduction
digital roughness model
DRM
Opis:
W niniejszym artykule zaprezentowano aspekty wykorzystania danych z lotniczego skanowania laserowego w dwuwymiarowym modelowaniu hydraulicznym obejmujących tworzenie wysokiej dokładności numerycznych modeli terenu, ich efektywnego przetworzenia będącego kompromisem pomiędzy rozdzielczością danych a ich dokładnością, a także uzyskania informacji o szorstkości pokrycia terenu dającego informacje mogące konkurować z informacjami z baz topograficznych. Prezentowane badania dotyczyły przetwarzania danych NMT w celu ich efektywnego wykorzystania z udziałem metod redukcji ilościowej danych. W wyniku oddzielnego eksperymentu udowodniono, iż dane z lotniczego skanowania laserowego umożliwiają utworzenie w pełni poprawnego dwuwymiarowego modelu hydraulicznego przy założeniu posiadania odpowiednich danych hydraulicznych, a dane z ALS mogą mieć inne zastosowanie niż tylko geometryczna reprezentacja rzeźby terenu.
This paper presents aspects of ALS data usage in two-dimensional hydraulic modelling including generation of high-precision digital terrain models, their effective processing which is a compromise between the resolution and the accuracy of the processed data, as well as information about the roughness of the land cover providing information that could compete with information from topographic databases and orthophotomaps. Still evolving ALS technology makes it possible to collect the data with constantly increasing spatial resolution that guarantees correct representation of the terrain shape and height. It also provides a reliable description of the land cover. However, the size of generated files may cause problems in their effective usage in the 2D hydraulic modeling where Saint-Venant’s equations are implemented. High-resolution elevation models make it impossible or prolong the duration of the calculations for large areas in complex algorithms defining a model of the water movement, which is directly related to the cost of the hydraulic analysis. As far as an effective usage of voluminous datasets is concerned, the data reduction is recommended. Such a process should reduce the size of the data files, maintain their accuracy and keep the appropriate structure to allow their further application in the hydraulic modelling. An application of only a few percent of unprocessed datasets, selected with the use of specified filtering algorithms and spatial analysis tools, can give the same result of the hydraulic modeling obtained in a significantly shorter time than the result of the comparable operation on unprocessed datasets. Such an approach, however, is not commonly used, which means the most reliable hydraulic models are applied only in small areas in the largest cities. Another application of ALS data is its potential usage in digital roughness model creation for 2D hydraulic models. There are many possibilities of roughness coefficient estimation in hydraulic modelling which has an impact on the velocity of water flow. As a basic and reference source for such analysis topographic databases as well as orthophotomaps from aerial or satellite imagery can be considered. The presented paper proved that LIDAR data should be effectively applied in cooperation between surveyors and hydrologists. ALS data can be s used solely in the creation of a fully correct two-dimensional hydraulic model, assuming that appropriate hydraulic datasets are available. Additionally, application of ALS data should not be limited to geometric representation of the terrain and it can be used as information about roughness of terrain. The presented paper was financed by the Foundation for Polish Science - research grant no. VENTURES/2012-9/1 from Innovative Economy program of the European Structural Funds.
Źródło:
Archiwum Fotogrametrii, Kartografii i Teledetekcji; 2014, 26; 23-37
2083-2214
2391-9477
Pojawia się w:
Archiwum Fotogrametrii, Kartografii i Teledetekcji
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Porównanie algorytmów ekstrakcji punktów istotnych w upraszczaniu numerycznych modeli terenu o strukturze hybrydowej
The comparison of algorithms for key points extraction in simplification of hybrid digital terrain models
Autorzy:
Bakuła, K.
Powiązania:
https://bibliotekanauki.pl/articles/131096.pdf
Data publikacji:
2014
Wydawca:
Stowarzyszenie Geodetów Polskich
Tematy:
numeryczny model terenu
punkty istotne
redukcja ilościowa danych
generalizacja
indeks pozycji topograficznej
TPI
Very Important Points
VIP
Z-tolerance
digital terrain model (DTM)
critical points
data reduction
generalization
Topographic Position Index
Opis:
Przedstawione badania dotyczą opracowania algorytmu redukcji ilości danych wysokościowych w postaci numerycznego modelu terenu z lotniczego skanowania laserowego (ALS) dla potrzeb modelowania powodziowego. Redukcja jest procesem niezbędnym w przetwarzaniu ogromnych zbiorów danych z ALS, a jej przebieg nie może mieć charakteru regularnej filtracji danych, co często ma miejsce w praktyce. Działanie takie prowadzi do pominięcia szeregu istotnych form terenowych z punktu widzenia modelowania hydraulicznego. Jednym z proponowanych rozwiązań dla redukcji danych wysokościowych zawartych w numerycznych modelach terenu jest zmiana jego struktury z regularnej siatki na strukturę hybrydową z regularnie rozmieszczonymi punktami oraz nieregularnie rozlokowanymi punktami istotnymi. Celem niniejszego artykułu jest porównanie algorytmów ekstrakcji punktów istotnych z numerycznych modeli terenu, które po przetworzeniu ich z użyciem redukcji danych zachowają swoją dokładność przy jednoczesnym zmniejszeniu rozmiaru plików wynikowych. W doświadczeniach zastosowano algorytmy: indeksu pozycji topograficznej (TPI), Very Important Points (VIP) oraz Z-tolerance, które posłużyły do stworzenia numerycznych modeli terenu, podlegających następnie ocenie w porównaniu z danymi wejściowymi. Analiza taka pozwoliła na porównanie metod. Wyniki badań potwierdzają możliwości uzyskania wysokiego stopnia redukcji, która wykorzystuje jedynie kilka procent danych wejściowych, przy relatywnie niewielkim spadku dokładności pionowej modelu terenu sięgającego kilku centymetrów.
The presented research concerns methods related to reduction of elevation data contained in digital terrain model (DTM) from airborne laser scanning (ALS) in hydraulic modelling. The reduction is necessary in the preparation of large datasets of geospatial data describing terrain relief. Its course should not be associated with regular data filtering, which often occurs in practice. Such a method leads to a number of important forms important for hydraulic modeling being missed. One of the proposed solutions for the reduction of elevation data contained in DTM is to change the regular grid into the hybrid structure with regularly distributed points and irregularly located critical points. The purpose of this paper is to compare algorithms for extracting these key points from DTM. They are used in hybrid model generation as a part of elevation data reduction process that retains DTM accuracy and reduces the size of output files. In experiments, the following algorithms were tested: Topographic Position Index (TPI), Very Important Points (VIP) and Z-tolerance. Their effectiveness in reduction (maintaining the accuracy and reducing datasets) was evaluated in respect to input DTM from ALS. The best results were obtained for the Z-tolerance algorithm, but they do not diminish the capabilities of the other two algorithms: VIP and TPI which can generalize DTM quite well. The results confirm the possibility of obtaining a high degree of reduction reaching only a few percent of the input data with a relatively low decrease of vertical DTM accuracy to a few centimetres. The presented paper was financed by the Foundation for Polish Science - research grant no. VENTURES/2012-9/1 from Innovative Economy program of the European Structural Funds.
Źródło:
Archiwum Fotogrametrii, Kartografii i Teledetekcji; 2014, 26; 11-21
2083-2214
2391-9477
Pojawia się w:
Archiwum Fotogrametrii, Kartografii i Teledetekcji
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Porównanie wpływu wybranych metod redukcji NMT w tworzeniu map zagrożenia powodziowego
Comparison of the impact of selected DTM reduction method in flood hazard map creation
Autorzy:
Bakuła, K.
Powiązania:
https://bibliotekanauki.pl/articles/130866.pdf
Data publikacji:
2012
Wydawca:
Stowarzyszenie Geodetów Polskich
Tematy:
numeryczny model terenu
redukcja
mapa zagrożenia powodziowego
duże zbiory danych
LIDAR
DEM/DTM
reduction
flood hazard map
large data set
lidar
Opis:
Oprogramowania tworzące mapy zagrożenia związanego z kataklizmem powodzi opierają się w dużej mierze na danych o terenie w formie numerycznego modelu terenu. Produkt ten generowany jest na podstawie danych ze skaningu laserowego, który dostarcza odpowiednio dokładne, ale i ogromne zbiory danych, stwarzające problemy dla skomplikowanych obliczeń przy modelowaniu hydraulicznym. W niniejszej pracy przedstawiono wpływ redukcji NMT na określanie miejsc potencjalnego wystąpienia katastrofy powodzi poprzez tworzenie map zagrożenia powodziowego. Numeryczny model terenu obszaru testowego poddany został znaczącej redukcji wybranymi metodami, co posłużyło do późniejszych analiz związanych z jej wpływem na wielkość obszaru zagrożonego katastrofą powodzi. Celem badania jest przede wszystkim udowodnienie istnienia możliwości wykorzystania jedynie nieznacznej części informacji zawartej w NMT dla stworzenia równie wysoko dokładnych opracowań co takie, dla pozyskania których wykorzystano oryginalne dane. Wyniki doświadczenia potwierdzają przypuszczenie o niewielkich rozbieżnościach w określeniu miejsc zagrożonych powodzią pomiędzy analizami z użyciem oryginalnych danych i tych poddanych różnowariantowej redukcji.
Software for creating flood risk maps and simulation of flood water is based on Digital Terrain Model (DTM). Such product is generated on a basis of laser scanning data which provide appropriately accurate results and huge data sets as well, what causes many problems for hydrodynamic – numerical calculations. The essential issue for such data is high redundancy which can guarantee the opportunity to thin it out. However, it is possible to provide suitable DTM for flood modeling by its intelligent reduction, which could still ensure sufficient accuracy for application such as hydrodynamic modeling. In this paper, the impact of DTM reduction on determination of area at risk of flood disaster by creating flood hazard maps was presented. Digital terrain model of case study was significantly reduced with use of six selected methods, what gave possibility for subsequent analysis of reduction impact on the size of the area endangered by a flood disaster. This reduction was based on the automation of the process where points, containing key information, were retained while redundant points, duplicating information about terrain height, were removed from the data set. For comparison of the result of reduction, such reduced models were used in practice to determine flood risk by creating flood hazard maps for selected water levels. For each reduction method, flood simulation with different river water level (i.e. digital water surface model) was created. In this way, area endangered by flood was determined in result of the intersection of digital terrain model and digital water surface model. Size of such area was compared then for each approach with the results obtained on the basis of original DTM data and methods were assessed in terms of their accuracy, efficiency and suitability for presented issues. The aim of this research is particularly to prove that it is possible to use only small percentage of the information contained in DTM for the creation as highly accurate studies as can be obtained from original data. The results of experiment confirm the assumption of small disparities in identifying areas endangered by flood disaster between analysis with use of original data and those reduced by various methods. Difference between results from unreduced and reduced DTMs was very slight what proves that well-generalized models of terrain can be effectively used in that application.
Źródło:
Archiwum Fotogrametrii, Kartografii i Teledetekcji; 2012, 23; 19-28
2083-2214
2391-9477
Pojawia się w:
Archiwum Fotogrametrii, Kartografii i Teledetekcji
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Metoda OptD do redukcji danych w opracowaniu wyników pomiarów linii elektroenergetycznych
The OptD method for data reduction in the development of surveying of power lines
Autorzy:
Błaszczak-Bąk, W.
Sobieraj-Żłobińska, A.
Powiązania:
https://bibliotekanauki.pl/articles/104955.pdf
Data publikacji:
2017
Wydawca:
Politechnika Rzeszowska im. Ignacego Łukasiewicza. Oficyna Wydawnicza
Tematy:
przetwarzanie danych
lotniczy skaning laserowy
metoda redukcji
data processing
airborne laser scanning
reduction method
Opis:
Skaning laserowy to technologia dostarczająca we względnie krótkim czasie dużą ilość danych pomiarowych. Jest to zarazem pozytywna jak i negatywna cecha tej technologii. Z jednej strony w wyniku skaningu otrzymuje się dane, które szczegółowo odzwierciedlają pomierzony obiekt. Z drugiej strony trudność sprawia przetwarzanie takiej ilości danych i nie zawsze wszystkie dane ze skaningu są niezbędne do realizacji wybranego zadania. Z tych względów nieustannie trwają prace nad opracowaniem algorytmów umożliwiających usprawnienie ich przetwarzania. Jednym z rozwiązań jest zmniejszenie ilości danych. W pracy przedstawiono wyniki redukcji danych pochodzących z pomiaru lotniczym skaningiem laserowym napowietrznych sieci elektroenergetycznych. Pomiary były przeprowadzone na potrzeby inwentaryzacji. Uzyskaną chmurę punktów przetworzono wykorzystując metodę Optimum Dataset (OptD). Celem było sprawdzenie czy punkty obrazujące linie elektroenergetyczną nie zostaną utracone w trakcie przetwarzania metodą OptD. W metodzie OptD jako kryterium optymalizacyjne przyjęto stopień redukcji czyli jaki procent punktów ma zostać usunięty z oryginalnego zbioru (p%). Badania przeprowadzono dla dwóch przypadków: 1) p%=70%, (zbiór Ω1) oraz 2) p%=85% (zbiór Ω2). Uzyskane wyniki pokazały, że metoda OptD nie zakłóca obrazu linii elektroenergetycznych. Liczba punktów obrazująca linie jest wystarczająca do prawidłowego wyznaczenia przebiegu tej linii.
Laser scanning is a technology that provides a large amount of measurement data in a relatively short time. It is both a positive and a negative feature of this technology. On the one hand, as a result of scanning, data is obtained that accurately reflects the measured object. On the other hand, it is difficult to process such a large amount of data, and not all of the data from the scanning is necessary to accomplish the selected task. For these reasons, works on developing algorithms to improve data processing are constantly conducted. One of the solution is to reduce the amount of data. The paper presents the results of data reduction from surveying of overhead power lines by means of ALS. The measurements were carried out for inventory purposes. The obtained point cloud was processed using the Optimum Dataset method (OptD). The aim was to check whether the points displaying the power lines will not be lost during the OptD processing. In the OptD method as the optimization criterion the degree of reduction was assumed. It is percentage of points which should be removed from the original dataset (p%). The research was carried out for two cases: 1) p% = 70%, (dataset Ω1) and 2) p% = 85% (dataset Ω2). The obtained results showed that the OptD method does not interfere with the image of power lines. The number of points displaying the lines is sufficient to correctly determine the course of this line.
Źródło:
Czasopismo Inżynierii Lądowej, Środowiska i Architektury; 2017, 64, 4/II; 319-330
2300-5130
2300-8903
Pojawia się w:
Czasopismo Inżynierii Lądowej, Środowiska i Architektury
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Optimization on the complementation procedure towards efficient implementation of the index generation function
Autorzy:
Borowik, G.
Powiązania:
https://bibliotekanauki.pl/articles/330597.pdf
Data publikacji:
2018
Wydawca:
Uniwersytet Zielonogórski. Oficyna Wydawnicza
Tematy:
data reduction
feature selection
indiscernibility matrix
logic synthesis
index generation function
redukcja danych
selekcja cech
synteza logiczna
funkcja generowania indeksów
Opis:
In the era of big data, solutions are desired that would be capable of efficient data reduction. This paper presents a summary of research on an algorithm for complementation of a Boolean function which is fundamental for logic synthesis and data mining. Successively, the existing problems and their proposed solutions are examined, including the analysis of current implementations of the algorithm. Then, methods to speed up the computation process and efficient parallel implementation of the algorithm are shown; they include optimization of data representation, recursive decomposition, merging, and removal of redundant data. Besides the discussion of computational complexity, the paper compares the processing times of the proposed solution with those for the well-known analysis and data mining systems. Although the presented idea is focused on searching for all possible solutions, it can be restricted to finding just those of the smallest size. Both approaches are of great application potential, including proving mathematical theorems, logic synthesis, especially index generation functions, or data processing and mining such as feature selection, data discretization, rule generation, etc. The problem considered is NP-hard, and it is easy to point to examples that are not solvable within the expected amount of time. However, the solution allows the barrier of computations to be moved one step further. For example, the unique algorithm can calculate, as the only one at the moment, all minimal sets of features for few standard benchmarks. Unlike many existing methods, the algorithm additionally works with undetermined values. The result of this research is an easily extendable experimental software that is the fastest among the tested solutions and the data mining systems.
Źródło:
International Journal of Applied Mathematics and Computer Science; 2018, 28, 4; 803-815
1641-876X
2083-8492
Pojawia się w:
International Journal of Applied Mathematics and Computer Science
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Zastosowanie pakietu NVivo w analizie materiałów nieustrukturyzowanych
Computer Aided Qualitative Research Using NVivo in unstructured data analysis
Autorzy:
Brosz, Maciej
Powiązania:
https://bibliotekanauki.pl/articles/1373761.pdf
Data publikacji:
2012
Wydawca:
Uniwersytet Łódzki. Wydawnictwo Uniwersytetu Łódzkiego
Tematy:
CAQDAS
loss of information
data reduction
coding procedures
NVivo
grounded theory
Opis:
This paper concerns using NVivo software in qualitative data analysis. Main subject refers to the data reduction accompanying the process of qualitative data analysis. Using software does not necessarily cause the uncontrolled modifications of data, thereby, the loss of relevant aspects of collected data. The latest version of CAQDAS (i.e., NVivo 8, 9) enables the possibility of coding on barely altered so¬urces. The paper presents examples of coding procedures on texts, pictures, audio-visual recordings. Additionally, the paper includes description of some techniques aiding the coding process.
Źródło:
Przegląd Socjologii Jakościowej; 2012, 8, 1; 98-125
1733-8069
Pojawia się w:
Przegląd Socjologii Jakościowej
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Algorytm hybrydowy detekcji obiektów w przestrzeni 3D
Hybrid algorithm for object detection in 3D space
Autorzy:
Budzan, S.
Powiązania:
https://bibliotekanauki.pl/articles/152480.pdf
Data publikacji:
2008
Wydawca:
Stowarzyszenie Inżynierów i Techników Mechaników Polskich
Tematy:
detekcja powierzchni
transformata Hough'a
redukcja szumów
decymacja
przetwarzanie danych 3D
inżnieria odwrotna
surface detection
Hough transform
noise reduction
decimation
3D data processing
reverse engineering
Opis:
Artykul stanowi podsumowanie badań autora w zakresie algorytmów przetwarzania danych pozyskanych ze skanera 3D, zamieszczonych w rozprawie doktorskiej. Zaprezentowano algorytm filtracji nieregularnych danych pomiarowych 3D, zwanych obrazem 3D. Następnie omówiono algorytm decymacji, w którym wprowadzono modyfikację, która skupia się na wprowadzeniu a priori wartości stopnia decymacji okreslającego liczbę usuniętych punktów ze zbioru. Najistotniejszym elementem badań był algorytm hybrydowy detekcji obiektów w przestrzeni 3D, który bazuje na wykorzystaniu transformaty Hough'a 3D w powiązaniu z segmentacją metodą rozrostu, która powoduje wzrost efektywności algorytmu.
In the paper some authors experiments summary has been presented. First the robust noise reduction in 3D measurement data algorithm has been presented. Often the noise source are optical elements from the 3D scanner. This noise commonly is the separate groups of points with high amplitude or single points with low amplitude. Main idea of applied algorithm depends on maximize distance - distance between points in three dimensional space - nearest neighbors in sliding 3D sphere. Next the modification of decimation algorithm has been presented. Main idea of proposed algorithm depends on adding a priori decimation level - number of the data points, which must be deleted from the dataset. Also the new hybrid algorithm for detection of parametric surfaces in 3D measurement data is presented in this paper, as well as some major problems connected with 3D data acquisition and processing. The algorithm is based on 3D Hough transform and segmentation with region growing which increase the efficiency of the algorithm. The application of Hough transform for parametric surfaces in 3D is the natural extension of the Hough transform for 2D digital images, where it is used for detection of e.g. lines and ellipses.
Źródło:
Pomiary Automatyka Kontrola; 2008, R. 54, nr 5, 5; 298-301
0032-4140
Pojawia się w:
Pomiary Automatyka Kontrola
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
IoT sensing networks for gait velocity measurement
Autorzy:
Chou, Jyun-Jhe
Shih, Chi-Sheng
Wang, Wei-Dean
Huang, Kuo-Chin
Powiązania:
https://bibliotekanauki.pl/articles/330707.pdf
Data publikacji:
2019
Wydawca:
Uniwersytet Zielonogórski. Oficyna Wydawnicza
Tematy:
internet of things
IoT middleware
data fusion
data reduction
internet rzeczy
oprogramowanie pośredniczące
fuzja danych
redukcja danych
Opis:
Gait velocity has been considered the sixth vital sign. It can be used not only to estimate the survival rate of the elderly, but also to predict the tendency of falling. Unfortunately, gait velocity is usually measured on a specially designed walk path, which has to be done at clinics or health institutes. Wearable tracking services using an accelerometer or an inertial measurement unit can measure the velocity for a certain time interval, but not all the time, due to the lack of a sustainable energy source. To tackle the shortcomings of wearable sensors, this work develops a framework to measure gait velocity using distributed tracking services deployed indoors. Two major challenges are tackled in this paper. The first is to minimize the sensing errors caused by thermal noise and overlapping sensing regions. The second is to minimize the data volume to be stored or transmitted. Given numerous errors caused by remote sensing, the framework takes into account the temporal and spatial relationship among tracking services to calibrate the services systematically. Consequently, gait velocity can be measured without wearable sensors and with higher accuracy. The developed method is built on top of WuKong, which is an intelligent IoT middleware, to enable location and temporal-aware data collection. In this work, we present an iterative method to reduce the data volume collected by thermal sensors. The evaluation results show that the file size is up to 25% of that of the JPEG format when the RMSE is limited to 0.5º.
Źródło:
International Journal of Applied Mathematics and Computer Science; 2019, 29, 2; 245-259
1641-876X
2083-8492
Pojawia się w:
International Journal of Applied Mathematics and Computer Science
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Analiza czynnikowa zdjęć wielospektralnych
Principal component analysis of multispectral images
Autorzy:
Czapski, P.
Kotlarz, J.
Kubiak, K.
Tkaczyk, M.
Powiązania:
https://bibliotekanauki.pl/articles/213759.pdf
Data publikacji:
2014
Wydawca:
Sieć Badawcza Łukasiewicz - Instytut Lotnictwa
Tematy:
PCA
metody statystyczne
bioróżnorodność
krzywe blasku
redukcja danych
statistical methods
biodiversity
light curves
data reduction
Opis:
Analiza zdjęć wielospektralnych sprowadza się często do modelowania matematycznego opartego o wielowymiarowe przestrzenie metryczne, w których umieszcza się pozyskane za pomocą sensorów dane. Tego typu bardzo intuicyjne, łatwe do zaaplikowania w algorytmice analizy obrazu postępowanie może skutkować zupełnie niepotrzebnym wzrostem niezbędnej do analiz zdjęć mocy obliczeniowej. Jedną z ogólnie przyjętych grup metod analizy zbiorów danych tego typu są metody analizy czynnikowej. Wpracy tej prezentujemy dwie z nich: Principal Component Analysis (PCA) oraz Simplex Shrink-Wrapping (SSW). Użyte jednocześnie obniżają znacząco wymiar zadanej przestrzeni metrycznej pozwalając odnaleźć w danych wielospektralnych charakterystyczne składowe, czyli przeprowadzić cały proces detekcji fotografowanych obiektów. W roku 2014 w Pracowni Przetwarzania Danych Instytutu Lotnictwa oraz Zakładzie Ochrony Lasu Instytutu Badawczego Leśnictwa metodykę tą równie skutecznie przyjęto dla analizy dwóch niezwykle różnych serii zdjęć wielospektralnych: detekcji głównych składowych powierzchni Marsa (na podstawie zdjęć wielospektralnych pozyskanych w ramach misji EPOXI, NASA) oraz oszacowania bioróżnorodności jednej z leśnych powierzchni badawczych projektu HESOFF.
Mostly, analysis of multispectral images employs mathematical modeling based on multidimensional metric spaces that includes collected by the sensors data. Such an intuitive approach easily applicable to image analysis applications can result in unnecessary computing power increase required by this analysis. One of the groups of generally accepted methods of analysis of data sets are factor analysis methods. Two such factor analysis methods are presented in this paper, i.e. Principal Component Analysis (PCA ) and Simplex Shrink - Wrapping (SSW). If they are used together dimensions of a metric space can be reduced significantly allowing characteristic components to be found in multispectral data, i.e. to carry out the whole detection process of investigated images. In 2014 such methodology was adopted by Data Processing Department of the Institute of Aviation and Division of Forest Protection of Forest Research Institute for the analysis of the two very different series of multispectral images: detection of major components of the Mars surface (based on multispectral images obtained from the epoxy mission, NASA) and biodiversity estimation of one of the investigated in the HESOFF project forest complexes.
Źródło:
Prace Instytutu Lotnictwa; 2014, 1 (234) March 2014; 143-150
0509-6669
2300-5408
Pojawia się w:
Prace Instytutu Lotnictwa
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
System-level approaches to power efficiency in FPGA-based designs (data reduction algorithms case study)
Autorzy:
Czapski, P. P.
Śluzek, A.
Powiązania:
https://bibliotekanauki.pl/articles/384769.pdf
Data publikacji:
2011
Wydawca:
Sieć Badawcza Łukasiewicz - Przemysłowy Instytut Automatyki i Pomiarów
Tematy:
power awareness
FPGA
system-level
Handel-C
data reduction
Opis:
In this paper we present preliminary results on systemlevel analysis of power efficiency in FPGA-based designs. Advanced FPGA devices allow implementation of sophisticated systems (e.g. embedded sensor nodes). However, designing such complex applications is prohibitively expensive at lower levels so that, moving the designing process to higher abstraction layers, i.e. system-levels of design, is a rational decision. This paper shows that at least a certain level of power awareness is achievable at these higher abstractions. A methodology and preliminary results for a power-aware, system-level algorithm partitioning is presented. We select data reduction algorithms as the case study because of their importance in wireless sensor networks (WSN's). Although, the research has been focused on WSN applications of FPGA, it is envisaged that the presented ideas are applicable to other untethered embedded systems based on FPGA's and other similar programmable devices.
Źródło:
Journal of Automation Mobile Robotics and Intelligent Systems; 2011, 5, 2; 49-59
1897-8649
2080-2145
Pojawia się w:
Journal of Automation Mobile Robotics and Intelligent Systems
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Application of agent-based simulated annealing and tabu search procedures to solving the data reduction problem
Autorzy:
Czarnowski, I.
Jędrzejowicz, P.
Powiązania:
https://bibliotekanauki.pl/articles/907819.pdf
Data publikacji:
2011
Wydawca:
Uniwersytet Zielonogórski. Oficyna Wydawnicza
Tematy:
redukcja danych
komputerowe uczenie się
optymalizacja
system wieloagentowy
data reduction
machine learning
A-Team
optimization
multi-agent system
Opis:
The problem considered concerns data reduction for machine learning. Data reduction aims at deciding which features and instances from the training set should be retained for further use during the learning process. Data reduction results in increased capabilities and generalization properties of the learning model and a shorter time of the learning process. It can also help in scaling up to large data sources. The paper proposes an agent-based data reduction approach with the learning process executed by a team of agents (A-Team). Several A-Team architectures with agents executing the simulated annealing and tabu search procedures are proposed and investigated. The paper includes a detailed description of the proposed approach and discusses the results of a validating experiment.
Źródło:
International Journal of Applied Mathematics and Computer Science; 2011, 21, 1; 57-68
1641-876X
2083-8492
Pojawia się w:
International Journal of Applied Mathematics and Computer Science
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Presenting a technique for registering images and range data using a topological representation of a path within an environment
Autorzy:
Ferreira, F.
Davim, L.
Rocha, R.
Dias, J.
Santos, V.
Powiązania:
https://bibliotekanauki.pl/articles/385035.pdf
Data publikacji:
2007
Wydawca:
Sieć Badawcza Łukasiewicz - Przemysłowy Instytut Automatyki i Pomiarów
Tematy:
sensor feature integration
binary data
Bernoulli mixture model
dimensionality reduction
robot localisation
change detection
Opis:
This article presents a novel method to the utilize topological representation of a path, thatpath that is created from sequences of images from digital cameras and sensor data from range sensors. A topological representation of the environment is created by leading the robot around the environment during a familiarisation phaseLeading the robot around the environment during a familiarisation phase creates a topological representation of the environment. While moving down the same path, the robot is able to localise itself within the topological representation that is has been previously created. The principal contribution to the state of the art is that, by using a topological representation of the environment, individual 3D data sets acquired from a set of range sensors need not be registered in a single, [Global] Coordinate Reference System. Instead, 3D point clouds for small sections of the environment are indexed to a sequence of multi-sensor views, of images and range data. Such a registration procedure can be useful in the construction of 3D representations of large environments and in the detection of changes that might occur within these environments.
Źródło:
Journal of Automation Mobile Robotics and Intelligent Systems; 2007, 1, 3; 47-56
1897-8649
2080-2145
Pojawia się w:
Journal of Automation Mobile Robotics and Intelligent Systems
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
Rola instytutów badawczych we wsparciu działań adaptacyjnych do zmian klimatu
The actions of research institutes to support adaptation to climate change
Autorzy:
Granoszewski, Wojciech
Kowalczyk, Agnieszka
Ploch, Izabela
Rubinkiewicz, Jacek
Woźnicka, Małgorzata
Kępińska-Kasprzak, Małgorzata
Limanówka, Danuta
Doktor, Radosław
Struzik, Piotr
Dubel, Anna
Skotak, Krzysztof
Hajto, Małgorzata
Kozyra, Jerzy
Pudełko, Rafał
Żyłowska, Katarzyna
Jędrejek, Anna
Łopatka, Artur
Jadczyszyn, Jan
Nieróbca, Anna
Doroszewski, Andrzej
Barszczewska, Marta
Powiązania:
https://bibliotekanauki.pl/articles/2076003.pdf
Data publikacji:
2020
Wydawca:
Państwowy Instytut Geologiczny – Państwowy Instytut Badawczy
Tematy:
zmiany klimatu
systemy monitorowania
warunki meteorologiczne
powierzchnia wody
wody gruntowe
osuwiska
wybrzeże
susza rolnicza
dane paleoklimatyczne
ocena ekonomiczna
skutki zmian klimatu
ryzyko katastrof
climate change
monitoring systems
meteorological conditions
surface water
groundwater
landslides
seacoast
agricultural drought
palaeoclimate data
economic assessment
climate change impacts
disaster risk reduction
Opis:
A crucial part of every adaptation planning and disaster risk reduction is estimation of vulnerable areas and risk in the future. Only a well-developed monitoring system could bring valuable information to create possible scenarios to set up adaptation plans. Monitoring systems of meteorological conditions, surface water, groundwater, landslides, seacoast, agricultural drought as well as their standards and methodologies, are crucial for establishing an effective warning system of every country, and thus are the subject of research conducted by national institutes. Therefore, the conditions of this national research (getting trained staff, equipment etc.) is essential to provide reliable information for a national adaptation plan and for economic assessment of climate change impacts. Poland has significant experiences in monitoring systems, data collecting and visualizing, as well as in the development of scenarios and risk maps. Methodologies and capacity building, necessary for their use, along with experiences and lessons, learned to get valuable information for disaster risk reduction, were presented by the authors from the research during the 24th session of the Conference of the Parties to the United Nations Framework Convention on Climate Change (COP 24) in Katowice (December 2018). The presentation contributed to the global adaptation process through experience sharing that is important for the relevant research conducted in the least developed countries.
Źródło:
Przegląd Geologiczny; 2020, 68, 1; 25--44
0033-2151
Pojawia się w:
Przegląd Geologiczny
Dostawca treści:
Biblioteka Nauki
Artykuł
Tytuł:
An effective data reduction model for machine emergency state detection from big data tree topology structures
Autorzy:
Iaremko, Iaroslav
Senkerik, Roman
Jasek, Roman
Lukastik, Petr
Powiązania:
https://bibliotekanauki.pl/articles/2055178.pdf
Data publikacji:
2021
Wydawca:
Uniwersytet Zielonogórski. Oficyna Wydawnicza
Tematy:
OPC UA
OPC tree
principal component analysis
PCA
big data analysis
data reduction
machine tool
anomaly detection
emergency states
analiza głównych składowych
duży zbiór danych
redukcja danych
wykrywanie anomalii
stan nadzwyczajny
Opis:
This work presents an original model for detecting machine tool anomalies and emergency states through operation data processing. The paper is focused on an elastic hierarchical system for effective data reduction and classification, which encompasses several modules. Firstly, principal component analysis (PCA) is used to perform data reduction of many input signals from big data tree topology structures into two signals representing all of them. Then the technique for segmentation of operating machine data based on dynamic time distortion and hierarchical clustering is used to calculate signal accident characteristics using classifiers such as the maximum level change, a signal trend, the variance of residuals, and others. Data segmentation and analysis techniques enable effective and robust detection of operating machine tool anomalies and emergency states due to almost real-time data collection from strategically placed sensors and results collected from previous production cycles. The emergency state detection model described in this paper could be beneficial for improving the production process, increasing production efficiency by detecting and minimizing machine tool error conditions, as well as improving product quality and overall equipment productivity. The proposed model was tested on H-630 and H-50 machine tools in a real production environment of the Tajmac-ZPS company.
Źródło:
International Journal of Applied Mathematics and Computer Science; 2021, 31, 4; 601--611
1641-876X
2083-8492
Pojawia się w:
International Journal of Applied Mathematics and Computer Science
Dostawca treści:
Biblioteka Nauki
Artykuł

Ta witryna wykorzystuje pliki cookies do przechowywania informacji na Twoim komputerze. Pliki cookies stosujemy w celu świadczenia usług na najwyższym poziomie, w tym w sposób dostosowany do indywidualnych potrzeb. Korzystanie z witryny bez zmiany ustawień dotyczących cookies oznacza, że będą one zamieszczane w Twoim komputerze. W każdym momencie możesz dokonać zmiany ustawień dotyczących cookies