Informacja

Drogi użytkowniku, aplikacja do prawidłowego działania wymaga obsługi JavaScript. Proszę włącz obsługę JavaScript w Twojej przeglądarce.

English (EN)·Polski (PL)·Yкраїнський (UK)
Przejdź do strony domowej biblioteki Centralna Biblioteka Wojskowa Link otwiera się w nowym oknie Logo biblioteki Prolib Integro - strona głównaCentralna Biblioteka Wojskowa

Wyszukujesz frazę "web data" wg kryterium: Temat

  Lista filtrów
Wyrównaj
    Wyświetlanie 1-4 z 4
    Tytuł:
    Current challenges and possible big data solutions for the use of web data as a source for official statistics
    Współczesne wyzwania i możliwości w zakresie stosowania narzędzi big data do uzyskania danych webowych jako źródła dla statystyki publicznej
    Autorzy:
    Daas, Piet
    Maślankowski, Jacek
    Powiązania:
    https://bibliotekanauki.pl/articles/31232088.pdf
    Data publikacji:
    2023-12-29
    Wydawca:
    Główny Urząd Statystyczny
    Tematy:
    big data
    web data
    websites
    web scraping
    dane webowe
    strony internetowe
    Opis:
    Web scraping has become popular in scientific research, especially in statistics. Preparing an appropriate IT environment for web scraping is currently not difficult and can be done relatively quickly. Extracting data in this way requires only basic IT skills. This has resulted in the increased use of this type of data, widely referred to as big data, in official statistics. Over the past decade, much work was done in this area both on the national level within the national statistical institutes, and on the international one by Eurostat. The aim of this paper is to present and discuss current problems related to accessing, extracting, and using information from websites, along with the suggested potential solutions. For the sake of the analysis, a case study featuring large-scale web scraping performed in 2022 by means of big data tools is presented in the paper. The results from the case study, conducted on a total population of approximately 503,700 websites, demonstrate that it is not possible to provide reliable data on the basis of such a large sample, as typically up to 20% of the websites might not be accessible at the time of the survey. What is more, it is not possible to know the exact number of active websites in particular countries, due to the dynamic nature of the Internet, which causes websites to continuously change.
    Web scraping jest coraz popularniejszy w badaniach naukowych, zwłaszcza w dziedzinie statystyki. Przygotowanie środowiska do scrapowania danych nie przysparza obecnie trudności i może być wykonane relatywnie szybko, a uzyskiwanie informacji w ten sposób wymaga jedynie podstawowych umiejętności cyfrowych. Dzięki temu statystyka publiczna w coraz większym stopniu korzysta z dużych wolumenów danych, czyli big data. W drugiej dekadzie XXI w. zarówno krajowe urzędy statystyczne, jak i Eurostat włożyły dużo pracy w doskonalenie narzędzi big data. Nadal istnieją jednak trudności związane z dostępnością, ekstrakcją i wykorzystywaniem informacji pobranych ze stron internetowych. Tym problemom oraz potencjalnym sposobom ich rozwiązania został poświęcony niniejszy artykuł. Omówiono studium przypadku masowego web scrapingu wykonanego w 2022 r. za pomocą narzędzi big data na próbie 503 700 stron internetowych. Z analizy wynika, że dostarczenie wiarygodnych danych na podstawie tak dużej próby jest niemożliwe, ponieważ w czasie badania zwykle do 20% stron internetowych może być niedostępnych. Co więcej, dokładna liczba aktywnych stron internetowych w poszczególnych krajach nie jest znana ze względu na dynamiczny charakter Internetu, skutkujący ciągłymi zmianami stron internetowych.
    Źródło:
    Wiadomości Statystyczne. The Polish Statistician; 2023, 68, 12; 49-64
    0043-518X
    Pojawia się w:
    Wiadomości Statystyczne. The Polish Statistician
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
    Tytuł:
    Porównanie cen i wskaźników cen konsumpcyjnych: tradycyjna metoda uzyskiwania danych a źródła alternatywne
    Comparison of prices and consumer price indices: traditional data collection and alternative data sources
    Autorzy:
    Białek, Jacek
    Dominiczak-Astin, Alina
    Turek, Dorota
    Powiązania:
    https://bibliotekanauki.pl/articles/1813758.pdf
    Data publikacji:
    2021-09-30
    Wydawca:
    Główny Urząd Statystyczny
    Tematy:
    wskaźniki cen
    dane skanowane
    dane skrapowane
    inflacja
    price indices
    scanner data
    web scraped data
    inflation
    Opis:
    Jednym z większych wyzwań stojących przed statystyką publiczną w XXI w. jest wykorzystanie alternatywnych źródeł danych o cenach w celu unowocześnienia statystyki cen konsumpcyjnych, a w rezultacie – zwiększenia dokładności i rzetelności danych o inflacji. Trudności w zbieraniu danych metodą tradycyjną spowodowane przez COVID-19 (obostrzenia dotyczące utrzymywania dystansu, które ograniczyły wyjścia ankieterów w teren, i zamykanie punktów sprzedaży) wpłynęły na zintensyfikowanie prac nad alternatywnymi źródłami danych. W artykule przedstawiono wyniki badania eksperymentalnego, w którym wykorzystano dane o cenach uzyskane metodą tradycyjną (przez ankieterów) oraz dane skanowane i skrapowane, pochodzące z sieci handlowej działającej w Polsce. Głównym celem badania było określenie występowania i oszacowanie wielkości różnic w poziomie cen i wartościach wskaźnika cen wybranych produktów spożywczych obliczonych metodą tradycyjną oraz z wykorzystaniem alternatywnych źródeł danych, czyli danych skanowanych i skrapowanych. Za dodatkowy cel postawiono sobie zidentyfikowanie przyczyn tych różnic w odniesieniu do specyfiki źródeł danych. Badaniem empirycznym objęto luty i marzec 2021 r. Wyniki otrzymane na podstawie danych z różnych źródeł porównano za pomocą metod graficznych (histogramy, wykresy pudełkowe) oraz wyznaczenia elementarnych indeksów według formuł Dutota, Carliego i Jevonsa. Wyniki wskazały na rozbieżności – niekiedy znaczne – w rozkładach cen uzyskanych z różnych źródeł danych, co skłania do wniosku, że zastosowanie danych skanowanych i skrapowanych może prowadzić do zawyżania lub zaniżania wskaźników cen uzyskanych metodą tradycyjną. W artykule omówiono również podstawowe aspekty metodologiczne dotyczące uzyskiwania i wykorzystywania danych ze źródeł alternatywnych oraz wskazano prawdopodobne przyczyny różnic, jakie zaobserwowano zarówno w rozkładach cen produktów, jak i w wartościach miesięcznego wskaźnika cen obliczonego przy wykorzystaniu danych z różnych źródeł.
    One of the major challenges official statistics is faced with in the 21st century is the use of alternative sources of price data in order to modernise consumer price statistics and, as a result, to improve the accuracy and reliability of inflation data. Data collecting based on the traditional method encountered numerous difficulties caused by COVID-19 (distance-keeping restrictions limiting price collectors’ fieldwork, closures of points of sale). As a consequence, the work on alternative data sources intensified. The article presents the results of an experimental study involving the use of prices collected by means of the traditional method (by price collectors), and scanner and web scraped data from one of the retail chains operating in Poland. The aim of the study was to investigate the occurrence of differences in prices and price indices of selected food products and to estimate them, using the traditional method and alternative data sources, i.e. scanner and web scraped data. An additional goal was set to identify sourcebased reasons for these differences. The empirical study covered the period of February and March 2021. The results based on data from different sources were compared using both graphical methods (histograms, box plots) and the calculation of elementary price indices according to the Dutot, Carli and Jevons formulas. The findings revealed certain, sometimes serious discrepancies in the distributions of prices obtained from various data sources, which suggests that the application of scanner and web scraped data may lead to the over- and understating of price indices obtained via the traditional method. The article also discusses the main methodological aspects of obtaining and applying data from alternative sources, and indicates the probable causes of the differences observed both in distributions of product prices and in monthly price indices calculated using data from various sources.
    Źródło:
    Wiadomości Statystyczne. The Polish Statistician; 2021, 66, 9; 32-69
    0043-518X
    Pojawia się w:
    Wiadomości Statystyczne. The Polish Statistician
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
    Tytuł:
    Pozyskiwanie i analiza danych na temat ofert pracy z wykorzystaniem big data
    The collection and analysis of the data on job advertisements with the use of big data
    Autorzy:
    Maślankowski, Jacek
    Powiązania:
    https://bibliotekanauki.pl/articles/962829.pdf
    Data publikacji:
    2019
    Wydawca:
    Główny Urząd Statystyczny
    Tematy:
    big data
    text mining
    web scraping
    rynek pracy
    labour market
    Opis:
    Celem artykułu jest zaprezentowanie korzyści wynikających z wykorzystania na potrzeby statystyki publicznej (rynku pracy) narzędzi do automatycznego pobierania danych na temat ofert pracy zamieszczanych na stronach internetowych zaliczanych do zbiorów big data, a także związanych z tym wyzwań. Przedstawiono wyniki eksperymentalnych badań z wykorzystaniem metod web scrapingu oraz text miningu. Analizie poddano dane z lat 2017 i 2018 pochodzące z najpopularniejszych portali z ofertami pracy. Odwołano się do danych Głównego Urzędu Statystycznego (GUS) zbieranych na podstawie sprawozdania Z-05. Przeprowadzona analiza prowadzi do wniosku, że web scraping może być stosowany w statystyce publicznej do pozyskiwania danych statystycznych z alternatywnych źródeł, uzupełniających istniejące bazy danych statystycznych, pod warunkiem zachowania spójności z istniejącymi badaniami.
    The goal of this paper is to present, on the one hand, the benefits for official statistics (labour market) resulting from the use of web scraping methods to gather data on job advertisements from websites belonging to big data compilations, and on the other, the challenges connected to this process. The paper introduces the results of experimental research where web-scraping and text-mining methods were adopted. The analysis was based on the data from 2017–2018 obtained from the most popular jobsearching websites, which was then collated with Statistics Poland’s data obtained from Z-05 forms. The above-mentioned analysis demonstrated that web-scraping methods can be adopted by public statistics services to obtain statistical data from alternative sources complementing the already-existing databases, providing the findings of such research remain coherent with the results of the already-existing studies.
    Źródło:
    Wiadomości Statystyczne. The Polish Statistician; 2019, 64, 9; 60-74
    0043-518X
    Pojawia się w:
    Wiadomości Statystyczne. The Polish Statistician
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
    Tytuł:
    The evaluation of (big) data integration methods in tourism
    Ocena metod integracji danych dotyczących turystyki z uwzględnieniem big data
    Autorzy:
    Cierpiał-Wolan, Marek
    Stateva, Galya
    Powiązania:
    https://bibliotekanauki.pl/articles/31232009.pdf
    Data publikacji:
    2023-12-29
    Wydawca:
    Główny Urząd Statystyczny
    Tematy:
    data integration methods
    tourism survey frame
    web scraping
    metody integracji danych
    operat do badań turystyki
    Opis:
    In view of many dynamic changes taking place in the modern world due to the pandemic, the migration crisis, armed conflicts, etc., it is a huge challenge for official statistics to provide good-quality information, which should be available almost in real time. In this context, integration of data from multiple sources, in particular big data, is a prerequisite. The aim of the article is to characterise and evaluate the following selected methods of data integration in tourism statistics: Natural Language Processing (NLP), machine learning algorithm, i.e. K-Nearest Neighbours (K-NN) using TF-IDF and N-gram techniques, and Fuzzy Matching, belonging to probabilistic methods. In tourism surveys, data acquired using web scraping deserve special attention. For this reason, the analysed methods were used to combine data from booking portals (Booking.com, Hotels.com and Airbnb.com) with a tourism survey frame. An attempt was also made to answer the question of how the data obtained from web scraping of tourism portals improved the quality of the frame. The study showed that Fuzzy Matching based on the Levenshtein algorithm combined with Vincenty’s formula was the most effective among all tested methods. In addition, as a result of data integration, it was possible to significantly improve the quality of the tourism survey frame in 2023 (an increase in the number of new accommodation establishments in Poland by 1.1% and in Bulgaria by 1.4%).
    W obliczu wielu dynamicznych zmian zachodzących we współczesnym świecie, spowodowanych m.in. pandemią COVID-19, kryzysem migracyjnym i konfliktami zbrojnymi, ogromnym wyzwaniem dla statystyki publicznej jest dostarczanie informacji dobrej jakości, które powinny być dostępne niemalże w czasie rzeczywistym. W tym kontekście warunkiem koniecznym jest integracja danych, w szczególności big data, pochodzących z wielu źródeł. Głównym celem badania omawianego w artykule jest charakterystyka i ocena wybranych metod integracji danych w statystyce w dziedzinie turystyki: przetwarzania języka naturalnego (Natural Language Processing – NLP), algorytmu uczenia maszynowego, tj. K-najbliższych sąsiadów (K-Nearest Neighbours – K-NN), z wykorzystaniem technik TF-IDF i N-gramów, oraz parowania rozmytego (Fuzzy Matching), należących do grupy metod probabilistycznych. W badaniach dotyczących turystyki na szczególną uwagę zasługują dane uzyskiwane za pomocą web scrapingu. Z tego powodu analizowane metody wykorzystano do łączenia danych pochodzących z portali rezerwacyjnych (Booking.com, Hotels.com i Airbnb.com) z operatem do badań turystyki. Posłużono się danymi dotyczącymi Polski i Bułgarii, pobranymi w okresie od kwietnia do lipca 2023 r. Podjęto także próbę odpowiedzi na pytanie, jak dane uzyskane z web scrapingu wpłynęły na poprawę jakości operatu. Z przeprowadzonego badania wynika, że najbardziej przydatne spośród testowanych metod jest parowanie rozmyte oparte na algorytmach Levenshteina i Vincenty’ego. Ponadto w wyniku integracji danych udało się znacząco poprawić jakość operatu do badań turystyki w 2023 r. . (wzrost liczby nowych obiektów w Polsce o 1,1%, a w Bułgarii – o 1,4%).
    Źródło:
    Wiadomości Statystyczne. The Polish Statistician; 2023, 68, 12; 25-48
    0043-518X
    Pojawia się w:
    Wiadomości Statystyczne. The Polish Statistician
    Dostawca treści:
    Biblioteka Nauki
    Artykuł
      Wyświetlanie 1-4 z 4

      Ta witryna wykorzystuje pliki cookies do przechowywania informacji na Twoim komputerze. Pliki cookies stosujemy w celu świadczenia usług na najwyższym poziomie, w tym w sposób dostosowany do indywidualnych potrzeb. Korzystanie z witryny bez zmiany ustawień dotyczących cookies oznacza, że będą one zamieszczane w Twoim komputerze. W każdym momencie możesz dokonać zmiany ustawień dotyczących cookies