Comparison of string metrics effectiveness for the purpose of estimating the number of unique job offers

The article presents the results of search for a text-comparison method applicable for identifying same or similar job of ers. This is done by calculating pairwise similarity metrics between offers using well known metrics (i.e. Levenshtein, Jaro-Winkler and Jaccard). The article assesses the ef ectiveness of the algorithms and their applicability to the task. Issues related to processing of data of the web pages and computational requirements are also discussed.

W artykule przedstawione zostały rezultaty oceny możliwości zastosowań algorytmów porównywania tekstu dla potrzeb identyfikacji identycznych lub podobnych ogłoszeń o pracę. Do porównań wykorzystano klasyczne metryki (Levenshteina, Jaro-Winklera i Jaccarda). Oceniona została skuteczność i możliwość zastosowania tych algorytmów do przedstawionego zadania. Omówione zostały też kwestie analizy danych pobieranych ze stron www oraz niezbędnych nakładów obliczeniowych.