Analiza porównawcza wybranych strategii losowego testowania oprogramowania

W pracy przedstawione są wyniki analizy porównawczej dwóch, najczęściej wykorzystywanych w praktyce, strategii losowego tworzenia zbioru danych testowych: testowania w pełni losowego (random testing) i strukturalnego testowania losowego (partition testing). Zawarte w pracy rozważania mają na celu określenie warunków, dla których jedna z ww. strategii testowania losowego jest lepsza od drugiej, w sensie prawdopodobieństwa wykrycia co najmniej jednego błędu za pomocą utworzonych w oparciu o nie, tak samo licznych zbiorów danych testowych. Przedstawione rozważania zostały zilustrowane wynikami eksperymentów symulacyjnych, służących porównaniu efektywności analizowanych strategii testowania.

Both partition testing and random testing methods are commonly followed practice towards selection of test cases. For partition testing, the program’s input domain is divided into subsets, called subdomains, and one or more representatives from each subdomain are selected to test the program. In random testing test cases are selected from the entire program’s input domain randomly. The main aim of the paper is to compare the fault-detecting ability of partition testing and random testing methods. The results of comparing the effectiveness of partition testing and random testing may be surprising to many people. Even when partition testing is better than random testing at finding faults, the difference in effectiveness is marginal. Using some effectiveness metrics for testing and some partitioning schemes this paper investigates formal conditions for partition testing to be better than random testing and vice versa.