Inter-rater reliability in the classification of supraspinatus tendon tears using 3D ultrasound – a question of experience?

Background: Three-dimensional (3D) ultrasound of the shoulder is characterized by a comparable accuracy to two-dimensional (2D) ultrasound. No studies investigating 2D versus 3D inter-rater reliability in the detection of supraspinatus tendon tears taking into account the level of experience of the raters have been carried out so far. Objectives: The aim of this study was to determine the inter-rater reliability in the analysis of 3D ultrasound image sets of the supraspinatus tendon between sonographer with different levels of experience. Patients and methods: Non-interventional, prospective, observational pilot study of 2309 images of 127 adult patients suffering from unilateral shoulder pain. 3D ultrasound image sets were scored by three raters independently. The intra-and interrater reliabilities were calculated. Results: There was an excellent intra-rater reliability of rater A in the overall classification of supraspinatus tendon tears (2D vs 3D κ = 0.892, pairwise reliability 93.81%, 3D scoring round 1 vs 3D scoring round 2 κ = 0.875, pairwise reliability 92.857%). The inter-rater reliability was only moderate compared to rater B on 3D (κ = 0.497, pairwise reliability 70.95%) and fair compared to rater C (κ = 0.238, pairwise reliability 42.38%). Conclusions: The reliability of 3D ultrasound of the supraspinatus tendon depends on the level of experience of the sonographer. Experience in 2D ultrasound does not seem to be sufficient for the analysis of 3D ultrasound imaging sets. Therefore, for a 3D ultrasound analysis new diagnostic criteria have to be established and taught even to experienced 2D sonographers to improve reproducibility.

Wprowadzenie: Ultrasonografia trójwymiarowa (3D) barku jest uznawana za metodę o porównywalnej dokładności w stosunku do ultrasonografii dwuwymiarowej (2D). Jak dotąd nie przeprowadzono żadnego badania porównującego ultrasonografię 2D i 3D w diagnostyce zerwania ścięgna mięśnia nadgrzebieniowego z uwzględnieniem poziomu doświadczenia badaczy. Cele: Celem niniejszego badania było porównanie oceny patologii ścięgna nadgrzebieniowego za pomocą badania 3D pomiędzy operatorami o różnym poziomie doświadczenia. Pacjenci i metody: Pilotażowe nieinterwencyjne, prospektywne, obserwacyjne badanie 2309 obrazów uzyskanych z badań 127 dorosłych pacjentów cierpiących z powodu jednostronnego bólu barku. Zestawy obrazów 3D zostały ocenione w sposób niezależny przez trzech badaczy. Obliczono poziom zgodności pomiędzy badaczami oraz świadozgodność ocen jednego badacza. Wyniki: Badacz A wykazał się bardzo wysokim poziomem zgodności swoich ocen w ogólnej klasyfikacji zerwania ścięgna mięśnia nadgrzebieniowego (2D vs 3D κ = 0,892, porównywalność parami 93,81%, runda ocen obrazów 3D nr 1 vs runda ocen obrazów 3D nr 2 κ = 0,875, porównywalność parami 92,857%). Zgodność pomiędzy badaczami była tylko umiarkowana w porównaniu z badaczem B (obrazy 3D) (κ = 0,497, porównywalność parami 70,95%) i przeciętna w porównaniu z badaczem C (κ = 0,238, porównywalność parami 42,38%). Wnioski: Wiarygodność interpretacji obrazów 3D ścięgna mięśnia nadgrzebieniowego jest zależna od poziomu doświadczenia operatora. Doświadczenie w ultrasonografii 2D zdaje się być niewystarczające do analizy zestawów obrazów 3D. Z tego powodu należy opracować nowe kryteria diagnostyczne dla analizy obrazów 3D i wprowadzić nauczanie interpretacji badań ultrasonografii trójwymiarowej, aby w ten sposób zwiększyć poziom odtwarzalności.