- Tytuł:
-
Audio-Video Analysis Method of Public Speaking Videos to Detect Deepfake Threat
Metoda analizy audio-wideo filmów z wystąpień publicznych w celu wykrycia zagrożenia typu deepfake - Autorzy:
-
Wolański, Robert
Jędrasiak, Karol - Powiązania:
- https://bibliotekanauki.pl/articles/35064097.pdf
- Data publikacji:
- 2023
- Wydawca:
- Centrum Naukowo-Badawcze Ochrony Przeciwpożarowej im. Józefa Tuliszkowskiego
- Tematy:
-
analysis of audio-video stream
detection of deepfake threats
analysis
public speeches
analiza strumienia audio-wideo
wykrywanie zagrożeń typu deepfake
analiza
wystąpienie publiczne - Opis:
-
Aim: The purpose of the article is to present the hypothesis that the use of discrepancies in audiovisual materials can significantly increase the effectiveness of detecting various types of deepfake and related threats. In order to verify this hypothesis, the authors proposed a new method that reveals inconsistencies in both multiple modalities simultaneously and within individual modalities separately, enabling them to effectively distinguish between authentic and altered public speaking videos.
Project and methods: The proposed approach is to integrate audio and visual signals in a so-called fine-grained manner, and then carry out binary classification processes based on calculated adjustments to the classification results of each modality. The method has been tested using various network architectures, in particular Capsule networks – for deep anomaly detection and Swin Transformer – for image classification. Pre-processing included frame extraction and face detection using the MTCNN algorithm, as well as conversion of audio to mel spectrograms to better reflect human auditory perception. The proposed technique was tested on multimodal deepfake datasets, namely FakeAVCeleb and TMC, along with a custom dataset containing 4,700 recordings. The method has shown high performance in identifying deepfake threats in various test scenarios.
Results: The method proposed by the authors achieved better AUC and accuracy compared to other reference methods, confirming its effectiveness in the analysis of multimodal artefacts. The test results confirm that it is effective in detecting modified videos in a variety of test scenarios which can be considered an advance over existing deepfake detection techniques. The results highlight the adaptability of the method in various architectures of feature extraction networks.
Conclusions: The presented method of audiovisual deepfake detection uses fine inconsistencies of multimodal features to distinguish whether the material is authentic or synthetic. It is distinguished by its ability to point out inconsistencies in different types of deepfakes and, within each individual modality, can effectively distinguish authentic content from manipulated counterparts. The adaptability has been confirmed by the successful application of the method in various feature extraction network architectures. Moreover, its effectiveness has been proven in rigorous tests on two different audiovisual deepfake datasets.
Cel: Celem artykułu jest przedstawienie hipotezy, że wykorzystanie rozbieżności w materiałach audiowizualnych może znacznie zwiększyć skuteczność wykrywania różnych typów deepfake i związanych z nimi zagrożeń. W celu weryfikacji tej hipotezy autorzy zaproponowali nową metodę, która pozwala na ujawnienie niespójności zarówno w wielu modalnościach jednocześnie, jak i w obrębie poszczególnych modalności z osobna, umożliwiając skuteczne rozróżnienie autentycznych i zmienionych filmów z wystąpieniami publicznymi. Projekt i metody: Zaproponowane podejście polega na integracji sygnałów dźwiękowych i wizualnych w tzw. drobnoziarnisty sposób, a następnie przeprowadzeniu procesów klasyfikacji binarnej na podstawie obliczonych korekt wyników klasyfikacji każdej modalności. Metoda została przebadana z wykorzystaniem różnych architektur sieci, w szczególności sieci typu Capsule – do głębokiego wykrywania anomalii oraz Swin Transformer – do klasyfikacji obrazów. Przetwarzanie wstępne obejmowało ekstrakcję klatek i wykrywanie twarzy przy użyciu algorytmu MTCNN, a także konwersję audio na spektrogramy mel, aby lepiej odzwierciedlić ludzką percepcję słuchową. Zaproponowana technika została przetestowana na multimodalnych zbiorach danych deepfake, a mianowicie FakeAVCeleb i TMC, wraz z niestandardowym zbiorem zawierającym 4700 nagrań. Metoda wykazała wysoką skuteczność w rozpoznawaniu zagrożeń deepfake w różnych scenariuszach testowych. Wyniki: Metoda zaproponowana przez autorów osiągnęła lepsze AUC i dokładność w porównaniu z innymi metodami referencyjnymi, potwierdzając swoją skuteczność w analizie artefaktów multimodalnych. Rezultaty badań potwierdzają, że skutecznie pozwala wykryć zmodyfikowane filmy w różnych scenariuszach testowych – co można uznać za postęp w porównaniu z istniejącymi technikami wykrywania deepfake'ów. Wyniki podkreślają zdolność adaptacji metody w różnych architekturach sieci ekstrakcji cech. Wnioski: Przedstawiona metoda audiowizualnego wykrywania deepfake'ów wykorzystuje drobne niespójności cech wielomodalnych do rozróżniania, czy materiał jest autentyczny czy syntetyczny. Wyróżnia się ona zdolnością do wskazywania niespójności w różnych typach deepfake'ów i w ramach każdej indywidualnej modalności potrafi skutecznie odróżniać autentyczne treści od zmanipulowanych odpowiedników. Możliwość adaptacji została potwierdzona przez udane zastosowanie omawianej metody w różnych architekturach sieci ekstrakcji cech. Ponadto jej skuteczność została udowodniona w rygorystycznych testach na dwóch różnych audiowizualnych zbiorach danych typu deepfake. - Źródło:
-
Safety and Fire Technology; 2023, 62, 2; 172-180
2657-8808
2658-0810 - Pojawia się w:
- Safety and Fire Technology
- Dostawca treści:
- Biblioteka Nauki
Artykuł