A Hybrid Deep Learning Machine Learning Approach for Damage Classification

Abstract

A critical task after earthquakes is to quickly and precisely detect and identify damaged areas? Several soft computing techniques have been established to analyze remote sensing (RS) images for earthquake damage classification. The mono-temporal methods for damage classification, that use RS data collected after disasters, are mostly based on supervised learning approaches. The performance of these methods is largely depending on powerful learning feature representations. Machine learning (ML) techniques that use hand-crafted features can achieve satisfactory performance, but they do not generalize well. Deep learning (DL) techniques, in particular the convolutional neural networks (CNNs) have demonstrated its ability of deriving more powerful feature representations in many domains. Our main goal in this study is the investigation of a hybrid feature extraction approach for post-earthquake damage classification. Our hybrid approach

combines features derived from a pretrained CNN model with the conventional hand- crafted features in order to improve the classification performance. We validated our

proposal on two large datasets captured from different earthquake events and several geographic locations. The experimental validation showed that the performance gain apported by our hybrid approach is very significant.Une tâche critique après les tremblements de terre est de détecter et d'identifier rapidement et précisément les zones endommagées ? Plusieurs techniques informatiques ont été établies pour analyser les images de télédétection (ou en anglais Remote Sensing [RS] images) pour la classification des dommages causés par les tremblements de terre. Les méthodes mono-temporelles pour la classification de dommages, qui utilisent des données collectées après les catastrophes, sont ordinairement basées sur des approches d'apprentissage supervisé. La performance de ces méthodes dépend largement de la puissante de représentations des caractéristiques d'apprentissage. Les techniques d'apprentissage automatique (en anglais Machine Learning ou ML) qui utilisent des caractéristiques de bas niveau (provenant d’experts) puissent atteindre des performances satisfaisantes, mais elles ne se généralisent pas toujours bien. Les techniques d'apprentissage en profondeur (en anglais Deep Learning ou DL), en particulier le réseau de neurones convolutifs (en anglais Convolutional Neural Networks ou CNNs), ont démontré leur grande capacité à dériver des représentations de caractéristiques plus puissantes dans de nombreux domaines. Notre objectif principal dans ce travail de mémoire de Master est l'étude d'une approche hybride d'extraction de caractéristiques pour la classification des dommages post-séisme. Notre approche hybride combine des caractéristiques dérivés d’un modèle CNN pré-entraîné et des caractéristiques de bas niveau calculées par des opérateurs spécifiques, en vue d’améliorer la performance de classification. Nous avons validé notre proposition sur deux grands ensembles de données capturés à partir de différents événements sismiques et de plusieurs emplacements géographiques. Les expériences de validation ont montré