Design and implementation of a satellite and aerial image processing platform to update spatial objects of geographic information system (GIS) for monitoring urban changes

Abstract

Object detection and identification from remotely sensed data, especially Buildings, can be considered the foundation of updating Geographic Information system data for improving and monitoring the infrastructure of cities. Small-scale objects like buildings may now be recognized because of the development of extremely high-resolution remote-sensing images. However, manually separating the buildings from the images requires substantial processing time. Comprehensive research has been conducted on various approaches, including traditional image processing techniques, supervised and unsupervised machine learning methods, and deep learning architectures. The literature survey explores the evolution of feature extraction algorithms, classification models, and their applications in urban environments. Notable studies on semantic segmentation, object-based image analysis, and multi-sensor data integration are discussed. Additionally, insights are provided into the challenges and limitations faced by current techniques, paving the way for the development of novel strategies proposed in this thesis. The synthesis of this extensive review establishes a foundation for the research, highlighting gaps in the current state-of-the-art and setting the context for the proposed advancements in automated building detection. Therefore, a robust building detection methodology is necessary. We present two approaches for extracting buildings from high-resolution images. The first approach is based on a supervised machine learning technique, and for the second, we use deep learning methods. In the supervised approach, the image is firstly divided into superpixel patches, from which the colors and texture features are retrieved. Buildings, roads, trees, and shadows are then separated into four groups using the Support Vector Machines technique (SVM). The approximate location of the building has been determined using a seed point start and an adaptive regional growth approach based on the previously known position of the shadows. A contouring procedure involving an open morphological operation was applied to extract the final shape of buildings. The second method involves four main steps: homogeneous superpixel image segmentation through an altered Simple Linear Iterative Clustering (SLIC), extensive feature extraction via a variational auto-encoder (VAE) adjust on the superpixels for training and testing data collection, classification of four classes (buildings, roads, trees, and shadows) utilizing extracted feature data as feedback to a Convolutional Neural Network (CNN), and extraction of building forms by morphological processes and regional growth. Our innovative methods have excellent accuracy rates for identifying building units. Accuracy assessment over different study areas shows the advantage of our novel approach, making it a robust, realistic, and accurate tool. يمكن اعتبار اكتشاف العناصر وتحديدها من البيانات المستشعرة عن بعد وبالأخص المباني، من بين الخطوات الأساسية لتحديث بيانات أنظمة المعلومات الجغرافية لتحسين ومراقبة البنية التحتية للمدن وكيفية توسعها. في الوقت الراهن وبسبب التطور السريع في الصور الملتقطة عن بعد إلى صور بدقة عالية جداً، يمكننا التعرف على العناصر ذات أحجام صغيرة مثل المباني، ومع ذلك يستغرق تحديد المباني بشكل يدوي وتمييزها من الصور الملتقطة وقتًا طويلاً، وعليه تم إجراء بحث شامل حول أساليب مختلفة، بما في ذلك تقنيات معالجة الصور التقليدية، وطرق التعلم الآلي الخاضعة للإشراف وغير الخاضعة للإشراف، وبنيات التعلم العميق. بدراسة للأبحاث السابقة تظهر تطور خوارزميات استخراج الميزات ونماذج التصنيف وتطبيقاتها في البيئات الحضرية. وتناقش الدراسات البارزة حول التجزئة الدلالية، وتحليل الصور المستندة إلى الكائنات، وتكامل بيانات أجهزة الاستشعار المتعددة. بالإضافة إلى ذلك، يتم تقديم رؤى حول التحديات والقيود التي تواجهها التقنيات الحالية، مما يمهد الطريق لتطوير استراتيجيات جديدة مقترحة في هذه الأطروحة. يضع توليف هذه المراجعة الشاملة أساسًا للبحث، حيث يسلط الضوء على الثغرات في الوضع الحالي ويحدد سياق التطورات المقترحة في الكشف الآلي عن المباني. لذلك هناك حاجة إلى نظام فعال وتلقائي لتحديد المباني من بين بقية العناصر. نقدم في هذا العمل مقاربتين جديدتين لاستخراج المباني من الصور عالية بالإعتماد في المنهج الأول على تقنية التعلم الآلي تحت الإشراف، أما في الثاني فيتم الإعتماد على التعلم العميق. في تقنية التعلم تحت الإشراف يتم فيها أولاً تقسيم الصورة إلى قطع تحتوي على مجموعة من البكسلز ويتم من خلالها استخراج مميزات الألوان والملمس. بعد ذلك تصنف إلى أربع مجموعات وهي: المباني، الطرق، الأشجار والظلال باستخدام تقنية التعلم الآلي (SVM). تحدد المواقع التقريبية للمباني باستخدام نقط بداية ونهج النمو الإقليمي التكيفي بناءً على المعرفة المسبق للإتجاه للظلال. بعدها تطبق إجراء تحديد الحدود لاستخراج الشكل النهائي للمباني التي يتم ضمنها سد الفراغات والشوائب في أشكال المبان. أما في التعلم العميق فهو مكون من أربع خطوات رئيسية: تجزئة الصورة إلى وحدات بكسل فائقة ومتجانسة باستخدام مجموعة تكرارية خطية بسيطة معدلة (SLIC)، استخراج ميز معمقة باستخدام مقياس التشفير التلقائي المتغير (VAE) على وحدات البكسل الفائقة من أجل التدريب واختبار البيانات، بعدها يتم تحديد أربع فئات (المباني والطرق والأشجار والظلال) باستخدام بيانات المعالم المستخرجة من الخطوة السابقة كمدخلات لشبكة عصبية تلافيفية (CNN)، وأخيراً استخراج أشكال المباني من خلال النمو الإقليمي والعمليات المورفولوجية. تتميز طريقتنا المبتكرة بمعدلات دقة ممتازة لتحديد الأبنية ويظهر ذلك من خلال تقييم الدقة المتحصل عليها في مناطق دراسة مختلفة مما يجعله نظام قوي، واقعي وفعال.