Improving location recognition based on multiple images transmitted from a user's phone to aid in way-finding

Abstract

Image geo-localization involves determining the geographical location where a particular image was taken using only its visual information, without relying on any associated metadata. This process often requires advanced techniques in computer vision and machine learning also analyzing features within the image to establish its precise geographical coordinates. Predicting images locations is one of the most challenging and difficult tasks with numerous real-world applications. Lately, significant research has been dedicated to recognizing places and geo-locating images to estimate geographic locations and identify user positions. Recently, Convolutional Neural Networks have shown their capacity to extract significant features in various domains, particularly in computer vision where Deep Learning surpassed previous state-of-the-art methods. Our principal contribution in this dissertation is assessing the use of the extracted features from Pre-trained CNN models and Support Vector Machine (SVM) to improve Street View image classification performance. We assessed our proposed methods on the dataset of Google Street View (GSV), which consists of high-resolution images from the city center as well as the neighboring regions of Pittsburgh, Orlando, and partially Manhattan. The experiment results proved that our proposed approaches significantly improve the accuracy of classification.

يتضمن تحديد الموقع الجغرافي للصور تحديد الموقع الجغرافي الذي التقطت فيه صورة معينة باستخدام معلوماتها المرئية فقط، دون الاعتماد على أي بيانات وصفية مرتبطة بها. تتطلب هذه العملية في كثير من الأحيان تقنيات متقدمة في الرؤية الحاسوبية والتعلم الآلي أي ًضا تحليل الميزات داخل الصورة لتحديد إحداثياتها الجغرافية بدقة. يُعد التنبؤ بموقع الصور إحدى أكثر المهام صعوبة مع العديد من التطبيقات في العالم الحقيقي. في الآونة الأخيرة، ُخصصت بحوث مهمة للتعرف على الأماكن وتحديد المواقع الجغرافية للصور من أجل تقدير المواقع الجغرافية وتحديد مواقع المستخدمين. في الآونة الأخيرة، أظهرت الشبكات العصبية التلافيفية قدرتها على استخراج ميزات مهمة في مجالات مختلفة، لا سيما في مجال الرؤية الحاسوبية حيث تفوقت أساليب التعلم العميق على أحدث الأساليب السابقة. تتمثل مساهمتنا الرئيسية في هذه الأطروحة في تقييم استخدام الميزات المستخرجة من نماذج CNNالمدربة مسبقًا وآلة دعم المتجهات ( )SVMلتحسين أداء تصنيف صور التجول الافتراضي. قمنا بتقييم نهجنا المقترح على مجموعة بيانات ) ،Google Street View (GSVوالتي تحتوي على صور عالية الدقة من وسط المدينة بالإضافة إلى المناطق المجاورة في بيتسبرغ وأورلاندو وجزء من مانهاتن. أظهرت نتائج التجارب أن طريقتنا المقترحة يمكنها تحسين دقة التصنيف بشكل كبير