Keywords: redes neuronales, android, geolocalización neural networks, android, geolocation xarxes neuronals, android, geolocalització

Title in different languages: Geolocalització d'imatges mitjançant xarxes neuronals en telèfons mòbils Image geopositional location in mobile phones using neural networks Geolocalización de imágenes mediante redes neuronales en teléfonos móviles

Subject areas: Enginyeria informàtica Computer engineering Ingeniería informática

Confidenciality: No

Academic year: 2017-2018

Student: Pell Vidal, Xavier

Department: Enginyeria Informàtica i Matemàtiques

Work's public defense date: 2018-09-15

TFM credits: 9

Project director: Duch Gavaldà, Jordi

Abstract: L’aprenentatge profund en el processament i classificació d’imatges ha evolucionat exponencialment en els últims anys gràcies als nous avenços i millores fetes a les ja existents xarxes neuronal. Aquestes xarxes poden ser entrenades mitjançant imatges etiquetades per seguidament ser usades per identificar i detectar objectes. A més a més, recentment s’han desenvolupat noves llibreries per ser executades en telèfons mòbils. Per aquesta raó és possible fer servir la càmera del mòbil per capturar imatges en temps real, i seguidament classificar-les mitjançant una xarxa neuronal entrenada amb l’objectiu d’extreure informació específica sobre el que es mostra a les imatges. En aquesta tesis, fem una repàs a les xarxes neuronals convolucionals que juntament amb un framework d’aprenentatge profund ens permet desenvolupar un prototip que serà capaç de geolocalitzar usuaris en un espai mitjançant la càmera del mòbil. Aquest procés consisteix en aplicar transferència d’aprenentatge a la xarxa MobileNet, ja prèviament entrenada, per modificar-n’hi la sortida i poder classificar cinc objectes que es estan localitzats en una àrea determinada. La nova xarxa re-entrenada és convertida a una versió més lleugera que ens permetrà executar-la en una aplicació desenvolupada en Android. Finalment, avaluarem les dades obtingudes per assegurar el correcte funcionament del sistema, la precisió en el procés de classificació i la informació relacionada amb la geolocalització de l’usuari. Deep learning in image processing and classification tasks has evolved exponentially in the last few years thanks to new advances and outperforms in existing neural networks. These networks can be trained with labelled images in order to be subsequently used to identify and classify sets of objects in it. Moreover, some libraries have been recently developed to be executed in mobile phones, so it is possible to use the phone camera to capture an image in real time, classify it with a trained neural network in order to obtain specific information on what you are seeing through the camera. In this thesis, we take a quick view to some convolutional neural networks that in conjunction with a deep-learning mobile framework let us to develop a prototype that would be able to geolocate users in a space using phone camera. This process consists in applying transfer learning to the pre-trained model MobileNet, to modify the output of the network in order to classify five objects landmarks that are in a geolocation area. This re-trained network is converted to a more light-weight version to allow its execution in a developed mobile application written in Android. Finally, we evaluate the final data to assure the proper function of the system, the accuracy of the classification process and the geolocation information that is extracted of the final project prototype. El aprendizaje profundo en el procesamiento y clasificación de imágenes ha evolucionado exponencialmente en los últimos años gracias a nuevos avances y mejoras realizadas en las ya existentes redes neuronales. Estas redes pueden ser entrenadas mediante imágenes etiquetadas para posteriormente ser usadas para identificar y detectar objetos. Además, recientemente se han desarrollado nuevas librerías para ser ejecutadas en teléfonos móviles. Por esta razón es posible utilizar la cámara del móvil para capturar imágenes en tiempo real, y a continuación clasificarlas mediante una red neuronal entrenada con el objetivo de extraer información específica sobre el que se muestra en las imágenes. En esta tesis, hacemos un repaso a les redes neuronales convolucionales que juntamente con un framework de aprendizaje profundo nos permitirá desarrollar un prototipo que será capaz de geolocalizar usuarios en un espacio mediante la cámara del móvil. Este proceso consiste en aplicar transferencia de aprendizaje a la red MobileNet, ya previamente entrenada, para modificar su salida y poder clasificar cinco objetos que están localizados en un área determinada. La nueva red re-entrenada es convertida a una versión más ligera que nos permitirá ejecutarla en una aplicación desarrollada en Android. Finalmente, evaluaremos los datos obtenidos para asegurar el correcto funcionamiento del sistema, la precisión en el proceso de clasificación y la información relacionada con la geolocalización del usuario.

Subject: Enginyeria informàtica

Entity: Universitat Rovira i Virgili (URV)

Language: Anglès

Education area(s): Enginyeria de la Seguretat Informàtica i Intel·ligència Artificial

Title in original language: Image geopositional location in mobile phones using neural networks

Creation date in repository: 2018-02-12