Treballs Fi de Màster> Enginyeria Informàtica i Matemàtiques

Intelligent Assistant System Based on Single Camera and Deep Neural Networks for Aiding Visual Impaired Individuals

  • Identification data

    Identifier: TFM:946
  • Authors:

    Farouk Marei, David George
  • Others:

    Title in different languages: Intelligent Assistant System Based on Single Camera and Deep Neural Networks for Aiding Visual Impaired Individuals
    Subject areas: Enginyeria informàtica Computer engineering Ingeniería informática
    Confidenciality: No
    Academic year: 2020-2021
    Student: Farouk Marei, David George
    Department: Enginyeria Informàtica i Matemàtiques
    Access Rights: info:eu-repo/semantics/openAccess
    Work's public defense date: 2021-09-10
    Project director: Rashwan, Hatem A.; Puig, Dominque
    Abstract: Els mètodes de detecció d'objectes i estimació de profunditat poden ajudar els individus amb discapacitat visual a entendre l'escena davant d'ells. Hi ha múltiples aplicacions que proporcionen ajuda a aquests individus connectant-los (per una videotrucada) a altres que poden ajudar-los a descriure l'escena. No obstant això, creiem que puc donar una alternativa a aquestes aplicacions utilitzant models d'aprenentatge automàtic ràpid i lluminós i evitar la interacció del suport humà. El projecte es divideix en dues parts. La primera part és la detecció d'objectes en una escena. Utilitzem el model YOLOV5S que es va formar en el conjunt de dates del COCO amb 80 objectes diferents. La segona part del model d'estimació de profunditat. Vam utilitzar Midas de pytorch després de provar diversos models de profunditat. El model d'estimació de profunditat m'ajudarà a estimar la distància de cada objecte extret del model de profunditat. L'objectiu final és prendre una imatge o un vídeo de l'usuari i extreure els objectes amb la distància de cadascun d'ells i enviar aquestes dades a l'usuari en un format de nota de so. Object Detection and Depth Estimation methods can help visual impaired individuals to understand the scene in front of them. there are multiple applications that provide help to those individuals by connecting them (by a video call) to others who can help in describing the scene to them. However, We believe that I can give an alternative to those applications using light and fast machine learning models and avoid the interaction of the human support. The project is divided into Two parts. The First part is Object Detection in a scene. We used YOLOV5S model that was trained on the COCO date-set with 80 different objects. The second part in the depth estimation model. We used Midas from pytorch after trying multiple depth models. the depth estimation model will help me to estimate the distance of each object extracted from the depth model. The final goal is to take an image or a video from the user and extract the objects with the distance of each of them and send this data to the user in a sound note format.
    Subject: Enginyeria informàtica
    Entity: Universitat Rovira i Virgili (URV)
    Language: en
    Education area(s): Enginyeria de la Seguretat Informàtica i Intel·ligència Artificial
    Title in original language: Intelligent Assistant System Based on Single Camera and Deep Neural Networks for Aiding Visual Impaired Individuals
    Creation date in repository: 2022-03-17
  • Keywords:

    Enginyeria informàtica
    Computer engineering
    Ingeniería informática
    Enginyeria informàtica
  • Documents:

  • Cerca a google

    Search to google scholar