Articles producció científicaEnginyeria Informàtica i Matemàtiques

StreamSense: Policy-driven Semantic Video Search in Streaming Systems

  • Dades identificatives

    Identificador:  imarina:9441490
    Autors:  Finol G; Gabriel A; García-López P; Gracia-Tinedo R; Liu L; Docea R; Kirchner M; Bodenstedt S
    Resum:
    Streaming systems are an increasingly appealing substrate for managing video data via the stream abstraction. However, if we consider a large stream collection, it can be hard for data scientists to discover and locate relevant videos, let alone specific video fragments. In this paper, we propose StreamSense: a policy-driven, semantic video search solution for streaming systems. StreamSense allows users to deploy AI models that generate embeddings from video frames via policies. Our system uses such embeddings for building a two-level index in a vector DB that efficiently handles inter/intra video queries. StreamSense abstracts users from vector DB interactions so they can perform semantic search using images as input and visualize the results. We built our prototype on top of a tiered streaming storage system (Pravega) and validated it on a health-related use case. We show that StreamSense allows data scientists to search for video fragments in real surgery datasets in < 30ms. StreamSense also reduces data ingestion related to AI training data loading in +80% compared to simple bulk loading video streams.
  • Altres:

    Enllaç font original: https://dl.acm.org/doi/10.1145/3700824.3701097
    Acció del programa de finançament: Research and innovation programme
    Referència de l'ítem segons les normes APA: Finol G; Gabriel A; García-López P; Gracia-Tinedo R; Liu L; Docea R; Kirchner M; Bodenstedt S (2024). StreamSense: Policy-driven Semantic Video Search in Streaming Systems.
    Referència a l'article segons font original: Middleware Industrial Track 2024 - Proceedings Of The Middleware Industrial Track, Part Of: Middleware 2024. 29-35
    DOI de l'article: 10.1145/3700824.3701097
    Programa de finançament: Horizon Europe
    Any de publicació de la revista: 2024
    Entitat: Universitat Rovira i Virgili
    Versió de l'article dipositat: info:eu-repo/semantics/acceptedVersion
    Data d'alta del registre: 2025-02-18
    Autor/s de la URV: García López, Pedro Antonio / GRACIA TINEDO, RAÚL
    Codi del projecte 2: 101092646
    Departament: Enginyeria Informàtica i Matemàtiques
    URL Document de llicència: https://repositori.urv.cat/ca/proteccio-de-dades/
    Acrònim: NEARDATA
    Tipus de publicació: Proceedings Paper
    Autor segons l'article: Finol G; Gabriel A; García-López P; Gracia-Tinedo R; Liu L; Docea R; Kirchner M; Bodenstedt S
    Codi de projecte: 101092644
    Accès a la llicència d'ús: https://creativecommons.org/licenses/by/3.0/es/
    Adreça de correu electrònic de l'autor: pedro.garcia@urv.cat
    Acrònim 2: CLOUDSKIN
  • Paraules clau:

    Data streams
    Semantic search
    Vector embeddings
    Video analytics
  • Documents:

  • Cerca a google

    Search to google scholar