Cap a una partició dinàmica per al format de dades MeasurementSet

Identificador:  TFG:9597

Handle: https://hdl.handle.net/20.500.11797/TFG9597

Autors:  Iacoponelli, Octavio

Resum:
Aquesta tesi presenta la investigació de viabilitat, el disseny i la implementació d'un complement de processament dinàmic per a MeasurementSets astronòmics (.ms), que permet una partició eficient i l'execució paral·lela. Inicialment desenvolupat de forma independent, el complement es va integrar posteriorment a Dataplug i es va aplicar dins del projecte EXTRACT. Permet que els fluxos de treball natius del núvol processin grans conjunts de dades de manera eficient, reduint els colls d'ampolla en la ingestió i el calibratge. Implementat en un backend d'execució de Kubernetes, aconsegueix altes velocitats i demostra que el preprocessament modular i escalable de dades astronòmiques és factible i impactant per als observatoris de nova generació.