Optimització del desplegament de xarxes neuronals mitjançant particions

Identificador:  TFM:2416

Handle: https://hdl.handle.net/20.500.11797/TFM2416

Autors:  Petkos, Theofanis

Resum:
Aquest treball estudia com dividir els models ResNet en k grups seqüencials per a la inferència distribuïda. Avaluem ResNet18–152 utilitzant entrades ImageNet per lots de 16 en un entorn controlat, només de CPU. Per avaluar els dissenys, definim una puntuació de rendiment del pipeline Perf(G, n) que simula n sol·licituds simultànies a través del pipeline de k etapes, respectant la disponibilitat del grup, les dependències entre etapes i els retards de transferència. El temps de grup combina el càlcul (suma dels temps d'execució de les parts) i la comunicació (mida de l'últim tensor sobre l'amplada de banda). Si no s'indica el contrari, els coeficients de ponderació es fixen a α = 0,3, β = 0,4 i γ = 0,3.