Pour le 5ème séminaire scientifique "Mathématiques & Informatique pour l'observation de la Terre" de la COMET TSI, nous avons le plaisir de recevoir Olin Geimer et Alexander Theus, doctorants à l'Université de Yale et à l'ETH Zurich, respectivement, le mardi 3 décembre de 17h00 à 18h00 en visioconférence.
Titre : Towards Meta-Pruning via Optimal Transport
Abstract : Structural pruning of neural networks conventionally relies on identifying and discarding less important neurons, a practice often resulting in significant accuracy loss that necessitates subsequent fine-tuning efforts. This paper introduces a novel approach named Intra-Fusion, challenging this prevailing pruning paradigm. Unlike existing methods that focus on designing meaningful neuron importance metrics, Intra-Fusion redefines the overlying pruning procedure. Through utilizing the concepts of model fusion and optimal transport, we leverage an agnostically given importance metric to arrive at a more effective sparse model representation. Notably, our approach achieves substantial accuracy recovery without the need for resource-intensive fine-tuning, making it an efficient and promising tool for neural network compression.
Lien de la visio-conférence : https://rendez-vous.renater.fr/COMETTSIMIOT_e49abc-a09b19-ba5059
En espérant vous voir nombreux, n'oubliez pas de bloquer le créneau dans vos agendas !
Partager :
