Résumé : Karolina présente ses plus récents travaux portant sur la construction de bornes de généralisation afin d’expliquer les algorithmes d’apprentissage existants et d’en proposer de nouveaux. Les bornes de généralisation font le pont entre la performance empirique et la performance future anticipée. La compacité de ces bornes est très variable et repose non seulement sur la complexité de la tâche d’apprentissage et sur la quantité de données disponibles, mais aussi sur la quantité d’information dont ces bornes tiennent compte. Ses travaux se penchent particulièrement sur les bornes tributaires des données et des algorithmes qui sont quantitativement significatives. Elle présente des bornes construites à partir de solutions obtenues par descente de gradient stochastique (DGS) sur la base de données MNIST. Si l’on formalise la notion de minima plats en faisant appel aux bornes de généralisation PAC-bayésiennes, on obtient des bornes de généralisation significatives pour des classificateurs stochastiques construits par perturbation aléatoire de solutions DGS.

Travaux conjoints avec Daniel M. Roy et basés sur https://arxiv.org/abs/1703.11008https://arxiv.org/abs/1712.09376, et https://arxiv.org/abs/1802.09583

Afficher tout