La demande croissante de trafic internet a nécessité une augmentation continue de la capacité des systèmes de communication par fibre optique, fondement des réseaux de communication globaux.Cette thèse se propose des solutions innovantes pour relever les défis posés par l'amplificationà bande ultra-large et l'estimation fine du bruit dans les systèmes de transmission optique. Les systèmesde communication par fibre optique ont connu une évolution significative pour répondre aux exigencescroissantes en matière de capacité. Ils sont passés des amplificateurs optiques et de la détectioncohérente aux formats de modulation et aux algorithmes de traitement numérique du signal avancés.Pour répondre à la demande croissante de trafic dans les réseaux optiques, l'intégration de schémasUWB et la mise en oeuvre d'outil de conception de réseaux à faible marge sont devenues primordiales.Ce travail explore les aspects fondamentaux de l'amplification UWB. La prédiction précise des profils degain Raman et la conception de configuration optimale sont primordiales, mais les méthodes conventionnelless'avèrent très gourmandes en ressources de calcul. Dans ce contexte, l'apprentissage automatiqueapparaît comme un outil puissant, simplifiant la complexité et améliorant la précision dans ces scénarios.En outre, la thèse aborde le défi de la conception de systèmes à faible marge en développant unoutil fiable de qualité de transmission. Les systèmes de transmission par fibre optique sont confrontés àdiverses dégradations telles que l'atténuation de la fibre, le bruit des amplificateurs, le bruit de phasedu laser, l'interférence non linéaire, etc. Alors que les détériorations linéaires peuvent être efficacementcompensées et caractérisées, les méthodes traditionnelles peuvent manquer d'efficacité dans l'estimationde certaines détériorations non linéaires principales, car elles posent des problèmes en termes de précisionet de complexité. Par conséquent, ce travail se penche sur les approches basées sur les données, ycompris les modèles ML, afin de fournir une estimation efficace du bruit non linéaires Kerr et du bruit dephase renforcé électroniquement. En résumé, cette thèse s'appuie sur des méthodes d'apprentissage ouorientées données pour améliorer les performances des systèmes de transmission optique. Ces avancéessont prêtes à façonner l'avenir des systèmes de communication optique, en contribuant à des capacitésplus élevées et à des transmissions plus fiables dans notre environnement numérique qui évolue rapidement.