L’IA appliquée aux contenus de fiction grâce au partenariat Carnot TSN et France Télévision

09 2020
Les Carnot et les entreprises

Reconnaître les visages, des objets, les motifs, la musique, l’architecture voire les mouvements de caméra : les progrès considérables de l’intelligence artificielle permettent aujourd’hui de caractériser chaque plan, chaque séquence d’une vidéo. Dans le cadre du laboratoire commun IA TV créé en octobre dernier entre le Carnot Télécom & Société numérique (Télécom SudParis) et France télévisions, les chercheurs développent actuellement un algorithme capable d’analyser l’offre de programmes de fiction du service audiovisuel public.

A mesure que fleurissent en ligne des plates-formes de vidéos à la demande, se sont déployés les algorithmes de recommandation associés, capables de prendre en compte – entre autres – les goûts des téléspectateurs en fonction du genre, des acteurs et de la thématique du programme. In fine, s’offrir plus de chances de tomber juste. L’intelligence artificielle permet aujourd’hui d’aller encore plus loin : s’ouvre désormais la possibilité de spécifier le lieu de l’intrigue, le type de plans et d’actions ou encore l’enchaînement des scènes.

C’est sur cet objectif que travaillent les équipes de France Télévisions et du Carnot Télécom & Société numérique (Télécom SudParis) depuis octobre 2019 et le lancement du laboratoire commun IA TV. Elles s’attachent à l’automatisation de l’analyse de contenus vidéo de fictions. 

En s’appuyant sur le deep learning, une technique d’apprentissage profond par réseaux neuronaux, les chercheurs passent à la moulinette de leur algorithme une quantité massive de vidéos. Les différentes couches de neurones successives extraient et analysent des caractéristiques de plus en plus complexes d’une scène visuelle : la première couche prend les pixels de l’image, la dernière fournit les étiquettes.