Dr. Kenneth Vanhoey

Chercheur à Unity Technologies - Labs

Stages chez Unity Labs Grenoble

L'apprentissage profond et l'informatique graphique vous intéresse ? Vous voulez faire un stage de recherche dans lequel vous utiliserez et étendrez les limites des techniques existantes à ce jour. Alors nous devrions discuter. Le laboratoire Unity Labs Grenoble travaille à analyser et élaborer les dernières techniques de recherche utilisées en informatique graphique et création de contenu (semi-)automatique. Nous proposons un environnement de travail stimulant, sympathique et confortable. Vous trouverez ci-dessous quelques exemples de sujets.

Intéressés ? Écrivez-moi (en français ou anglais) en décrivant le contexte (e.g., stage dans le cadre des études), vos intérêts, vos connaissances et expériences dans le domaine, les dates probables du stage et toute autre question que vous pourriez avoir.

Profil idéal:

  • Etudiant de niveau au moins égal au master. Vos études doivent contenir un ou plusieurs des domaines suivants: informatique graphique, vision assistée par ordinateur, apprentissage.
  • Avoir de l'expérience pratique avec des outil d'apprentissage profond (de préférence mais non nécessairement TensorFlow)
  • De l'expérience avec des projets d'informatique graphique et/ou de rendu est un plus.
  • Savoir développer dans l'éditeur Unity est un plus.
  • Un portfolio de projets visible (e.g., sur GitHub ou un site web personnel) est un grand plus.

Création de contenu par l'exemple

Nous souhaitons proposer aux artistes des outils permettant de reproduire un monde virtuel 3D à partir de photographies réelles:

Synthèse de texture/matériau et transfert de style par l'exemple

[Stage recherche et/ou développement]

Étant donnée une image d'exemple d'un matériau ou une texture, est-on capable de reproduire cette apparence au sein d'un monde virtuel 3D de façon (semi-)automatique ? Ceci nécessite la capacité de recopier l'exemple de matériau tout en créant de la variété (afin d'éviter les artefacts de répétition) et sans discontinuités visibles. La synthèse de texture neuronale est un outil prometteur pour résoudre ce problème. Je propose plusieurs sujets de recherche dans ce contexte et pouvant varier d'une orientation purement "recherche" (e.g., l'objectif final serait de publier un article de recherche) à une orientation purement "développement" (e.g., l'objectif final serait de fournir un plugin Unity) ou quelque part entre ces deux.

Rendu différentiable

[Stage de recherche]

Un moteur de rendu comme Unity calcule une image à partir de paramètres donnés en entrée (géométrie de la scène, matériaux, sources lumineuses) via l'illumination globale. Un objectif de longue date est de pouvoir inverser ce processus: étant donné une image rendue ou photographiée, peut-on inférer les paramètres d'entrée ? Résoudre ce problème mal posé permettrait d'ensuite éditer ces paramètres, donc d'éditer la scène, e.g., ré-éclairage, insertion d'objets, édition de matériau. Le rendu différentiable permet d'exprimer l'illumination globale de façon différentiable, donc autorise la rétro-propagation du gradient d'erreurs mesurées. Ceci permet une optimisation de paramètres d'entrée via une déscente de gradient stochastique. Sur ce sujet, plusieurs possibilités de stages de recherche sont envisagées, notamment en collaboration avec mes collègues à Unity Labs Grenoble, spécialistes du rendu.

Post-traitement de rendu par réseaux de neurones convolutifs

[Stage de recherche et développement]

Les cartes graphiques les plus récentes (NVidia RTX Turing) proposent des capacités de post-traitement d'images via réseaux de neurones en temps-réel: e.g., débruitage, superresolution. Bientôt, de nombreux jeux vidéo exploiteront ces capacités afin d'améliorer la vitesse de rendu. Les stages liés à ces sujets impliquent d'expérimenter avec ces capacités dans le contexte du moteur de rendu Unity.

Projets passés

N.B.: les sujets n'ont pas été traduits (i.e., sont décrits dans leur langue originale).

ETH Zürich

Doctorants

Thèses de master (6 mois)

Thèses de semestre (niveau master, 4 à 8 semaines)

  • Andreea Lutac (Master 1 student in "Robotics", ETH Zürich, Spring 2017 - 12 weeks): Creating an annotated texture database for automatic texture model inferences from exemplars.
  • Dario Fuoli (Master 1 student in "Information Technology and Electrical Engineering", ETH Zürich, Fall 2016 - 7 weeks): Summarizing façade textures through texture synthesis: some deep learning tests.
  • Samuel Keusch (Master 2 student in "Computer Science and Engineering", ETH Zürich, summer 2016 - 160h): Where is this webcam located? Preliminary implementation.

Inria

Stages libres

  • Georgios Kopanas (Master 2 student from University of Thessaly, Department of Electrical and Computer Engineering, autumn 2015 - 3 months): CUDA parallelization of an algorithm for procedural texturing.

Université de Strasbourg

Stages libres

Travaux d'Études et de Recherche (Master 1)

Projets 150h (Master 2 ISI) - projet de développement

Projets «Summer of Code in Space» de l'ESA

  • Alexandre Hurstel (2012 - 3 mois) : Réorganisation et outil de gestion de trajectoire pour CGoGN.