291 lines
10 KiB
Markdown
291 lines
10 KiB
Markdown
---
|
|
theme: academic
|
|
class: text-white
|
|
coverAuthor: Laurent Fainsin, Damien Guillotin, Pierre-Eliot Jourdan
|
|
coverBackgroundUrl: https://images.unsplash.com/photo-1655720408861-8b04c0724fd9?ixlib=rb-4.0.3&ixid=MnwxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8
|
|
coverBackgroundSource: unplash
|
|
coverBackgroundSourceUrl: https://unsplash.com/photos/Vc0CmuIfMg0
|
|
coverDate: '2023-02-01'
|
|
themeConfig:
|
|
paginationX: r
|
|
paginationY: t
|
|
paginationPagesDisabled:
|
|
- 1
|
|
title: Bureau d'étude de PI3D
|
|
---
|
|
|
|
<h2 class="opacity-50" style="font-size: 2rem;">Bureau d'étude de PI3D</h2>
|
|
|
|
<h1 style="font-size: 2.4rem;">Sujet 6 - Reformulation du MVS par level sets</h1>
|
|
|
|
---
|
|
|
|
## Exemple Level sets 2D
|
|
|
|
<img src="/figs/lvl7_2D.gif" class="m-auto mt-5"/>
|
|
|
|
<!--
|
|
level set ≃ un seuillage. \
|
|
Ici on représente le seuillage d'une fonction par un contour rouge, avec le resultat binarisé à droite.
|
|
Ça fait un peu penser aux contours actifs, et on peut considérer les levels sets comme une généralisation des contours actifs.
|
|
|
|
-->
|
|
|
|
---
|
|
|
|
## Définition du Level sets (2D)
|
|
|
|
<style>
|
|
span.katex {
|
|
position: absolute;
|
|
bottom: 5%;
|
|
left: 8%;
|
|
}
|
|
</style>
|
|
|
|
<img src="/figs/wikipedia_top.png" class="m-auto -mt-12"/>
|
|
<img src="/figs/wikipedia_bottom.png" class="m-auto -mt-12"/>
|
|
|
|
$\mathcal{V}_t = \{ \textbf{Q} = (X, Y) \in \mathbb{R}^2, u(\textbf{Q}) > t \}, \quad t\in [0,1], \quad u \colon \mathbb{R}^2 \to [0, 1]$
|
|
|
|
<a href="https://en.wikipedia.org/wiki/Level-set_method" class="absolute bottom-0 font-extralight mb-1 mr-2 right-0 text-xs">Wikipedia</a>
|
|
|
|
<!--
|
|
Définition mathématique et continue des levels sets:
|
|
|
|
Volume = Ensemble des points de l'espace tel que, l'image de ces points par une fonction valide une condition
|
|
|
|
- V_t -> volume (2D ici, gris en bas) que l'on souhaite obtenir/approximer
|
|
- Q -> point 2D de l'espace
|
|
- u -> fonction indicatrice (que l'on souhaite apprendre) qui indique "l'intériorité" d'un point Q dans V_t
|
|
- t -> seuil qui détermine la valeur à partir de laquelle on est dans V_t
|
|
|
|
Pour un levelset 2D, on peut représenter u en 3D, t par un plan, et notre volume V_t par tout ce qui se situe au dessus du plan t.
|
|
-->
|
|
|
|
---
|
|
|
|
## Exemple Level sets 3D
|
|
|
|
<img src="/figs/lvl7_3D.gif" class="m-auto -mt-1 h-125"/>
|
|
|
|
<!--
|
|
La définition précédente se généralise très bien aux espace de dimension supérieurs, voici un exemple 3D.
|
|
Juste on vous parle de la 2D psk c'est plus simple.
|
|
Par exemple ici on peut pas représenter u, car il nous faudrait une représentation 4D.
|
|
Par contre on peut vous montrer le résultat de V_t pour différent t.
|
|
-->
|
|
|
|
---
|
|
|
|
## Évolution de $u_t$
|
|
|
|
<img src="/figs/lvl7_2D_1.png" class="m-auto h-110"/>
|
|
|
|
<a href="https://hal.inria.fr/inria-00073673/document" class="absolute bottom-0 font-extralight mb-1 mr-2 right-0 text-xs">Variational principles, surface evolution, PDEs, level set methods, and the stereo problem - Olivier Faugeras, Renaud Keriven, 1998</a>
|
|
|
|
<!--
|
|
Faugeras et Keriven ont écrit ce "livre" pour poser pleins de preuves mathématiques sur des problèmes variationnels... dont les levels sets.
|
|
Et donc dans le leur "livre" ils montrent plusieurs exemples de levels sets.
|
|
Ils montrent un procédé pour mettre à jour u_t (le contour bleu) pour que celui-ci converge vers un volume capturé (le contour rouge) par des caméras (dont les poses sont connues).
|
|
-->
|
|
|
|
---
|
|
|
|
## Évolution de $u_t$
|
|
|
|
<img src="/figs/lvl7_2D_2.png" class="m-auto h-110"/>
|
|
|
|
<a href="https://hal.inria.fr/inria-00073673/document" class="absolute bottom-0 font-extralight mb-1 mr-2 right-0 text-xs">Variational principles, surface evolution, PDEs, level set methods, and the stereo problem - Olivier Faugeras, Renaud Keriven, 1998</a>
|
|
|
|
<!--
|
|
changement de topologie du level set
|
|
-->
|
|
|
|
---
|
|
|
|
## Évolution de $u_t$
|
|
|
|
<img src="/figs/lvl7_2D_3.png" class="m-auto h-110"/>
|
|
|
|
<a href="https://hal.inria.fr/inria-00073673/document" class="absolute bottom-0 font-extralight mb-1 mr-2 right-0 text-xs">Variational principles, surface evolution, PDEs, level set methods, and the stereo problem - Olivier Faugeras, Renaud Keriven, 1998</a>
|
|
|
|
---
|
|
|
|
## Plan du BE
|
|
|
|
<div class="h-100 flex items-center text-2xl">
|
|
|
|
- Discrétisation de l'espace
|
|
- Initialisation du volume
|
|
- Mise à jour du volume
|
|
- Résultats
|
|
|
|
</div>
|
|
|
|
<!--
|
|
Notre objectif dans ce BE c'était donc d'implémenter ce procédé.
|
|
Et pour ce faire on avait besoin de faire les étapes suivantes:
|
|
-->
|
|
|
|
---
|
|
|
|
## Discrétisation de l'espace <br> Simplification du problème
|
|
|
|
<img src="https://upload.wikimedia.org/wikipedia/commons/b/bc/Voxels.svg" class="m-auto mr-50 -mt-13 h-110">
|
|
|
|
<style>
|
|
span.katex {
|
|
position: absolute;
|
|
bottom: 1%;
|
|
}
|
|
</style>
|
|
|
|
$\mathbb{R}^3 \to \mathbb{V} \newline \implies \mathcal{V} = \{ \textbf{v} = (x, y, z) \in \mathbb{V}, u(\textbf{v}) > 0 \}, \quad u \colon \mathbb{V} \to \{0, 1\}$
|
|
|
|
|
|
<a href="https://en.wikipedia.org/wiki/Voxel" class="absolute bottom-0 font-extralight mb-1 mr-2 right-0 text-xs">Wikipedia</a>
|
|
|
|
<!--
|
|
Dans un premier on va discrétiser notre espace, puisque qu'on travaille dans le monde numérique + les observations (photos caméras) que l'on va utiliser pour calculer notre levelset sont aussi des échantillons.
|
|
On va donc travailler avec une grille de pixels si on est en 2D, et un grille de voxels (V) si on est en 3D.
|
|
On va aussi simplifier le problème en binarisant notre fonction u, celle-ci désormais sort soit 0 (de l'air) ou 1 (du solide).
|
|
Et donc t on va aussi le définir égal à 0.
|
|
-->
|
|
|
|
---
|
|
|
|
## Initialisation du volume
|
|
|
|
- Définition des bornes de notre grille de voxels:
|
|
- $x \in \llbracket x_{\min}, x_{\max} \rrbracket$
|
|
- $y \in \llbracket y_{\min}, y_{\max} \rrbracket$
|
|
- $z \in \llbracket z_{\min}, z_{\max} \rrbracket$
|
|
- Définition d'une résolution de voxel:
|
|
- Pas trop grand, sinon un voxel projeté sur nos caméras comprends plusieurs pixels
|
|
- Pas trop petit, sinon plusieurs voxels se projetent sur le même pixel
|
|
- Exemple: $5.10^{-2}\ m$
|
|
- Initialisation des valeurs des voxels:
|
|
- Uniforme: $\forall \textbf{Q} = (X, Y, Z) \in \mathbb{R}, u_0(\textbf{Q}) = 1$
|
|
- Shape From Silhouette <span style="opacity: 0.025;">BE4 CHEH</span>
|
|
|
|
<!--
|
|
Comme on l'a vu dans les exemple de Faugeras, il nous faut un u_0 initial (le contour bleu). Pour ça, dans notre cas, on va dans un premier temps définir des bornes à notre grille de voxels. Il faut aussi définir la taille des voxels.
|
|
-->
|
|
|
|
---
|
|
|
|
## Mise à jour du volume
|
|
|
|
<img src="/figs/update.png" class="m-auto h-120">
|
|
|
|
<!--
|
|
- Sélection des voxels sur la bordure du "marbre"
|
|
- Vérification de la visibilité du voxel par toutes les caméras
|
|
- Récupération des couleurs visibles par les caméras
|
|
- Si !consensus et air, !update -> air
|
|
- Si consensus et air, update -> solide
|
|
- Si !consensus et solide, update -> air
|
|
- Si consensus et solide, !update -> solide
|
|
-->
|
|
|
|
---
|
|
|
|
## Principe du Shape from Silhouette
|
|
|
|
<img src="https://www.researchgate.net/profile/Silvio-Savarese/publication/221625880/figure/fig1/AS:652956261158913@1532688312594/Shape-from-Silhouettes-The-silhouette-and-camera-location-for-each-view-forms-a-cone.png" class="m-auto mt-2 h-110">
|
|
|
|
<a href="https://ieeexplore.ieee.org/document/1024034" class="absolute bottom-0 font-extralight mb-1 mr-2 right-0 text-xs">Implementation of a Shadow Carving System for Shape Capture, doi: 10.1109/TDPVT.2002.1024034</a>
|
|
|
|
<!--
|
|
On suppose qu'on connait les poses de plusieurs caméras, ainsi que les masques de l'objet qu'elles capturent.
|
|
On va prendre tous les voxels de notre grille et les projeter sur chacune de nos caméras.
|
|
Si on voxel tombe à l'exterieur du masque d'au moins d'une caméra, on le supprime.
|
|
Il en résulte l'enveloppe convexe de l'objet (nuage de points / voxels).
|
|
Plus on a de caméra, meilleure sera la définition de l'enveloppe.
|
|
-->
|
|
|
|
---
|
|
|
|
## Shape from Silhouette 3D
|
|
|
|
<img src="/figs/example3D.gif" class="m-auto mt-2 h-110">
|
|
|
|
<!--
|
|
25 poses, torus avec briques, génération blender, masques parfait par render raytracing (cycles).
|
|
-->
|
|
|
|
---
|
|
|
|
## Résultat Shape from Silhouette 3D
|
|
|
|
<iframe frameborder="0" allowfullscreen mozallowfullscreen="true" webkitallowfullscreen="true" allow="autoplay; fullscreen; xr-spatial-tracking" xr-spatial-tracking execution-while-out-of-viewport execution-while-not-rendered web-share width="100%" height="100%" src="https://sketchfab.com/models/4da17838dd5f497faa147db5febd21d9/embed"></iframe>
|
|
|
|
<!--
|
|
nuage de voxel. si nuage de points -> conversion en mesh possible grace aux marching cubes.
|
|
-->
|
|
|
|
---
|
|
|
|
## Shape from Silhouette 2D
|
|
|
|
<img src="https://cdn.discordapp.com/attachments/953586522572066826/1069974891023056926/image.png" class="m-auto -mt-2 h-110">
|
|
<img src="https://cdn.discordapp.com/attachments/953586522572066826/1069974281175449630/image.png" class="m-auto -mt-1 h-11">
|
|
|
|
---
|
|
|
|
## Résultat Shape from Silhouette 2D
|
|
|
|
<img src="https://cdn.discordapp.com/attachments/953586522572066826/1069973956263686164/Screenshot_from_2023-01-31_14-30-53.png" class="m-auto h-110">
|
|
|
|
---
|
|
|
|
## Lancer <br> de rayon
|
|
|
|
<img src="https://cdn.discordapp.com/attachments/953586522572066826/1068141883810914427/fvi2.png" class="m-auto -mt-10 h-125"/>
|
|
|
|
---
|
|
|
|
## Lancer <br> de rayon
|
|
|
|
<img src="https://cdn.discordapp.com/attachments/953586522572066826/1068141884242931712/fvi4.png" class="m-auto -mt-10 h-125"/>
|
|
|
|
---
|
|
|
|
## Lancer <br> de rayon
|
|
|
|
<img src="https://cdn.discordapp.com/attachments/953586522572066826/1068141884679147602/fvi6.png" class="m-auto -mt-10 h-125"/>
|
|
|
|
---
|
|
|
|
## Lancer <br> de rayon
|
|
|
|
<img src="https://cdn.discordapp.com/attachments/953586522572066826/1068141885056622661/fvi8.png" class="m-auto -mt-10 h-125"/>
|
|
|
|
---
|
|
|
|
## Itération du Level Set
|
|
|
|
<div class="flex">
|
|
<img src="https://cdn.discordapp.com/attachments/953586522572066826/1069973956787966003/Screenshot_from_2023-01-31_14-33-47.png" class="h-110">
|
|
<img src="https://cdn.discordapp.com/attachments/953586522572066826/1069975888382410784/image.png" class="h-110">
|
|
</div>
|
|
|
|
---
|
|
|
|
## Résultats (TODO)
|
|
|
|
<img src="https://media.tenor.com/_NuHtjgRyvcAAAAC/kekw.gif" class="m-auto h-100">
|
|
|
|
---
|
|
|
|
## Conclusion et axes de développement
|
|
|
|
<div class="h-100 flex items-center text-2xl">
|
|
|
|
- Réalisation du SfS en 2D/3D
|
|
- Réalisation du MVS par level sets en 2D avec utilisation du SfS
|
|
- Résultat en 3D ?
|
|
|
|
</div>
|