diff du matin

src/others.bib

@@ -0,0 +1,8 @@
+@article{olah2017feature,
+  author  = {Olah, Chris and Mordvintsev, Alexander and Schubert, Ludwig},
+  title   = {Feature Visualization},
+  journal = {Distill},
+  year    = {2017},
+  url     = {https://distill.pub/2017/feature-visualization},
+  doi     = {10.23915/distill.00007}
+}

src/paper.tex

@@ -69,19 +69,23 @@
 \newacronym{pvcnn}{PVCNN}{Point-Voxel CNN}
 \newacronym{arm}{ARM}{Auto-Regressive Model}
 \newacronym{nf}{NF}{Normalizing Flows}
-\newacronym{vdm}{VDM}{Variational Diffusion Models}
-\newacronym{ldm}{LDM}{Latent Diffusion Models}
-\newacronym{ddpm}{DDPM}{Denoising Diffusion Probabilistic Models}
+\newacronym{vdm}{VDM}{Variational Diffusion Model}
+\newacronym{ldm}{LDM}{Latent Diffusion Model}
+\newacronym{ddpm}{DDPM}{Denoising Diffusion Probabilistic Model}
 \newacronym{ae}{AE}{Auto-Encoder}
 \newacronym{vae}{VAE}{Variational Auto-Encoder}
 \newacronym{gan}{GAN}{Generative Adversarial Network}
 \newacronym{nerf}{NeRF}{Neural Radiance Fields}
+\newacronym{gp}{GP}{Gaussian Process}
+
+\newacronym{cfg}{CFG}{Classifier-Free Guidance}
 
 \newacronym{ml}{ML}{Machine Learning}
 \newacronym{dl}{DL}{Deep Learning}
 \newacronym{ai}{AI}{Artificial Intelligence}
 
 \newacronym{pca}{PCA}{Principal Component Analysis}
+\newacronym{pod}{POD}{Proper Orthogonal Decomposition}
 \newacronym{pde}{PDE}{Partial Differential Equation}
 \newacronym{cfd}{CFD}{Computational Fluid Dynamics}
 \newacronym{ann}{ANN}{Artificial Neural Network}
@@ -156,6 +160,8 @@ J'aimerais également remercier l'ensemble de mes professeurs de l'\gls{n7}, pou
 
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 
+\glsresetall
+
 \chapter{Introduction}
 
 \begin{figure}[h]
@@ -178,19 +184,20 @@ Malheureusement, ce processus de conception itératif présente deux limites:
 
 \smallskip
 Les approches d'optimisation assistées par surfaces de réponse permettent de répondre partiellement à ces difficultés. Cependant cette stratégie admet deux limitations intrinsèques:
+% citation needed for surface de réponse
 \begin{itemize}
   \item Elles nécessitent un long de travail de paramétrisation.
-  \item Elles souffrent grandement du fléau de la dimension, i.e. la taille des problèmes considérés est généralement limitée.
+  \item Elles souffrent grandement du fléau de la dimension (i.e. la taille des problèmes considérés est généralement limitée).
 \end{itemize}
 
 \smallskip
 En particulier, une représentation latente parcimonieuse de la géométrie faciliterait l'exploration de l'espace de recherche et l'utilisation de métamodèles classiques pour la prédiction des quantités d'intérêt.
 
-Récemment, les modèles génératifs profonds comme les \gls{vae} ou les \gls{gan} ont été appliqués avec succès à des données structurées (typiquement des images). Ceux-ci permettent de construire un espace latent représentatif d'un jeu de données donné et de générer de nouveaux échantillons qui partagent des caractéristiques importantes du jeu de données d'entraînement.
+Récemment, les modèles génératifs profonds comme les \gls{vae} ou les \gls{gan} ont été appliqués avec succès à des données structurées (e.g. des images). Ceux-ci permettent de construire un espace latent représentatif d'un jeu de données spécifique et de générer de nouveaux échantillons qui partagent des caractéristiques importantes du jeu de données d'entraînement.
 
-Cependant, dans le cas de la simulation numérique, les données prennent souvent la forme de graphes en raison de l'utilisation de maillages pour représenter les surfaces pièces à concevoir. Dans le contexte d'une application industrielle, il est donc crucial d'adapter les modèles susmentionnés afin de pouvoir utiliser des données non structurées en entrée. Les \gls{gnn} permettent de traiter des données non structurées telles que des maillages ou des nuages de points.
+Cependant, dans le cas de la simulation numérique, les données prennent souvent la forme de graphes en raison de l'utilisation de maillages pour représenter les surfaces des pièces à concevoir. Dans le contexte d'une application industrielle, il est donc crucial d'adapter les modèles susmentionnés afin de pouvoir utiliser des données non structurées en entrée. Les \gls{gnn} permettent de traiter des données non structurées telles que des maillages ou des nuages de points.
 
-Différentes solutions pour ont été proposées dans la littérature pour réaliser des convolutions et agrégations sur graphes ou nuages de points. Cependant, peu d'entre elles conviennent à l'application des réseaux sur graphes sur des données générées par des simulations numériques.
+Différentes solutions ont été proposées dans la littérature pour réaliser des convolutions et agrégations sur graphes ou nuages de points. Cependant, peu d'entre elles conviennent à l'application des réseaux sur graphes sur des données générées par des simulations numériques, car l'ordre de grandeur du nombre de nœuds est généralement trop important.
 
 Le but de ce stage est d'évaluer le potentiel de ces nouvelles méthodes sur des jeux de données réalisés en internes et représentatifs pour \gls{ssa}. Et éventuellement de proposer des améliorations spécifiques aux maillages utilisés en simulations numériques.
 
@@ -202,7 +209,7 @@ Ce chapitre présente les différents concepts et méthodes nécessaires à la c
 
 Dans le cadre de cette étude, nous nous intéressons à la génération de géométries d'aubes de turbines. Ces géométries font parties d'une modalitées de données peu commune, les maillages (qui sont un type de graphes) ou les nuages de points. Ces modalités sont relativement peu étudiée dans la littérature de l'apprentissage automatique comparé aux modalités plus classique comme les images, le texte ou encore l'audio. En effet, ces données sont non structurées et il est donc nécessaire d'utiliser des méthodes spécifiques pour les traiter.
 
-Il reste pertinent de noter que les méthodes présentées dans ce chapitre sont récentes et que la littérature évolue très rapidement. De plus, les méthodes présentées ici sont très nombreuses et il est impossible de toutes les présenter. Nous avons donc choisi de présenter les méthodes les plus pertinentes pour permettre une bonne compréhension globale du travail réalisé durant ce stage.
+Il reste pertinent de noter que les méthodes présentées dans ce chapitre sont récentes et que la littérature évolue très rapidement. De plus, les méthodes existantes sont très nombreuses et il est impossible de toutes les présenter. Nous avons donc choisi de présenter les méthodes les plus pertinentes pour permettre une bonne compréhension globale du travail réalisé durant ce stage.
 
 \FloatBarrier
 \glsreset{gnn}
@@ -210,7 +217,7 @@ Il reste pertinent de noter que les méthodes présentées dans ce chapitre sont
 
 Les graphes sont des structures de données qui permettent de représenter des relations entre des entités. Un graphe est défini par un ensemble de nœuds et un ensemble d'arêtes. Les arêtes représentent des relations entre les nœuds. Ces relations peuvent être de différents types, comme des relations de parenté, de proximité ou encore de similarité. Les graphes peuvent être dirigés ou non. Dans le cas d'un graphe dirigé, les arêtes sont orientées et représentent une relation unidirectionnelle. Dans le cas d'un graphe non dirigé, les arêtes ne sont pas orientées et représentent une relation bidirectionnelle. Les graphes peuvent être pondérés ou non. Dans le cas d'un graphe pondéré, les arêtes sont associées à une valeur qui représente l'intensité de la relation entre les nœuds.
 
-Les graphes offrent une représentation intuitive de diverses structures telles que les réseaux de communication, les réseaux sociaux, les molécules ou encore les maillages. Par conséquent, les graphes sont un type de données largement présents dans la nature et sont très répandu dans le domaine de l'ingénierie. De manière générale, les graphes peuvent être considérés comme une généralisation des données structurées, telles que les images ou les séries temporelles. En effet, toute données structurées peut facilement être traduite en un graphe régulier.
+Les graphes offrent une représentation intuitive de diverses structures telles que les réseaux de communication, les réseaux sociaux, les molécules ou encore les maillages. Par conséquent, les graphes sont un type de données largement présents dans la nature et sont très répandu dans le domaine de l'ingénierie. De manière générale, les graphes peuvent être considérés comme une généralisation des données structurées, telles que les images ou les séries temporelles. En effet, toute données structurées/régulières peut facilement être traduite en un graphe régulier.
 
 \begin{figure}[h!]
   \centering
@@ -228,9 +235,9 @@ On retrouve de même dans les \gls{gnn} des architectures avancées, inspirées
 
 Les applications les plus courantes de ces réseaux incluent la classification\cite{kipf_semi-supervised_2017} de documents, la détection de fraudes\cite{ma_comprehensive_2021} et les systèmes de recommandation\cite{gao_survey_2023}. En revanche, la génération de graphes est moins répandue et se limite souvent dans la littérature à la génération de petites molécules\cite{kipf_graph_2020,simonovsky_graphvae_2018}.
 
-\cite{thomas_kpconv_2019}
-\cite{tang_searching_2020}
-\cite{liu_point-voxel_2019}
+% \cite{thomas_kpconv_2019}
+% \cite{tang_searching_2020}
+% \cite{liu_point-voxel_2019}
 
 \FloatBarrier
 \section{Modèles génératifs}
@@ -263,7 +270,7 @@ Il existe plusieurs sous familles de modèles génératifs, chacune basées sur
 
 Les \gls{gan} sont la famille de modèles génératifs la plus renommée et également la plus ancienne\cite{goodfellow_generative_2014}. Ces modèles reposent sur un principe compétitif impliquant deux réseaux de neurones. Le premier réseau, connu sous le nom de générateur, a pour objectif de produire de nouvelles données. Le deuxième réseau, appelé discriminateur, est chargé de distinguer les données générées par le générateur des données réelles. Le générateur est entraîné à tromper le discriminateur tandis que le discriminateur est entraîné à identifier les données générées par rapport aux données réelles. Cette compétition entre les deux réseaux permet de former le générateur à générer des données de plus en plus réalistes. Ce type d'apprentissage est auto-supervisé, car il ne nécessite pas l'utilisation d'annotations sur les données pour entraîner le modèle.
 
-Les \gls{gan} ont su démontrer leur efficacité pour générer des images réalistes. Cependant, ces modèles sont très difficiles à entraîner\cite{arjovsky_towards_2017}. Les \gls{gan} sont par exemple suceptible au problème des \textit{mode collapse}, où le générateur génère toujours la même image, au problème de \textit{non convergence}, où le générateur et/ou le discriminateur ont une fonction de cout instable et ne convergent ainsi pas vers un équilibre de Nash, ou encore au problème de \textit{vanishing gradient}, où le discriminateur devient trop efficace et empêche le générateur d'apprendre.
+Les \gls{gan} ont su démontrer leur efficacité pour générer des images réalistes. Cependant, ces modèles sont très difficiles à entraîner\cite{arjovsky_towards_2017}. Les \gls{gan} sont par exemple suceptibles à de nombreux problème\cite{zhao_bias_2018}, tel que le problème de \textit{mode collapse}, où le générateur génère toujours la même image, mais aussi le problème de \textit{non convergence}, où le générateur et/ou le discriminateur ont une fonction de cout instable et ne convergent ainsi pas vers un équilibre de Nash, ou encore au problème de \textit{vanishing gradient}, où le discriminateur devient trop efficace et empêche le générateur d'apprendre.
 
 Au fil des années, de nombreuses améliorations\cite{salimans_improved_2016}, variations (WGAN\cite{arjovsky_wasserstein_2017}, etc.) et cas d'applications (CycleGAN\cite{zhu_unpaired_2020}, SGAN\cite{odena_semi-supervised_2016}, SRGAN\cite{ledig_photo-realistic_2017}, DragGAN\cite{pan_drag_2023}, etc.) ont été proposées, mais ces modèles restent complexes à entraîner et à évaluer. De plus, ces modèles sont très sensibles aux hyperparamètres et nécessitent une grande quantité de données pour être efficaces.
 
@@ -273,8 +280,6 @@ Face à ces inconvénients, et puisque nous ne possédons pas de grandes quantit
 \glsreset{vae}
 \subsection{\gls{vae}}
 
-% parler des vae hiereachiques
-
 \begin{figure}[h]
   \centering
   \includegraphics[width=14cm]{vae-architecture.png}
@@ -284,13 +289,17 @@ Face à ces inconvénients, et puisque nous ne possédons pas de grandes quantit
   \label{fig:vae-architecture}
 \end{figure}
 
-Les \gls{vae} constituent une autre famille de modèles génératifs, également bien connue comme les \gls{gan} et sont relativement anciens\cite{kingma_auto-encoding_2022,kipf_variational_2016,doersch_tutorial_2021}. Ces modèles reposent sur l'entraînement simultané de deux réseaux de neurones : un encodeur et un décodeur. L'objectif de l'encodeur est de transformer les données d'entrée en une distribution de probabilité, tandis que le décodeur génère de nouvelles données à partir de cette distribution. Comme pour les GAN, ces modèles visent à estimer une distribution de données qui se rapproche le plus possible de la distribution des données d'entraînement, c'est-à-dire qu'ils apprennent à reproduire fidèlement les données d'origine.
+Les \gls{vae} constituent une autre famille de modèles génératifs, également bien connue comme les \gls{gan} et relativement tout aussi anciens\cite{kingma_auto-encoding_2022,kipf_variational_2016,doersch_tutorial_2021}. Ces modèles reposent sur l'entraînement simultané de deux réseaux de neurones: un encodeur et un décodeur. L'objectif de l'encodeur est de transformer les données d'entrée en une distribution de probabilité, tandis que le décodeur génère de nouvelles données à partir de cette distribution. Comme pour les \gls{gan}, ces modèles visent à estimer une distribution de données qui se rapproche le plus possible de la distribution des données d'entraînement, c'est-à-dire qu'ils apprennent à reproduire fidèlement les données d'origine.
 
-La particularité des \gls{vae} réside dans l'espace latent intermédiaire entre l'encodeur et le décodeur. Cette dimension latente est définie par l'architecture du réseau et peut être réduite à volonté. L'encodeur et le décodeur peuvent ainsi être considérés comme des opérateurs de compression et de décompression.
+La particularité inhérente aux \gls{vae} réside dans l'espace latent intermédiaire situé entre l'encodeur et le décodeur.
+La recherche sur l'interprétabilité des réseaux de neurones et leur visualisations\cite{olah2017feature} établissent que les espaces latents permettent d'extraire les informations sous-jacentes (non directement perceptibles) des données d'entrée. Travailler sur ces informations s'avère avantageux car elles décrivent plus simplement et précisement les données d'entrée.
+De même, la dimension de cette espace latent est configurée par l'architecture du réseau et peut être réduite à volonté. L'encodeur et le décodeur peuvent ainsi être conceptualisés comme des opérateurs de compression et de décompression.
 
-L'intéret de cet espace latent est qu'il permet de générer de nouvelles données en interpolant entre deux points de cet espace. De même, il permet de générer de nouvelles données en modifiant légèrement un point spécifique de cet espace. Ces deux caractéristiques permettent la génération de nouvelles données à partir de données existantes, ce qui se révèle extrêmement utile dans le domaine de l'ingénierie, offrant ainsi des possibilités de création et de conception de nouvelles données basées sur des modèles existants.
+L'intéret de cet espace latent, lorsqu'il est accompagné de sont decodeur, est qu'il permet de générer de nouvelles données, par example en échantillonant $z = \mu + \sigma \odot \epsilon$, ou bien en interpolant entre deux points latents, ou encore en modifiant légèrement un point spécifique de cet espace. Avoir la possibilité de générer de nouvelles données semblables aux données d'origine se révèle extrêmement utile dans le domaine de l'ingénierie, offrant ainsi des possibilités de création et de conception de nouvelles données basées sur des modèles existants.
 
-Tout comme les \gls{gan}, de nombreuses améliorations\cite{burgess_understanding_2018,higgins_beta-vae_2022,alemi_deep_2019,su_f-vaes_2018} et variations\cite{kim_setvae_2021,shah_auto-decoding_2020,simonovsky_graphvae_2018} ont été proposées pour les \gls{vae}. Ces modèles sont plus faciles à entraîner que les \gls{gan} et présentent une plus grande stabilité. Cependant, les \gls{vae} ont tendance à générer des données floues et peu réalistes\cite{yacoby_failure_2021}, et en général produisent des résultats de moins bonne qualité que les \gls{gan}, en particulier pour des résolutions élevées.
+Tout comme les \gls{gan}, de nombreuses améliorations ($\beta$-VAE\cite{burgess_understanding_2018,higgins_beta-vae_2022,alemi_deep_2019}, f-VAE\cite{su_f-vaes_2018}) et variations (SetVAE\cite{kim_setvae_2021}, AutoDecoder\cite{shah_auto-decoding_2020}, GraphVAE\cite{simonovsky_graphvae_2018}) ont été proposées pour les \gls{vae}. Ces modèles sont plus faciles à entraîner que les \gls{gan} et présentent une plus grande stabilité. Cependant, les \gls{vae} ont tendance à générer des données floues et peu réalistes\cite{yacoby_failure_2021}, et en général produisent des résultats de moins bonne qualité que les \gls{gan}, en particulier pour des résolutions élevées.
+
+% parler de l'opti du log likely hood, de l'elbo, placer ce qu'on optimise quoi
 
 nous avons choisi d'explorer ces modèles dans un premier temps lors de nos experiementations.
 
@@ -307,10 +316,12 @@ nous avons choisi d'explorer ces modèles dans un premier temps lors de nos expe
   \label{fig:nf-architecture}
 \end{figure}
 
-Les \gls{nf} sont une autre classe de modèles génératifs qui ont gagné en popularité ces dernières années. Ces modèles se basent des transformations inversibles (bijectives) et différentiables. Ces transformations sont appliquées à une distribution de base, généralement une distribution simple comme une gaussienne, pour obtenir une distribution plus complexe et plus proche de la distribution des données réelles.
+% on est capable de calculer exactement le log likelyhood, et donc de train direct dessus, contrairement aux VAE où on train sur l'ELBO ou les GANS où y'a pas du tout de log likelyhood, jsute un minmnax game
+
+Les \gls{nf} sont une autre classe de modèles génératifs qui ont gagné en popularité ces dernières années, puisque ces méthodes proposent de travailler directement sur les densités de probabilité, contrairement aux \gls{vae} et \gls{gan}. Ces modèles se basent des transformations inversibles (bijectives), continues et différentiables. Ces transformations sont appliquées à une distribution de base, généralement une distribution simple comme une gaussienne isotropique, pour obtenir une distribution plus complexe et plus proche de la distribution des données réelles.
 Les transformations inversibles utilisées dans les \gls{nf} sont souvent paramétrisées par des réseaux de neurones, ce qui permet d'apprendre des fonctions non linéaires complexes. En utilisant plusieurs transformations en séquence, on peut construire des modèles génératifs flexibles capables de capturer des distributions complexes.
 
-Dans la littérature, ces réseaux sont assez peu appliqué aux types de données qui nous intéressent, à l'exception notable de PointFlow\cite{yang_pointflow_2019} qui aura posé certaines bases pour évaluer les réseaux génératifs de nuages de points.
+Dans la littérature, ces réseaux sont assez peu appliqués aux types de données qui nous intéressent, à l'exception notable de PointFlow\cite{yang_pointflow_2019} qui aura posé certaines bases pour évaluer les réseaux génératifs de nuages de points.
 
 \FloatBarrier
 \glsreset{vdm}
@@ -424,7 +435,7 @@ Une fois notre modèle correctement entraîné, nous sommes donc en mesure de d
   \label{fig:arm-architecture}
 \end{figure}
 
-Les modèles auto-régressifs sont des méthodes de génération de séquences qui utilisent les éléments précédents pour prédire chaque élément suivant. Ces modèles ont été largement utilisés dans le domaine du traitement du langage naturel, où ils ont montré d'excellentes performances. Cependant, l'application de ces modèles à la génération de graphes présente des défis particuliers en raison de la structure complexe des graphes. En effet, les graphes sont des structures de données non linéaires et non séquentielles, ce qui rend difficile l'utilisation des modèles auto-régressifs. Malgré cela, plusieurs approches\cite{nash_polygen_2020,liao_efficient_2020} ont été proposées pour adapter ces modèles à la génération de graphes. Cependant, il est important de noter que ces modèles deviennent de moins en moins précis de manière exponentielle à mesure que la taille de la séquence à générer augmente. De ce fait nous n'avons pas encore utilisé ces modèles dans nos travaux.
+Les modèles auto-régressifs sont des méthodes de génération de séquences qui utilisent les éléments précédents pour prédire chaque élément suivant. Ces modèles sont largement utilisés dans le domaine du traitement du langage naturel, où ils ont montré d'excellentes performances. Cependant, l'application de ces modèles à la génération de graphes présente des défis particuliers en raison de la structure complexe des graphes. En effet, les graphes sont des structures de données non régulières et non séquentielles, ce qui rend difficile l'utilisation des modèles auto-régressifs. Malgré cela, plusieurs approches\cite{nash_polygen_2020,liao_efficient_2020} ont été proposées pour adapter ces modèles à la génération de graphes. Cependant, il est important de noter que ces modèles deviennent de moins en moins précis de manière exponentielle à mesure que la taille de la séquence à générer augmente. De ce fait nous n'avons pas encore utilisé ces modèles dans nos travaux.
 
 \FloatBarrier
 \glsreset{nerf}
@@ -448,6 +459,7 @@ L'un des aspects fascinants des \gls{nerf} réside dans leur capacité à appren
 Les \gls{nerf} sont donc une alternative aux méthodes traditionnelles de reconstructions de scènes par résolution d'un problème inverse. Cependant ces modèles peuvent aussi être utilisé conjointement avec d'autres réseau pour permettre d'obtenir des réseaux génératifs\cite{nichol_point-e_2022,takikawa_neural_2021,nam_3d-ldm_2022}.
 
 Dans notre cas, étant donné que notre ensemble de données ne convient pas à l'application des \gls{nerf}, puisque cela necessiterait un travail lourd de pre-processing (conversion de nos maillages/scènes en image via un moteur de rendu) et de post-precessing (marching cube) de notre dataset. Nous n'utiliserons donc pas cette approche.
+de même, dans le cadre industriel, les outils permettant la manipulations d'objets implicites ne sont pas encore assez développés pour être utilisés en production.
 
 \cite{nichol_point-e_2022}
 
@@ -529,7 +541,7 @@ Face aux difficultés rencontrées avec les réseaux basés sur les VAE et les l
 
 % Pointflow (à l'origine du dataset PointFlow, une modif de shapenet, code à chier)
 
-\subsection{Approche par diffusion}
+\subsection{Approche par \gls{vdm}}
 
 Pour prédire le bruit dans le processus de diffusion, conformément à la section intitulée "État de l'art" dans ce document, il est essentiel de sélectionner une architecture de réseau de neurones. Dans notre cas, puisque nous travaillons sur nuages de points, il convient d'utiliser des architectures adaptées à ce type de données.
 
@@ -578,8 +590,16 @@ on test d'autres méthodes parameter free, comme la POD, marche moins bien
 
 second temps, on compress nuages de points via un AE, pas encore finis, mais inch ça marche
 
+\subsection{Approche par \gls{ldm}}
+
+\subsection{Application du \gls{cfg}}
+
+\subsection{Vérification par \gls{gp}}
+
 \chapter{Conclusion}
 
+"Et éventuellement de proposer des améliorations spécifiques aux maillages utilisés en simulations numériques." en intro -> réduire la taille des maillages, ça serait bien. même si j'imagine que pas trop possible car les ingé des aubes veullent une très grande résolution dans leurs simu, même sur des surfaces plutôt planes, qui pourraient être représentées par moins de points.
+
 🎉
 
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
@@ -591,7 +611,7 @@ second temps, on compress nuages de points via un AE, pas encore finis, mais inc
 \backmatter
 
 \addcontentsline{toc}{chapter}{Bibliographie}
-\bibliography{zotero,softs}
+\bibliography{zotero,others,softs}
 \bibliographystyle{plainnat}
 
 \end{document}

src/zotero.bib

@@ -1132,3 +1132,19 @@ Publisher: Multidisciplinary Digital Publishing Institute},
 	keywords = {Computer Science - Computer Vision and Pattern Recognition, Computer Science - Machine Learning},
 	file = {arXiv Fulltext PDF:/home/laurent/Zotero/storage/HMBGIU3W/Shi et al. - 2023 - DragDiffusion Harnessing Diffusion Models for Int.pdf:application/pdf;arXiv.org Snapshot:/home/laurent/Zotero/storage/AGS4JE2X/2306.html:text/html},
 }
+
+@misc{zhao_bias_2018,
+	title = {Bias and {Generalization} in {Deep} {Generative} {Models}: {An} {Empirical} {Study}},
+	shorttitle = {Bias and {Generalization} in {Deep} {Generative} {Models}},
+	url = {http://arxiv.org/abs/1811.03259},
+	doi = {10.48550/arXiv.1811.03259},
+	abstract = {In high dimensional settings, density estimation algorithms rely crucially on their inductive bias. Despite recent empirical success, the inductive bias of deep generative models is not well understood. In this paper we propose a framework to systematically investigate bias and generalization in deep generative models of images. Inspired by experimental methods from cognitive psychology, we probe each learning algorithm with carefully designed training datasets to characterize when and how existing models generate novel attributes and their combinations. We identify similarities to human psychology and verify that these patterns are consistent across commonly used models and architectures.},
+	urldate = {2023-08-16},
+	publisher = {arXiv},
+	author = {Zhao, Shengjia and Ren, Hongyu and Yuan, Arianna and Song, Jiaming and Goodman, Noah and Ermon, Stefano},
+	month = nov,
+	year = {2018},
+	note = {arXiv:1811.03259 [cs, stat]},
+	keywords = {Computer Science - Machine Learning, Statistics - Machine Learning},
+	file = {arXiv Fulltext PDF:/home/laurent/Zotero/storage/38D6FI5W/Zhao et al. - 2018 - Bias and Generalization in Deep Generative Models.pdf:application/pdf;arXiv.org Snapshot:/home/laurent/Zotero/storage/5KNUNRMG/1811.html:text/html},
+}