Stable Diffusion a rendu la copie d’artistes et la génération de porno plus difficiles et les utilisateurs sont fous

Les utilisateurs du générateur d’images AI Stable Diffusion sont mécontents d’une mise à jour du logiciel qui « nerfs » sa capacité à générer une sortie NSFW et des images dans le style d’artistes spécifiques.

Stability AI, la société qui finance et diffuse le logiciel, a annoncé Stable Diffusion Version 2 tôt ce matin Heure européenne. La mise à jour réorganise les composants clés du modèle et améliore certaines fonctionnalités telles que la mise à l’échelle (la possibilité d’augmenter la résolution des images) et l’in-painting (édition sensible au contexte). Mais, les changements rendent également plus difficile pour Stable Diffusion de générer certains types d’images qui ont suscité à la fois la controverse et la critique. Ceux-ci incluent des productions nues et pornographiques, des images photoréalistes de célébrités et des images qui imitent les œuvres d’artistes spécifiques.

« Ils ont nerfé le modèle », a commenté un utilisateur sur un sous-reddit Stable Diffusion. « C’est un peu une mauvaise surprise », a déclaré un autre sur le serveur Discord officiel du logiciel.

Les utilisateurs notent que demander à la version 2 de Stable Diffusion de générer des images dans le style de Greg Rutkowski – un artiste numérique dont le nom est devenu un raccourci littéral pour produire des images de haute qualité – ne crée plus d’œuvres qui ressemblent étroitement aux siennes. (Comparez ces deux images, par exemple). « Qu’as-tu fait à greg😔 », a commenté un utilisateur sur Discord.

Les changements apportés à Stable Diffusion sont notables, car le logiciel est extrêmement influent et aide à établir des normes sur la scène de l’IA générative en évolution rapide. Contrairement aux modèles concurrents comme DALL-E d’OpenAI, Stable Diffusion est open source. Cela permet à la communauté d’améliorer rapidement l’outil et aux développeurs de l’intégrer gratuitement dans leurs produits. Mais cela signifie également que Stable Diffusion a moins de contraintes dans son utilisation et, par conséquent, a suscité de nombreuses critiques. En particulier, de nombreux artistes, comme Rutkowski, sont ennuyés que Stable Diffusion et d’autres modèles générateurs d’images aient été formés sur leurs œuvres sans leur consentement et puissent désormais reproduire leurs styles. La question de savoir si ce type de copie activée par l’IA est légale ou non est une question ouverte. Les experts disent que la formation de modèles d’IA sur des données protégées par le droit d’auteur est probablement légale, mais que certains cas d’utilisation pourraient être contestés devant les tribunaux.

Les utilisateurs de Stable Diffusion ont émis l’hypothèse que les modifications apportées au modèle ont été apportées par Stability AI pour atténuer ces défis juridiques potentiels. Cependant, lorsque Le bord a demandé au fondateur de Stability AI, Emad Mostaque, si c’était le cas dans un chat privé, Mostaque n’a pas répondu. Mostaque a confirmé, bien que Stability AI n’ait pas supprimé les images des artistes des données de formation (comme de nombreux utilisateurs l’ont spéculé). Au lieu de cela, la capacité réduite du modèle à copier des artistes est le résultat de modifications apportées à la façon dont le logiciel encode et récupère les données.

« Il n’y a pas eu de filtrage spécifique des artistes ici », a déclaré Mostaque Le bord. (Il a également développé le fondement technique de ces changements dans un message publié sur Discord.)

Ce qui a été supprimé des données d’entraînement de Stable Diffusion, cependant, ce sont les images nues et pornographiques. Des générateurs d’images AI sont déjà utilisés pour générer une sortie NSFW, y compris des images photoréalistes et de style anime. Cependant, ces modèles peuvent également être utilisés pour générer des images NSFW ressemblant à des individus spécifiques (appelées pornographie non consensuelle) et des images de maltraitance d’enfants.

Discutant des modifications de Stable Diffusion Version 2 dans le Discord officiel du logiciel, Mostaque note que ce dernier cas d’utilisation est la raison du filtrage du contenu NSFW. « On ne peut pas avoir d’enfants et de nsfw dans un modèle ouvert », déclare Mostaque (car les deux types d’images peuvent être combinés pour créer du matériel d’abus sexuel d’enfants), « alors débarrassez-vous des enfants ou débarrassez-vous du nsfw. »

Un utilisateur du sous-reddit de Stable Diffusion a déclaré que la suppression du contenu NSFW était de la « censure » et « contre l’esprit de la communauté Open Source ». L’utilisateur a déclaré: «Pour choisir de faire du contenu NSFW ou non, cela devrait être entre les mains de l’utilisateur final, non [sic] dans un modèle limité/censuré. D’autres, cependant, ont noté que la nature open source de Stable Diffusion signifie que les données d’entraînement nues peuvent facilement être rajoutées dans des versions tierces et que le nouveau logiciel n’affecte pas les versions antérieures : « Ne paniquez pas à propos du manque de V2.0. artistes/NSFW, vous pourrez bientôt générer votre célébrité préférée nue et de toute façon vous le pouvez déjà.

Bien que les modifications apportées à Stable Diffusion Version 2 aient ennuyé certains utilisateurs, beaucoup d’autres ont loué son potentiel de fonctionnalité plus approfondie, comme la nouvelle capacité du logiciel à produire un contenu qui correspond à la profondeur d’une image existante. D’autres ont déclaré que les changements rendaient plus difficile la production rapide d’images de haute qualité, mais que la communauté ajouterait probablement cette fonctionnalité dans les futures versions. Comme un utilisateur sur Discord a résumé les changements : « 2.0 est meilleur pour interpréter les invites et créer des images photographiques cohérentes d’après mon expérience jusqu’à présent. cela ne fera cependant pas de seins de rutkowski.

Mostaque lui-même a comparé le nouveau modèle à une base de pizza qui permet à chacun d’ajouter les ingrédients (c’est-à-dire les données d’entraînement) de son choix. « Un bon modèle doit être utilisable par tout le monde et si vous voulez ajouter des trucs, ajoutez des trucs », a-t-il déclaré sur Discord.

Mostaque a également déclaré que les futures versions de Stable Diffusion utiliseraient des ensembles de données de formation qui permettraient aux artistes de s’inscrire ou de se désinscrire – une fonctionnalité que de nombreux artistes ont demandée et qui pourrait aider à atténuer certaines critiques. « Nous essayons d’être super transparents alors que nous améliorons les modèles de base et intégrons les commentaires de la communauté », a déclaré Mostaque. Le bord.

Une démo publique de Stable Diffusion Version 2 est accessible ici (bien qu’en raison des fortes demandes des utilisateurs, le modèle puisse être inaccessible ou lent).