En octobre dernier, les garçons du lycée Westfield, dans le New Jersey, ont commencé à se comporter de manière « bizarre », selon le Wall Street Journal. signalé. Il a fallu quatre jours avant que l’école découvre que les garçons utilisaient des générateurs d’images IA pour créer et partager de fausses photos nues de camarades de classe. La police enquête désormais sur l’incident, mais elle travaille apparemment dans le noir, car elle n’a actuellement pas accès aux images qui pourraient lui permettre d’en retrouver la source.
Selon un e-mail que le WSJ a examiné et provenant de Mary Asfendis, directrice de l’école secondaire Westfield, l’école « croyait » que les images avaient été supprimées et n’étaient plus en circulation parmi les étudiants.
On ne sait toujours pas combien d’étudiants ont été blessés. Un porte-parole des écoles publiques de Westfield a évoqué la confidentialité des élèves en refusant de dire au WSJ le nombre total d’élèves impliqués ou combien d’élèves, le cas échéant, avaient été sanctionnés. L’école n’avait pas confirmé si les professeurs avaient examiné les images, n’informant apparemment les étudiantes prétendument ciblées que lorsqu’elles étaient identifiées par des garçons affirmant avoir vu les images.
On ne sait pas non plus si ce que les garçons ont fait était illégal. Il n’existe actuellement aucune loi fédérale restreignant la création de fausses images sexuelles de personnes réelles, a rapporté le WSJ, et en juin, des experts en sécurité des enfants ont rapporté qu’il n’y avait apparemment aucun moyen d’arrêter. des milliers d’images sexuelles d’enfants réalistes mais fausses provenant d’IA partagées en ligne.
Cette semaine, le président Joe Biden a publié un décret exhortant les législateurs à adopter des protections pour prévenir un large éventail de préjudices, notamment en empêchant « l’IA générative de produire du matériel d’abus sexuels sur des enfants ou de produire des images intimes non consensuelles d’individus réels ». Biden a demandé au secrétaire au Commerce, au secrétaire à la Sécurité intérieure et aux chefs d’autres agences compétentes de formuler des recommandations concernant « les tests et les garanties contre » la production de « matériel d’abus sexuel sur des enfants » et « d’images intimes non consensuelles d’individus réels (y compris des images intimes). représentations numériques du corps ou de parties du corps d’un individu identifiable), pour l’IA générative. Mais cela pourrait prendre des années avant que ces protections ne soient finalement introduites, voire jamais.
Certains États sont intervenus là où la législation fédérale était à la traîne, la Virginie, la Californie, le Minnesota et New York ayant adopté des lois interdisant la distribution de faux porno, a rapporté le WSJ. Et le New Jersey pourrait être le prochain, selon Jon Bramnick, un sénateur de l’État du New Jersey qui a déclaré au WSJ qu’il « examinerait s’il existe des lois d’État existantes ou des projets de loi en cours qui criminaliseraient la création et le partage de » fausses informations basées sur l’IA. des nus. Et s’il ne parvient pas à trouver de telles lois, Bramnick a déclaré qu’il envisageait d’élaborer une nouvelle loi.
Il est possible que d’autres lois du New Jersey, comme celles interdisant le harcèlement ou la distribution de matériel pédopornographique, s’appliquent dans ce cas. En avril, New York a condamné un homme de 22 ans, Patrick Carey, à six mois de prison et 10 ans de probation « pour avoir partagé des images sexuellement explicites « truquées » de plus d’une douzaine de femmes mineures sur un site Web pornographique et publié des informations d’identification personnelle de nombreuses femmes, encourageant les utilisateurs du site Web à les harceler et à les menacer de violences sexuelles. Carey a violé plusieurs lois interdisant le harcèlement, le harcèlement criminel, la mise en danger d’enfants et la « promotion d’un spectacle sexuel impliquant des enfants », mais à l’époque, la procureure du comté, Anne T. Donnelly, a reconnu que les lois manquaient encore pour véritablement protéger. victimes de deepfake porno.
« L’État de New York ne dispose actuellement pas de lois pénales adéquates pour protéger les victimes de la pornographie ‘deepfake’, tant les adultes que les enfants », a déclaré Donnelly.
Remarquablement, New York a agi rapidement pour combler cet écart, en passant un loi le mois dernier, qui a interdit la vengeance pornographique générée par l’IA, et il semble que Bramnick ait convenu cette semaine que le New Jersey devrait être le prochain à renforcer ses lois.
« Cela doit être un crime grave dans le New Jersey », a déclaré Bramnick.
En attendant que les lois soient renforcées, Bramnick a demandé au procureur du comté d’Union de découvrir ce qui s’est passé au lycée de Westfield, et la police d’État enquête toujours. La maire de Westfield, Shelley Brindle, a encouragé davantage de victimes à s’exprimer et à soumettre des rapports à la police.
Les étudiants ciblés restent effrayés
Certaines des filles ciblées ont déclaré au WSJ qu’elles n’étaient pas à l’aise d’aller à l’école avec les garçons qui ont créé les images. Ils ont également peur que les images réapparaissent ultérieurement et causent davantage de dégâts, que ce soit sur le plan professionnel, académique ou social. D’autres ont déclaré que l’expérience avait changé leur perception de la publication en ligne.
L’année dernière, Ars a averti que les générateurs d’images IA sont devenus si sophistiqués qu’ils entraîner l’IA à créer des deepfakes réalistes est désormais plus facile que jamais. Certains outils d’image, comme DALL-E d’OpenAI ou Firefly d’Adobe, note le rapport du WSJ, disposent de paramètres de modération pour empêcher les utilisateurs de créer des images pornographiques. Cependant, même les meilleurs filtres sont difficiles, voire « impossibles », à appliquer, ont déclaré les experts au WSJ, et il existe une technologie permettant d’échanger le visage ou de retirer des vêtements si quelqu’un cherchant à créer des deepfakes est suffisamment motivé et avisé pour combiner différentes technologies.
La société de détection d’images Sensity AI a déclaré au WSJ que plus de 90 % des fausses images en ligne sont de la pornographie. À mesure que les générateurs d’images deviennent plus courants, le risque de propagation de fausses images semble augmenter.
Pour les étudiantes de Westfield High School, l’idée que leurs camarades de classe les cibleraient est plus « effrayante » que la vague pensée qu’« il y a des gars effrayants là-bas », a rapporté le WSJ. Jusqu’à ce que l’affaire soit réglée dans la ville du New Jersey, les filles prévoient de continuer à défendre les victimes, et leur directeur, Asfendis, s’est engagé à sensibiliser les étudiants sur la manière d’utiliser les nouvelles technologies de manière responsable.
« Il s’agit d’un incident très grave », a écrit Asfendis dans un e-mail adressé aux parents. « Les nouvelles technologies ont rendu possible la falsification des images, et les étudiants doivent connaître l’impact et les dommages que ces actions peuvent causer aux autres. »
