Tendances radar à surveiller : août 2023 – O’Reilly

L’intelligence artificielle continue de dominer l’actualité. Au cours du mois dernier, nous avons assisté à un certain nombre de mises à jour majeures des modèles de langage : Claude 2, avec sa limite de contexte de 100 000 jetons ; LLaMA 2, avec des restrictions d’utilisation (relativement) libérales ; et Stable Diffusion XL, une version nettement plus performante de Stable Diffusion. Le vaste contexte de Claude 2 change-t-il vraiment ce que le modèle peut faire ? Et quel rôle auront les modèles de langage open access et open source à mesure que les applications commerciales se développeront ?

Intelligence artificielle

• Diffusion stable XL est un nouveau modèle génératif qui étend les capacités de Stable Diffusion. Il promet des invites plus courtes et plus faciles ; la capacité de générer correctement du texte dans les images ; la possibilité de se former sur des données privées ; et bien sûr, une production de meilleure qualité. Essaye le clipdrop.
• OpenAI a classificateur OpenAI retiréun outil censé détecter le texte généré par l’IA, car il n’était pas assez précis.
• ChatGPT a ajouté une nouvelle fonctionnalité appelée «Instructions personnalisées.» Cette fonctionnalité permet aux utilisateurs de spécifier une invite initiale que ChatGPT traite avant toute autre invite générée par l’utilisateur ; il s’agit essentiellement d’une « invite système » personnelle. Quelque chose pour rendre l’injection rapide plus amusante.
• Qualcomm travaille avec Facebook/Meta pour exécuter LLaMA 2 sur les petits appareils comme les téléphones, permettant aux applications d’IA de s’exécuter localement. La distinction entre l’open source et les autres licences s’avérera bien moins importante que la taille de la machine sur laquelle tourne la cible.
• StabilityAI a publié deux nouveaux grands modèles de langage, FreeWilly1 et FreeWilly2. Ils sont basés respectivement sur LLaMA et LLaMA 2. Ils sont appelés Open Access (par opposition à Open Source) et revendiquent des performances similaires à GPT 3.5 pour certaines tâches.
• Arène des chatbots permettons les chatbots se battent avec l’un l’autre. Les utilisateurs saisissent des invites, qui sont envoyées à deux modèles linguistiques sans nom (choisis au hasard ?). Une fois les réponses générées, les utilisateurs peuvent déclarer un gagnant et découvrir quels modèles ont été en compétition.
• La capacité de GPT-4 à générer des réponses correctes aux problèmes peut avoir dégradé Au cours des derniers mois, sa capacité à résoudre des problèmes mathématiques et à générer du code Python correct semble en particulier avoir souffert. En revanche, il est plus robuste contre les attaques de jailbreak.
• Facebook/Meta a publié Lama 2. Bien qu’il y ait moins de restrictions sur son utilisation que les autres modèles, ce n’est pas le cas. Open source malgré les affirmations de Facebook.
• Chaîne automatique est une alternative légère et plus simple à Langchain. Il permet aux développeurs de créer des applications complexes sur de grands modèles de langage et bases de données.
• Elon Musk a annoncé sa nouvelle société d’IA, xAI. Reste à savoir si cela contribuera réellement à l’IA ou s’il s’agira d’un autre spectacle secondaire.
• Anthropique a annoncé Claude2, une nouvelle version de leur grand modèle de langage. Une interface de chat est disponible sur claude.ai, et l’accès à l’API est disponible. Claude 2 autorise des invites allant jusqu’à 100 000 jetons, beaucoup plus grandes que les autres LLM, et peut générer une sortie allant jusqu’à « quelques milliers de jetons » d’une longueur.
• fourche est un cadre qui aide les grands modèles de langage à faire un meilleur travail sur les tâches impliquant un raisonnement hiérarchique en plusieurs étapes et la résolution de problèmes.
• ingénieur d’invite gpt est un outil qui lit une description de la tâche que vous souhaitez qu’une IA effectue, ainsi qu’un certain nombre de cas de test. Il génère ensuite un grand nombre d’invites sur un sujet, teste les invites et évalue les résultats.
• LamaIndex est un cadre de données (parfois appelé « cadre d’orchestration ») pour les modèles de langage qui simplifient le processus d’indexation des données d’un utilisateur et l’utilisation de ces données pour créer des invites complexes pour les modèles de langage. Il peut être utilisé avec Langchain pour créer des applications d’IA complexes.
• OpenAI publie progressivement son Interpréteur de code, ce qui permettra à ChatGPT d’exécuter tout code qu’il crée, en utilisant les données fournies par l’utilisateur et en renvoyant la sortie à l’utilisateur. L’interpréteur de code réduit les hallucinations, les erreurs et les mauvais calculs.
• Les humains peuvent désormais battre l’IA au Go by trouver et exploiter les faiblesses du jeu du système d’IAincitant l’IA à commettre de graves erreurs.
• Place aux questions existentielles : une seule banane existe-t-elle ? Midjourney ne le pense pas. Sérieusement, c’est un excellent article sur la difficulté de concevoir des invites qui fournissent des résultats appropriés.
• Le Compagnie de téléphone Jolly Roger a développé des voicebots basés sur GPT-4 que vous pouvez embaucher pour répondre à votre téléphone lorsque des télévendeurs vous appellent. Si vous voulez écouter, les résultats peuvent être hilarants.
• Apache Spark dispose désormais d’un SDK anglais. Il va au-delà des outils comme CoPilot, vous permettant d’utiliser l’anglais directement lors de l’écriture de code.
• Les humains peuvent être plus susceptibles de croire la désinformation générée par l’IA, peut-être parce que le texte généré par l’IA est mieux structuré que la plupart des textes humains. Ou peut-être parce que les IA sont très douées pour convaincre.
• OuvrirOrca est encore un autre modèle de langage et ensemble de données open source basés sur LLaMA. Son objectif est de reproduire les données de formation pour les applications Microsoft Orque, qui a été formé à l’aide d’invites de chaîne de pensée et de réponses de GPT-4. L’affirmation des deux modèles Orca est qu’ils peuvent reproduire les processus de « raisonnement » de GPT-4.
• À son sommet des développeurs, Snowflake a annoncé Document AI : requêtes en langage naturel de collections de documents non structurés. Ce produit est basé sur leur propre grand modèle de langage, et non sur un fournisseur d’IA.

La programmation

• « Ça marche sur ma machine » est devenu « Cela fonctionne dans mon conteneur» : Cet article contient de bonnes suggestions sur la façon d’éviter un problème qui tourmente les utilisateurs d’ordinateurs depuis des décennies.
• StackOverflow intègre l’IA dans ses produits. StackOverflow pour Teams dispose désormais d’un chatbot pour aider à résoudre des problèmes techniques, ainsi qu’un nouveau GenAI StackExchange pour discuter de l’IA générative, de la rédaction rapide et des questions connexes.
• Ce n’est pas une nouveauté que GitHub puisse divulguer des clés privées et des secrets d’authentification. Mais une étude des conteneurs disponibles sur DockerHub montre que Les conteneurs Docker divulguent également des clés et des secretset bon nombre de ces clés sont activement utilisées.
• Prison de pompiers est un outil Linux capable d’exécuter n’importe quel processus dans un bac à sable privé et sécurisé.
• Complexe et compliqué: quelle est la différence? Cela a à voir avec l’information, et il est important de le comprendre à l’ère des « systèmes complexes ». Premier d’une série.
• npm-manifest-vérification est un outil qui chèques le contenu d’un package dans NPM par rapport au manifeste du package. C’est une solution partielle au problème des packages malveillants dans NPM.
• Facebook a décrit son plateforme de développement de logiciels, dont une grande partie est en open source. Peu de développeurs doivent travailler sur des projets logiciels d’une telle envergure, mais leurs outils (qui incluent des frameworks de test, un contrôle de version et un système de build) méritent d’être étudiés.
• Polyrythmie est un programme en ligne de commande permettant de générer des parties de batterie polyrythmiques. Aucune IA impliquée.
• « » de Philippe GuoProgrammation du monde réel avec ChatGPT» montre ce que signifie utiliser ChatGPT pour effectuer une véritable tâche de programmation : ce qui fonctionne bien, ce qui ne fonctionne pas.

Sécurité

• Un groupe de recherche a trouvé un moyen de générer automatiquement des chaînes d’attaque qui obligent les grands modèles de langage à générer du contenu préjudiciable. Ces attaques fonctionnent à la fois contre les modèles open source et fermés. Il n’est pas clair que les fournisseurs d’IA puissent s’en défendre.
• Le syndicat de cybercriminalité Lazarus Group gère un attaque d’ingénierie sociale contre les développeurs de crypto-monnaie JavaScript. Les développeurs sont invités à collaborer sur un projet Github qui dépend de packages NPM malveillants.
• Les modèles linguistiques sont la prochaine grande nouveauté en matière de cybercriminalité. Un grand modèle de langage appelé VerGPT a été développé pour être utilisé par les cybercriminels. Il est basé sur GPT-J. WormGPT est disponible sur le dark web avec des milliers d’informations d’identification ChatGPT volées.
• Selon les recherches du MITRE, écriture hors limites sont parmi les bugs de sécurité les plus dangereux. Ils sont également les plus courants et figurent systématiquement en tête de liste. Une solution simple au problème consiste à utiliser Rust.

la toile

• Un autre framework web ? Améliorer prétend être HTML d’abord, avec JavaScript uniquement si vous en avez besoin. La réalité n’est peut-être pas aussi simple, mais elle témoigne au moins d’un mécontentement croissant à l’égard des applications Web complexes et volumineuses.
• Un autre nouveau navigateur ? Arc repense l’expérience de navigation avec la possibilité de basculer entre les groupes d’onglets et de personnaliser des sites Web individuels.
• HTML fournit un moyen d’utiliser les attributs HTML pour créer de nombreuses fonctionnalités avancées de page Web, notamment les WebSockets et ce que nous appelions Ajax. Toute la complexité semble être regroupée dans une seule bibliothèque JavaScript.
• Il y a un cabinet d’avocats dans le métaverse, avec une toute nouvelle association du barreau Metaverse. C’est un bon endroit pour les réunions, même si les avocats ne peuvent pas être autorisés à exercer dans le Metaverse.
• La Cour de Justice européenne (CJUE) a statué que L’approche de Meta en matière de conformité au RGPD est illégale. Meta ne peut pas utiliser les données à des fins autres que les fonctionnalités de base sans consentement explicite et libre ; le consentement caché dans le document des conditions d’utilisation ne suffit pas.

Crypto-monnaie

• Google a mis à jour son politique sur les applications Android pour permettre aux applications de fournir des actifs basés sur la blockchain tels que les NFT.
• ChatGPT peut être programmé pour envoyer des paiements Bitcoin. Comme le souligne le premier intervenant, il s’agit d’une application assez simple de Langchain. Mais c’est quelque chose qui allait certainement arriver. Mais cela soulève la question suivante : quand aurons-nous un arbitrage de crypto-monnaie basé sur GPT ?

La biologie

• Google a développé Med-PaLM M, une tentative de construction d’une IA multimodale « généraliste » formée pour des applications biomédicales. Med-PaLM M est encore un projet de recherche, mais pourrait représenter un pas en avant dans l’application de grands modèles de langage à la médecine.

Matériaux

• Supraconducteurs à pression ambiante à température ambiante: Cette affirmation a suscité beaucoup de scepticisme, mais comme toujours, il est préférable d’attendre qu’une autre équipe réussisse ou échoue à reproduire les résultats. Si ces recherches tiennent le coup, c’est un grand pas en avant.

Apprenez plus vite. Creusez plus profondément. Voir plus loin.