Comment générer une image avec la voix sans te ruiner ?

La Batcave #5

Le batsignal est dans le ciel, merci d’être venu 🦇 !

Nous avons dépassé la barre des 100 inscrits depuis la dernière fois 🥳

🔶 Le cas d’usage d’aujourd’hui :
”Générer une image avec l’IA à partir d’un vocal”

🔶 Pourquoi ?
Tout le monde peut générer des images avec l'IA.

Encore faut-il savoir comment le dire, car "demander" à une IA, c'est un art.
Ou au moins une forme d'ingénierie.

Les gens n’ont pas forcément l’envie, ni le temps d’apprendre à maîtriser cet art.

Ils veulent simplement l’utiliser.

🔶 Objectif ?
Faciliter l’utilisation de ces IA génératives.

Le sommaire :

1. Je te montre ce qu’il y a sous le capot.
2. Comment tu peux en tirer parti.
3. Ô geek, elle est pour toi celle-ci !
4. L’article que je te conseille.

Rentrons dans le vif du sujet ! 👇

---

1. Je te montre ce qu’il y a sous le capot !

Présentation du résultat en vidéo :

Je te présente le résultat du prototype.
(La vidéo est courte : 20s)

Tu veux tester ? C’est par là 👉 Le Bot Telegram

Schéma

1 techno = 1 brique Lego
Et je te montre comment elles s’intègrent entre elles :

Le choix des briques techno.

1️⃣ J’ai décidé de partir sur un bot de messagerie, un chatbot.

Pourquoi ? Car l’application est déjà installée par l’utilisateur.

Il a l’habitude de l’utiliser quotidiennement, donc moins de friction.


2️⃣ Mon choix s’est tout de suite porté sur Telegram.

La raison est très pragmatique, c’est super facile de faire un bot sur ce canal.
Ça prend 2 minutes. Et beaucoup de gens sont sur Telegram.

Par la suite, rien n’empêche de faire le même bot sur Whatsapp, Messenger ou autre.


3️⃣ Pour la transcription du vocal, j’ai choisi de passer par Whisper.

C’est l’une des dernières IA de OpenAI qui permet de faire la transcription d’un audio.

Et même de traduire en anglais, en option.

Je trouve les résultats très bons. Et comme les IA génératives ne comprennent que l’anglais, utiliser Whisper me permet de faire 2 tâches en une : transcrire et traduire.

Cerise sur le gâteau, elle est open source et peu gourmande en stockage. Donc si t’es un geek, tu peux la faire tourner le modèle directement chez toi ! 🤩


4️⃣ Concernant l’IA générative, c’est Stable Diffusion.

Tu le sais peut-être, mais générer une image a un coût.

Comme je suis auvergnat, je ne voulais pas que ça me coûte trop cher 🤪.

Donc j’ai feinté, je n’utilise pas directement Sable Diffusion mais Lexica.

Lexica est un moteur de recherche sur des images générées par Stable Diffusion. L’app est gratuite et ils ont une API très facile à utiliser.


5️⃣ Il faut relier ces briques entre elles. J’ai choisi ce bon vieux Make.

Make est un outil d’automatisation qui sert de “glue” entre des produits informatiques.

Cela me permet d’avoir très vite un prototype en production.

Il n’est pas toujours possible d’utiliser Make, mais quand ça l’est, “la question elle est vite répondue” 😅.

---

2. Comment tu peux en tirer parti.

Je ne vais pas te dire ce qu’il est possible de faire de ces IA génératives.
Il y a déjà beaucoup d’articles sur ce sujet.

Je vais plutôt de donner une façon de penser pour détecter des opportunités business dans la Tech.

C’est ce que j’utilise et je vois des opportunités partout 😮.

➡️ Trouve une technologie très technique, pas ou peu démocratisée et difficile d’accès.
➡️ Crée les outils pour faciliter l’usage de cette techno.
➡️ Deviens le faiseur de pioches qui permettra à tes clients d’aller chercher de l’or grâce à toi.

Il faut quand même que cette techno réponde à de vrais cas d’usage !
RIP Métavers, même si en tant que geek, j’adore le concept.

Et non tu ne dois pas forcément être développeur.
Il te suffit d’avoir une vision tech comme celle que je te partage ici 😉.

Dans le cas des IA génératives, pose-toi cette question :
comment les rendre encore plus faciles d’accès ?
=> Dans une logique de plus grand nombre.
=> Ou une logique de spécialisation métier : architecte, décorateur, styliste, jeux vidéos, …

---

3. Ô geek, elle est pour toi celle-ci !

🔵 Comment Lexica fait-il pour indexer toutes ces images ?

Voici la réponse d’un des développeurs sur leur Discord :
“We compute CLIP embeddings for all the images and then do a KNN search to show the most similar images”
"Nous calculons le “CLIP embeddings” pour toutes les images et faisons ensuite une recherche KNN pour montrer les images les plus similaires"

Tu peux trouver des infos sur CLIP ici.

C’est un modèle qui génère la description d’une image.

Il est une des briques fondamentales de toutes les IA génératives aujourd’hui.

Pour faire simple, le “CLIP embeddings”, c’est les coordonnées internes au modèle qui lui permet de savoir si une image d’un chien est plus proche du mot “chien” ou du mot “chat”.

La technique utilisée par Lexica revient souvent et elle fonctionne très bien.


🔵 Tu peux jouer avec Whisper sur HuggingFace.

Enfin, je t’invite vraiment à lire l’introduction du papier ici.
C’est très intéressant.

---

4. L’article que je te conseille :

🟢 J’ai lu une très bonne analyse sur les IA génératives d’images.

L’auteur est Sami, de la newsletter Smartr.

D’ailleurs, sa newsletter est un très bon complément de La Batcave pour ne rien rater sur l’actualité Tech.

L’article 👉 Le vrai problème avec l’IA n’est pas celui auquel vous pensez

---

Le mot de la fin

Cette édition t’a plu ? Alors partage-la ! 👇

Sinon, un like ou un message fait toujours plaisir pour me montrer que tu as apprécié et m’encourager à continuer.

L’indice pour le prochain prototype :
Un bot Telegram pour t’aider dans un pays étranger.

On se retrouve dans 2 semaines !

Prends soin de toi,
Vincent 🦇