Comment contrôler Stream Deck à l'aide de l'IA

La version 7.4 de Stream Deck ouvre pour la première fois la plateforme aux assistants IA. Grâce à la prise en charge du protocole MCP, les outils IA peuvent désormais se connecter à Stream Deck et déclencher vos actions, que ce soit par la voix, par SMS ou même lors d'événements en direct.

NVIDIA G-Assist est le premier à s'intégrer, apportant ainsi la commande vocale à Stream Deck. Dites « prépare mon stream » et il combine vos actions pour lancer OBS, allumer vos lumières, démarrer votre musique et configurer votre scène, le tout sans les mains. Aitum, une plateforme d'automatisation populaire auprès des streamers, s'intègre également, permettant à des événements en direct tels que les raids et les abonnements de déclencher automatiquement des actions Stream Deck. Et comme MCP est un standard ouvert, d'autres outils sont en préparation.

Vous continuez à configurer vos actions dans l'application Stream Deck comme vous l'avez toujours fait. MCP offre de nouvelles façons de les activer. Ce guide vous explique ce qu'est MCP, comment le configurer et comment commencer à l'utiliser.

MCP signifie « Model Context Protocol ». Il s'agit d'une norme ouverte qui offre aux outils d'IA un moyen commun de se connecter à des applications et à des services.

C'est un peu comme l'USB. Avant l'USB, chaque appareil nécessitait son propre type de câble et de connecteur. L'USB a permis de créer une norme unique compatible avec tous les appareils. Le MCP fait la même chose pour les outils d'IA. Au lieu que chaque assistant IA ait besoin d'une connexion spécifique pour chaque application, le MCP leur offre un moyen commun de communiquer.

Avec Stream Deck 7.4, Stream Deck vient s'ajouter à cette liste. L'IA fournit les données d'entrée. Stream Deck exécute les actions.

Le MCP est particulièrement utile lorsque vous souhaitez enchaîner plusieurs actions ou garder les mains libres.

Avec NVIDIA G-Assist, votre voix devient votre commande. Dites « prépare mon stream » et G-Assist peut coordonner vos actions pour ouvrir OBS, configurer votre scène, allumer vos lumières et lancer votre musique. Dites « termine le stream » et il exécute votre séquence d'arrêt. Vos mains ne quittent jamais le clavier et la souris, et vous n'avez jamais besoin de détourner le regard de ce que vous êtes en train de faire.

Avec Aitum, ce sont les événements en direct sur votre stream qui déclenchent les actions à votre place. Un raid arrive et vos actions se combinent pour changer de scène, tamiser les lumières et diffuser un son de bienvenue. L'échange de points de canal active un effet vocal. Un abonnement déclenche une mention sur Discord. Ces flux de travail s'exécutent en temps réel sans que vous ayez à intervenir.

MCP étant un standard ouvert, les outils d'IA textuels tels que Claude Desktop et ChatGPT peuvent également s'y connecter et déclencher vos actions. Vous trouverez plus d'informations sur leur configuration plus loin dans ce guide.

Plus vous ajoutez d'actions à Stream Deck, plus les outils d'IA connectés auront de possibilités de les combiner et de les exploiter.

La configuration comprend trois parties :

1. Activez MCP dans l'application Stream Deck et sélectionnez les actions auxquelles vous souhaitez que votre IA ait accès. Celles-ci sont regroupées dans un profil dédié appelé « MCP Actions ».
2. Vous installez un petit programme appelé Elgato MCP Server sur votre ordinateur. C'est lui qui relie votre outil d'IA à l'application Stream Deck.
3. Indiquez à votre outil d'IA où se trouve le serveur Elgato MCP.

Une fois que tout est connecté, vous pouvez saisir ou prononcer des commandes, et votre outil d'IA déclenchera l'action correspondante sur le Stream Deck. Passons-les en revue une par une.

1. Ouvrez l'application Stream Deck.
2. Allez dans « Préférences » et sélectionnez l'onglet « Général ».
3. Dans la section « Intégration MCP d'Elgato », cochez la case « Activer les actions MCP ».

Cela crée un profil dédié appelé « MCP Actions », que vous trouverez dans le menu déroulant des profils en haut de l'application Stream Deck.

Faites glisser les actions depuis le panneau d'actions situé à droite vers les touches correspondantes, comme vous le feriez pour n'importe quel autre profil. Toute action que vous placez ici devient accessible aux outils IA connectés. Les actions de vos autres profils restent privées, ce qui vous permet de contrôler précisément ce à quoi l'IA a accès.

Pensez aux actions que vous effectuez tout au long de votre flux de travail : lancer des applications, changer de scène, contrôler l'éclairage, régler le son, diffuser de la musique. Plus vous en ajoutez au profil d'actions MCP, plus votre outil d'IA sera en mesure de les combiner pour créer des flux de travail automatisés.

Chaque action du profil « MCP Actions » comporte un champ de description qui indique à l'IA en quoi consiste l'action et quand l'utiliser. Il s'agit là d'un des éléments les plus importants de la configuration, car c'est ainsi que l'IA détermine quelle action déclencher lorsque vous effectuez une requête.

Pour ajouter une description, sélectionnez une action et cliquez sur l'icône IA dans les paramètres de l'action, en bas de l'écran. Rédigez ensuite une description claire et concise.

Chaque action du profil « MCP Actions » comporte un champ de description qui indique à l'IA en quoi consiste l'action et quand l'utiliser. Il s'agit là d'un des éléments les plus importants de la configuration, car c'est ainsi que l'IA détermine quelles actions combiner lorsque vous effectuez une requête.

Pour ajouter une description, sélectionnez une action, puis cliquez sur l'icône IA dans les paramètres de l'action, en bas de l'écran. Rédigez ensuite une description claire et concise.

Une bonne description indique à l'IA en quoi consiste l'action et dans quelles circonstances elle est pertinente. Par exemple, si vous ajoutez des actions spécifiques pour OBS, Key Light et Spotify, vous pourriez les décrire ainsi :

• « Cela ouvre OBS Studio. Utilisez cette option lorsque vous vous préparez à diffuser ou à enregistrer. »
• « Cela allume ma lampe Elgato Key Light. Utilisez-la lorsque vous vous préparez à diffuser, à enregistrer ou à passer devant la caméra. »
• « Cela ouvre Spotify. Utilisez cette fonction lorsque vous passez en direct ou que vous lancez un streaming. »

Avec des descriptions comme celles-ci, il suffit de dire « prépare mon stream ». L'IA lit toutes vos descriptions, constate qu'OBS, Key Light et Spotify sont tous concernés, et les lance simultanément. Vous n'avez pas eu besoin de configurer cette combinaison au préalable. L'IA l'a déduite à partir des descriptions.

C'est ce qui distingue MCP d'une simple pression sur une touche. Vous configurez chaque action une seule fois et définissez son utilité. L'IA gère les combinaisons en fonction de ce que vous demandez ; ainsi, un même ensemble d'actions peut être combiné de différentes manières sans que vous ayez à modifier quoi que ce soit.

Avant de connecter un outil d'IA, vous devez avoir installé Node.js sur votre ordinateur. Node.js est un outil gratuit et très répandu qui fait fonctionner de nombreuses applications et services en arrière-plan. Elgato MCP Server s'exécute sur cette plateforme, et les procédures d'installation de G-Assist et de Claude Desktop l'exigent toutes deux.

Si vous ne l'avez pas encore, téléchargez-le et installez-le depuis nodejs.org. Choisissez la version LTS (support à long terme). Le programme d'installation fonctionne comme n'importe quelle autre application. Lancez-le, suivez les instructions, et le tour est joué. Vous n'avez rien à configurer ni à apprendre pour l'utiliser.

Elgato MCP Server permet de connecter votre outil d'IA à l'application Stream Deck. Pour l'installer, ouvrez un terminal (Terminal sous macOS, PowerShell sous Windows) et exécutez la commande suivante :

npm install -g @elgato/mcp-server

Cela l'installe de manière permanente sur votre ordinateur afin qu'il soit prêt à être utilisé dès que vous en avez besoin.

Si vous souhaitez simplement tester le système dans un premier temps, vous pouvez ignorer cette étape. Les instructions d'installation ci-dessous utilisent npx, qui télécharge et exécute temporairement Elgato MCP Server sans rien installer. Cela fonctionne de la même manière, mais le logiciel est téléchargé à chaque fois que vous le lancez.

Pour plus d'options et de détails, rendez-vous sur la page du serveur Elgato MCP sur npm.

G-Assist permet de contrôler le Stream Deck à la voix. Une fois connecté, vous pouvez déclencher et combiner des actions de votre profil MCP Actions simplement en parlant.

Lancer Elgato MCP Server

1) Ouvrez un terminal sur votre ordinateur (PowerShell sous Windows).

2) Exécutez la commande suivante :

npx -y @elgato/mcp-server@latest --http

3) Laissez cette fenêtre ouverte. Vous devriez voir un message indiquant que le serveur HTTP est à l'écoute sur le port 9090 et que l'application Stream Deck est connectée.

Le serveur doit rester en marche en arrière-plan pendant que vous utilisez G-Assist. Si vous fermez la fenêtre du terminal, la connexion sera interrompue.

Installez le plugin pour G-Assist

G-Assist utilise un plugin pour communiquer avec Elgato MCP Server. Placez le dossier du plugin Stream Deck dans le répertoire des plugins de G-Assist :

%PROGRAMDATA%\NVIDIA Corporation\nvtopps\rise\plugins

Redémarrez ensuite G-Assist ou actualisez les plugins. Lors du premier chargement, le plugin détecte automatiquement les actions Stream Deck disponibles.

Vérifiez la connexion

Vous pouvez vérifier que le serveur Elgato MCP est en cours d'exécution en ouvrant un navigateur et en vous rendant à l'adresse suivante :

http://localhost:9090/health

Si le serveur est en cours d'exécution et connecté à l'application Stream Deck, vous verrez s'afficher une réponse d'état.

Si vous utilisez Claude Desktop ou un autre outil d'IA textuel, vous pouvez également le connecter à Stream Deck via MCP. Les étapes ci-dessous concernent spécifiquement Claude Desktop.

Modifier le fichier de configuration

Claude Desktop enregistre ses connexions MCP dans un fichier de configuration. Vous devez ajouter Elgato MCP Server à ce fichier afin que Claude sache où le trouver.

1. Ouvrez Claude Desktop.
2. Allez dans « Paramètres », puis dans « Développeur », puis cliquez sur « Modifier la configuration ». Cela ouvre le dossier dans lequel se trouve le fichier de configuration.
3. Recherchez le fichier claude_desktop_config.json dans ce dossier. Faites un clic droit dessus et ouvrez-le avec un éditeur de texte (Bloc-notes sous Windows, TextEdit sous macOS).
4. Le fichier contient déjà du contenu. Vous devez ajouter une entrée « mcpServers » au sein de la structure existante, et non sous forme de bloc distinct en dessous.

Repérez le dernier } qui clôt une section existante. Ajoutez une virgule après celui-ci, puis insérez la section mcpServers avant le dernier } de fermeture.

Voici à quoi ressemble un fichier type après modification :

Tout doit être contenu entre une seule paire d'accolades `{ }`, avec une virgule entre chaque section. Si le bloc `mcpServers` est collé en tant qu'objet distinct sous le contenu existant, Claude Desktop affichera une erreur au démarrage.

Si le fichier est vide ou ne contient que `{}`, vous pouvez remplacer tout son contenu par :

5. Enregistrez le fichier et quittez complètement Claude Desktop (ne vous contentez pas de fermer la fenêtre). Sous macOS, cliquez avec le bouton droit de la souris sur l'icône du Dock et sélectionnez « Quitter ».

Vérifiez la connexion

Pour vérifier que tout fonctionne correctement, rendez-vous dans « Paramètres », puis dans « Développeur ». Dans la section « Serveurs MCP locaux », vous devriez voir « Elgato » apparaître avec une icône verte indiquant qu'il est en cours d'exécution.

Si l'application n'apparaît pas ou ne semble pas fonctionner, vérifiez que l'application Stream Deck est bien ouverte et que les actions MCP sont activées, et assurez-vous que le fichier de configuration a bien été enregistré. Quittez ensuite complètement Claude Desktop, puis relancez-le.

Si l'application n'apparaît pas ou ne semble pas être en cours d'exécution, vérifiez que l'application Stream Deck est bien ouverte et que les actions MCP sont activées, et assurez-vous que le fichier de configuration a été correctement enregistré. Quittez ensuite complètement Claude Desktop, puis relancez-le.

NVIDIA G-Assist et Claude Desktop sont parmi les premiers à s'y connecter, mais comme MCP est un standard ouvert, tout outil compatible peut s'y intégrer de la même manière. Chacun bénéficie de l'ensemble de l'écosystème de Stream Deck, comprenant les intégrations, les plugins et les flux de travail.

Pour obtenir tous les détails relatifs à l'installation, découvrir d'autres méthodes de connexion et accéder aux options de configuration avancées, rendez-vous sur la page du serveur Elgato MCP sur npm.

Commande vocale avec G-Assist

Une fois G-Assist connecté, votre voix devient votre moyen de commande. Son véritable intérêt réside dans la possibilité d'effectuer des actions en mode mains libres tout en restant concentré sur autre chose.

Dites « Prépare mon stream » en plein milieu d'une partie, et G-Assist se charge de tout : OBS se lance, votre scène est configurée, vos lumières s'allument et votre application musicale démarre. Toute votre routine de configuration est ainsi gérée par la voix, tandis que vos mains restent sur le clavier et la souris.

Workflows pilotés par les événements avec Aitum

Aitum va encore plus loin en vous retirant complètement du processus. Au lieu que ce soit vous qui donniez une commande, les événements de votre flux combinent automatiquement vos actions.

Une alerte est déclenchée et plusieurs actions se déclenchent simultanément : les scènes changent, les lumières s'atténuent et un message d'accueil retentit. Un abonné déclenche une séquence d'alerte spéciale. L'échange de points de chaîne active un effet sonore. Ces processus se déroulent en temps réel, sans que vous ayez à appuyer sur une touche ou à prononcer un mot.

Outils d'IA textuels

Si vous utilisez Claude Desktop, ChatGPT ou un autre outil textuel, vous pouvez saisir vos requêtes de la même manière. Commencez la conversation par « Quelles actions Stream Deck puis-je utiliser ? » pour vérifier que la connexion fonctionne, puis saisissez ce dont vous avez besoin.

Si une action ne se déclenche pas, vérifiez les points suivants :

1. L'application Stream Deck est en cours d'exécution et l'option « Activer les actions MCP » est cochée dans les Préférences.
2. L'action se trouve dans le profil « MCP Actions », et non dans un autre profil.
3. Votre outil d'IA est connecté au serveur Elgato MCP. Pour G-Assist, vérifiez que la fenêtre de terminal exécutant le serveur est toujours ouverte et indique une connexion à Stream Deck. Dans Claude Desktop, accédez à Paramètres, puis à Développeur, et vérifiez que « elgato » apparaît dans la liste des serveurs MCP locaux, accompagné d'une icône verte indiquant qu'il est en cours d'exécution.

La prise en charge de MCP dans Stream Deck 7.4 constitue une première étape vers une connectivité IA plus poussée. G-Assist et Aitum sont les premiers à s'y connecter, mais comme MCP est un standard ouvert, ils ne seront pas les derniers. L'IA fournit les données d'entrée. Stream Deck exécute les actions. Et à mesure que de nouveaux outils s'y connectent, les possibilités ne cessent de s'étendre.

Plus vous configurez d'actions dans Stream Deck, plus les outils IA connectés pourront en tirer parti. Découvrez les plugins disponibles sur Elgato Marketplace pour élargir vos possibilités.