Hoe bedien je Stream Deck met AI?

Met Stream Deck 7.4 wordt Stream Deck voor het eerst toegankelijk voor AI-assistenten. Dankzij MCP-ondersteuning kunnen AI-tools nu verbinding maken met Stream Deck en je acties activeren, of dat nu via spraak, tekst of zelfs live-evenementen gebeurt.

NVIDIA G-Assist is de eerste die verbinding maakt en spraakbesturing naar Stream Deck brengt. Zeg "zet mijn stream klaar" en het combineert je acties om OBS te starten, je verlichting aan te zetten, je muziek te starten en je scène in te stellen, allemaal handsfree. Aitum, een populair automatiseringsplatform voor streamers, wordt ook geïntegreerd, waardoor live-evenementen zoals raids en abonnementen automatisch Stream Deck-acties kunnen activeren. En omdat MCP een open standaard is, zijn er nog meer tools op komst.

Je stelt acties in de Stream Deck-app nog steeds op dezelfde manier in als altijd. MCP biedt nieuwe manieren om ze te activeren. In deze handleiding wordt uitgelegd wat MCP is, hoe je het instelt en hoe je ermee aan de slag kunt gaan.

MCP staat voor Model Context Protocol. Het is een open standaard die AI-tools een gemeenschappelijke manier biedt om verbinding te maken met apps en diensten.

Zie het als USB. Vóór de komst van USB had elk apparaat zijn eigen soort kabel en stekker nodig. USB heeft één standaard gecreëerd die overal mee werkt. MCP doet hetzelfde voor AI-tools. In plaats van dat elke AI-assistent een aparte verbinding met elke app nodig heeft, biedt MCP een gemeenschappelijke manier om te communiceren.

Met Stream Deck 7.4 voegt Stream Deck zich bij die lijst. De AI zorgt voor de input. Stream Deck zorgt voor de acties.

MCP komt het best tot zijn recht wanneer je acties wilt combineren of je handen vrij wilt houden.

Met NVIDIA G-Assistwordt je stem de invoer. Zeg "zet mijn stream klaar" en G-Assist kan je acties combineren om OBS te openen, je scène in te stellen, je lampen aan te doen en je muziek te starten. Zeg "beëindig de stream" en het voert je afsluitprocedure uit. Je handen blijven op het toetsenbord en de muis, en je hoeft je blik nooit af te wenden van wat je aan het doen bent.

Met Aitumzorgen live-evenementen op je stream voor de activering, in plaats van dat jij dat moet doen. Er komt een raid binnen en je acties zorgen samen voor een scènewisseling, dimmen de lichten en spelen een welkomstgeluid af. Het inwisselen van kanaalpunten activeert een stemeffect. Een abonnement zet een shoutout in Discord in gang. Deze workflows draaien in realtime zonder dat je iets hoeft te doen.

Omdat MCP een open standaard is, kunnen ook op tekst gebaseerde AI-tools zoals Claude Desktop en ChatGPT verbinding maken en acties van je in gang zetten. Verderop in deze handleiding lees je meer over hoe je deze kunt instellen.

Hoe meer acties je aan Stream Deck toevoegt, hoe meer een gekoppelde AI-tool daarmee kan combineren en werken.

De opstelling bestaat uit drie delen:

1. Schakel MCP in de Stream Deck-app in en kies welke acties je AI moet kunnen uitvoeren. Deze worden ondergebracht in een speciaal profiel met de naam MCP-acties.
2. Je installeert een klein programmaatje, de Elgato MCP Server, op je computer. Dit zorgt ervoor dat je AI-tool verbinding maakt met de Stream Deck-app.
3. Geef je AI-tool aan waar de Elgato MCP Server te vinden is.

Zodra alles is gekoppeld, kun je verzoeken typen of inspreken, waarna je AI-tool de bijbehorende Stream Deck-actie activeert. Laten we ze een voor een doornemen.

1. Open de Stream Deck-app.
2. Ga naar Voorkeuren en selecteer het tabblad Algemeen.
3. Vink onder ‘Elgato MCP-integratie’ het vakje ‘MCP-acties inschakelen’ aan.

Hierdoor wordt een speciaal profiel aangemaakt met de naam MCP Actions, dat je kunt vinden in het profielmenu bovenaan de Stream Deck-app.

Sleep acties vanuit het actiepaneel aan de rechterkant naar de knoppen, net zoals je bij elk ander profiel zou doen. Elke actie die je hier plaatst, wordt beschikbaar voor gekoppelde AI-tools. Acties in je andere profielen blijven privé, zodat je precies bepaalt waartoe de AI toegang heeft.

Denk eens na over de handelingen die je tijdens je workflow uitvoert: apps starten, van scène wisselen, verlichting regelen, geluid aanpassen, muziek afspelen. Hoe meer van deze handelingen je toevoegt aan het MCP Actions-profiel, hoe beter je AI-tool ze kan combineren tot handsfree workflows.

Elke actie in het MCP Actions-profiel heeft een beschrijvingsveld waarin aan de AI wordt uitgelegd wat de actie doet en wanneer deze moet worden gebruikt. Dit is een van de belangrijkste onderdelen van de configuratie, omdat de AI hieraan afleest welke actie moet worden geactiveerd wanneer je een verzoek indient.

Om een beschrijving toe te voegen, selecteer je een actie en klik je op het AI-pictogram in de actie-instellingen onderaan het scherm. Schrijf vervolgens een duidelijke, eenvoudige beschrijving.

Elke actie in het MCP Actions-profiel heeft een beschrijvingsveld waarin aan de AI wordt uitgelegd wat de actie doet en wanneer deze moet worden gebruikt. Dit is een van de belangrijkste onderdelen van de configuratie, omdat de AI hieraan de hand heeft om te bepalen welke acties moeten worden gecombineerd wanneer je een verzoek indient.

Om een beschrijving toe te voegen, selecteer je een actie en klik je op het AI-pictogram in de actie-instellingen onderaan het scherm. Schrijf vervolgens een duidelijke, eenvoudige beschrijving.

Een goede beschrijving vertelt de AI wat de actie doet en wanneer deze van toepassing is. Als je bijvoorbeeld afzonderlijke acties toevoegt voor OBS, Key Light en Spotify, zou je ze als volgt kunnen omschrijven:

• "Hiermee wordt OBS Studio geopend. Gebruik dit programma wanneer je je voorbereidt op een stream of opname."
• "Hiermee schakel je mijn Elgato Key Light in. Gebruik dit wanneer je je klaarmaakt om te streamen, op te nemen of voor de camera te verschijnen."
• "Hiermee open je Spotify. Gebruik deze knop wanneer je live gaat of een stream start."

Met dit soort beschrijvingen volstaat het om te zeggen: "Maak mijn stream klaar." De AI leest al je beschrijvingen, ziet dat OBS, Key Light en Spotify allemaal van toepassing zijn, en start ze allemaal tegelijk op. Je hoefde die combinatie niet van tevoren in te stellen. De AI heeft het zelf afgeleid uit de beschrijvingen.

Dit is wat MCP onderscheidt van het indrukken van één enkele toets. Je stelt de afzonderlijke acties één keer in en geeft aan waarvoor ze dienen. De AI zorgt voor de combinaties op basis van wat je vraagt, zodat dezelfde reeks acties op verschillende manieren kan worden gecombineerd zonder dat je iets opnieuw hoeft in te stellen.

Voordat je een AI-tool kunt aansluiten, moet Node.js op je computer zijn geïnstalleerd. Node.js is een gratis, veelgebruikte tool die achter de schermen tal van apps en diensten aanstuurt. De Elgato MCP Server draait hierop, en zowel de installatieprocedure voor G-Assist als die voor Claude Desktop vereist deze tool.

Als je het nog niet hebt, download en installeer het dan via nodejs.org. Kies de LTS-versie (Long Term Support). Het installatieprogramma werkt net als elke andere app. Start het op, volg de instructies en je bent klaar. Je hoeft niets te configureren of te leren hoe je het moet gebruiken.

De Elgato MCP Server zorgt ervoor dat je AI-tool verbinding maakt met de Stream Deck-app. Om deze te installeren, open je een terminal (Terminal op macOS, PowerShell op Windows) en voer je het volgende uit:

npm install -g @elgato/mcp-server

Hiermee wordt het programma definitief op je computer geïnstalleerd, zodat het altijd klaar is voor gebruik wanneer je het nodig hebt.

Als je het eerst even wilt uitproberen, kun je deze stap overslaan. In de onderstaande installatie-instructies wordt gebruikgemaakt van npx, waarmee de Elgato MCP Server tijdelijk wordt gedownload en uitgevoerd zonder dat er iets wordt geïnstalleerd. Het werkt op dezelfde manier, maar wordt elke keer dat je het start opnieuw gedownload.

Ga voor meer opties en informatie naar de Elgato MCP Server-pagina op npm.

G-Assist maakt spraakbesturing mogelijk op Stream Deck. Zodra de verbinding tot stand is gebracht, kun je acties in je MCP Actions-profiel activeren en combineren door simpelweg te spreken.

Start Elgato MCP Server

1) Open een terminal op je computer (PowerShell in Windows).

2) Voer de volgende opdracht uit:

npx -y @elgato/mcp-server@latest --http

3) Laat dit venster openstaan. Je zou een bericht moeten zien dat de HTTP-server luistert op poort 9090 en dat de Stream Deck-app is verbonden.

De server moet op de achtergrond blijven draaien terwijl u G-Assist gebruikt. Als u het terminalvenster sluit, wordt de verbinding verbroken.

Installeer de plug-in voor G-Assist

G-Assist maakt gebruik van een plug-in om te communiceren met de Elgato MCP Server. Plaats de map met de Stream Deck-plug-ins in de map met plug-ins van G-Assist:

%PROGRAMDATA%\NVIDIA Corporation\nvtopps\rise\plugins

Start G-Assist vervolgens opnieuw op of laad de plug-ins opnieuw. Bij het eerste laden detecteert de plug-in automatisch de beschikbare Stream Deck-acties.

Controleer de verbinding

Je kunt controleren of de Elgato MCP Server actief is door een browser te openen en naar het volgende adres te gaan:

http://localhost:9090/health

Als de server actief is en verbonden is met de Stream Deck-app, krijg je een statusmelding te zien.

Als je Claude Desktop of een andere op tekst gebaseerde AI-tool gebruikt, kun je deze ook via MCP aan Stream Deck koppelen. In de onderstaande stappen wordt specifiek de werkwijze voor Claude Desktop beschreven.

Het configuratiebestand bewerken

Claude Desktop slaat zijn MCP-verbindingen op in een configuratiebestand. Je moet Elgato MCP Server aan dit bestand toevoegen, zodat Claude weet waar het te vinden is.

1. Open Claude Desktop.
2. Ga naar Instellingen, vervolgens naar Ontwikkelaar en klik dan op Configuratie bewerken. Hierdoor wordt de map geopend waarin het configuratiebestand is opgeslagen.
3. Zoek het bestand claude_desktop_config.json in die map. Klik er met de rechtermuisknop op en open het met een teksteditor (Kladblok in Windows, TextEdit in macOS).
4. Het bestand bevat al enige inhoud. Je moet de vermelding `mcpServers` binnen de bestaande structuur toevoegen, en niet als een apart blok eronder.

Zoek de laatste } waarmee een bestaande sectie wordt afgesloten. Plaats er een komma achter en voeg vervolgens de sectie mcpServers toe vóór de laatste afsluitende }.

Zo ziet een typisch bestand er na de bewerking uit:

Alles moet binnen één set accolades `{ }` staan, met een komma tussen elke sectie. Als het `mcpServers`-blok als een apart object onder de bestaande inhoud wordt geplakt, geeft Claude Desktop bij het opstarten een foutmelding weer.

Als het bestand leeg is of alleen `{}` bevat, kun je alles vervangen door:

5. Sla het bestand op en sluit Claude Desktop volledig af (sluit niet alleen het venster). Klik in macOS met de rechtermuisknop op het pictogram in het dock en selecteer ‘Afsluiten’.

Controleer de verbinding

Om te controleren of alles werkt, ga je naar Instellingen en vervolgens naar Ontwikkelaar. Onder Lokale MCP-servers zou je Elgato moeten zien staan met een groen label dat aangeeft dat het actief is.

Als het niet wordt weergegeven of niet als actief wordt aangeduid, controleer dan nogmaals of de Stream Deck-app is geopend en of MCP Actions is ingeschakeld, en of het configuratiebestand correct is opgeslagen. Sluit vervolgens Claude Desktop volledig af en open het opnieuw.

Als het niet wordt weergegeven of niet als actief wordt aangeduid, controleer dan nogmaals of de Stream Deck-app is geopend en of MCP Actions is ingeschakeld, en of het configuratiebestand correct is opgeslagen. Sluit vervolgens Claude Desktop volledig af en open het opnieuw.

NVIDIA G-Assist en Claude Desktop zijn twee van de eerste tools die hierop aansluiten, maar omdat MCP een open standaard is, kan elke compatibele tool op dezelfde manier worden geïntegreerd. Elke tool maakt gebruik van het volledige ecosysteem van Stream Deck, met alle integraties, plug-ins en workflows.

Ga voor alle installatie-informatie, aanvullende verbindingsmethoden en geavanceerde configuratie naar de Elgato MCP Server-pagina op npm.

Spraakbesturing met G-Assist

Als G-Assist is aangesloten, wordt je stem de invoer. De echte meerwaarde zit hem in het handsfree uitvoeren van handelingen terwijl je aandacht ergens anders ligt.

Zeg "maak mijn stream klaar" terwijl je aan het gamen bent, en G-Assist voert al je handelingen uit: OBS wordt gestart, je scène wordt ingesteld, je lampen gaan aan en je muziekapp wordt geopend. Zo wordt je hele voorbereidingsroutine met je stem afgehandeld, terwijl je handen op het toetsenbord en de muis blijven.

Gebeurtenisgestuurde workflows met Aitum

Aitum gaat nog een stap verder door jou volledig uit het proces te halen. In plaats van dat jij een opdracht geeft, worden je acties automatisch gecombineerd met gebeurtenissen in je stream.

Er komt een raid binnen en acties worden gelijktijdig geactiveerd: scènes wisselen, de lichten dimmen en er klinkt een welkomstgeluid. Een abonnee activeert een speciale waarschuwingsreeks. Het inwisselen van een kanaalpunt activeert een stemgeluid. Deze processen verlopen in realtime, zonder dat je een toets hoeft in te drukken of iets hoeft te zeggen.

Tekstgebaseerde AI-tools

Als je Claude Desktop, ChatGPT of een andere tekstgebaseerde tool gebruikt, kun je op dezelfde manier verzoeken invoeren. Begin het gesprek met "Welke Stream Deck-acties heb ik tot mijn beschikking?" om te controleren of de verbinding werkt, en typ daarna wat je nodig hebt.

Als een actie niet wordt geactiveerd, controleer dan het volgende:

1. De Stream Deck-app is gestart en de optie 'MCP-acties inschakelen ' is aangevinkt in de voorkeuren.
2. De actie staat in het MCP Actions -profiel, niet in een ander profiel.
3. Uw AI-tool is verbonden met de Elgato MCP-server. Controleer voor G-Assist of het terminalvenster waarin de server draait nog steeds openstaat en of er een verbinding met Stream Deck wordt weergegeven. Ga in Claude Desktop naar Instellingen en vervolgens naar Ontwikkelaar, en controleer of ‘elgato’ onder Lokale MCP-servers staat met een groen label dat aangeeft dat het actief is.

De ondersteuning voor MCP in Stream Deck 7.4 is een eerste stap op weg naar een diepere AI-integratie. G-Assist en Aitum zijn de eerste die worden geïntegreerd, maar aangezien MCP een open standaard is, zullen zij niet de laatste zijn. AI levert de input. Stream Deck zorgt voor de acties. En naarmate er meer tools worden geïntegreerd, blijven de mogelijkheden zich uitbreiden.

Hoe meer acties je in Stream Deck hebt ingesteld, hoe meer een gekoppelde AI-tool daarmee kan doen. Bekijk de plug-ins op de Elgato Marketplace om de mogelijkheden uit te breiden.