Come controllare Stream Deck con l'intelligenza artificiale

La versione 7.4 di Stream Deck apre per la prima volta Stream Deck agli assistenti AI. Grazie al supporto MCP, gli strumenti AI possono ora connettersi a Stream Deck e attivare le tue azioni, sia tramite comandi vocali, messaggi di testo o persino eventi in diretta.

NVIDIA G-Assist è il primo a integrarsi, portando il controllo vocale su Stream Deck. Basta dire "prepara il mio streaming" e il sistema combina le azioni necessarie per avviare OBS, accendere le luci, avviare la musica e impostare la scena, il tutto senza usare le mani. Anche Aitum, una popolare piattaforma di automazione per gli streamer, si sta integrando, consentendo a eventi live come raid e abbonamenti di attivare automaticamente le azioni di Stream Deck. E poiché MCP è uno standard aperto, altri strumenti sono in arrivo.

Puoi continuare a configurare le azioni nell'app Stream Deck come hai sempre fatto. MCP offre nuovi modi per attivarle. Questa guida spiega cos'è MCP, come configurarlo e come iniziare a utilizzarlo.

MCP è l'acronimo di Model Context Protocol. Si tratta di uno standard aperto che offre agli strumenti di intelligenza artificiale un metodo comune per connettersi ad app e servizi.

Pensateci come all'USB. Prima dell'USB, ogni dispositivo aveva bisogno di un cavo e di un connettore specifici. L'USB ha creato uno standard unico compatibile con tutto. MCP fa la stessa cosa per gli strumenti di IA. Invece di richiedere a ciascun assistente IA una connessione personalizzata per ogni app, MCP offre loro un modo comune per comunicare.

Con Stream Deck 7.4, Stream Deck si aggiunge a questa lista. L'intelligenza artificiale fornisce i dati. Stream Deck mette in atto le azioni.

MCP dà il meglio di sé quando vuoi combinare diverse azioni o avere le mani libere.

Con NVIDIA G-Assist, la tua voce diventa il comando. Dì "prepara il mio streaming" e G-Assist combinerà le tue azioni per aprire OBS, impostare la scena, accendere le luci e avviare la musica. Dì "concludi lo streaming" e avvierà la sequenza di spegnimento. Le tue mani non si allontanano mai dalla tastiera e dal mouse e non devi mai distogliere lo sguardo da ciò che stai facendo.

Con Aitum, sono gli eventi live sul tuo stream ad attivare le azioni al posto tuo. Arriva un raid e le tue azioni si combinano per cambiare scena, abbassare le luci e riprodurre un suono di benvenuto. Il riscatto di un punto canale attiva un effetto vocale. Un abbonamento fa partire uno shoutout su Discord. Questi flussi di lavoro si eseguono in tempo reale senza che tu debba fare nulla.

Poiché MCP è uno standard aperto, anche gli strumenti di IA basati su testo come Claude Desktop e ChatGPT possono connettersi e attivare le tue azioni. Troverai ulteriori informazioni su come configurarli più avanti in questa guida.

Più azioni aggiungi a Stream Deck, più gli strumenti di IA collegati potranno integrarle e utilizzarle.

La configurazione si compone di tre parti:

1. Attiva MCP nell'app Stream Deck e scegli a quali azioni vuoi che la tua IA abbia accesso. Queste azioni vengono inserite in un profilo dedicato chiamato "Azioni MCP".
2. Sul tuo computer devi installare un piccolo programma chiamato Elgato MCP Server. È proprio questo che collega il tuo strumento di IA all'app Stream Deck.
3. Indica al tuo strumento di IA dove trovare Elgato MCP Server.

Una volta che tutto è collegato, puoi digitare o pronunciare le richieste e il tuo strumento di intelligenza artificiale attiverà l'azione corrispondente su Stream Deck. Vediamole una per una.

1. Apri l'app Stream Deck.
2. Vai su Preferenze e seleziona la scheda Generale.
3. In " Integrazione MCP di Elgato", selezionare " Abilita azioni MCP".

In questo modo viene creato un profilo dedicato denominato " MCP Actions", che puoi trovare nel menu a tendina dei profili nella parte superiore dell'app Stream Deck.

Trascina le azioni sui tasti dal pannello delle azioni sulla destra, proprio come faresti con qualsiasi altro profilo. Qualsiasi azione che inserisci qui diventa disponibile per gli strumenti di IA collegati. Le azioni presenti negli altri profili rimangono private, così puoi controllare esattamente a cosa può accedere l'IA.

Pensa alle azioni che esegui durante il tuo flusso di lavoro: avviare app, cambiare scena, controllare le luci, regolare l'audio, riprodurre musica. Più azioni aggiungi al profilo MCP Actions, più il tuo strumento di IA sarà in grado di combinarle in flussi di lavoro automatizzati.

Ogni azione nel profilo "Azioni MCP" dispone di un campo di descrizione che indica all'IA quale sia la funzione dell'azione e quando utilizzarla. Si tratta di una delle parti più importanti della configurazione, poiché è proprio in base a questo che l'IA decide quale azione attivare quando si effettua una richiesta.

Per aggiungere una descrizione, seleziona un'azione e clicca sull'icona AI nelle impostazioni dell'azione nella parte inferiore dello schermo. Quindi scrivi una descrizione chiara e concisa.

Ogni azione nel profilo "Azioni MCP" dispone di un campo di descrizione che indica all'IA quale sia la funzione dell'azione e quando utilizzarla. Si tratta di una delle parti più importanti della configurazione, poiché è proprio in base a questo che l'IA decide quali azioni combinare quando si effettua una richiesta.

Per aggiungere una descrizione, seleziona un'azione e clicca sull'icona AI nelle impostazioni dell'azione nella parte inferiore dello schermo. Quindi scrivi una descrizione chiara e concisa.

Una buona descrizione spiega all'IA in cosa consiste l'azione e in quali casi è utile. Ad esempio, se aggiungi azioni specifiche per OBS, Key Light e Spotify, potresti descriverle in questo modo:

• "Questo apre OBS Studio. Utilizzalo quando ti prepari per uno streaming o una registrazione."
• "Questo accende la mia Elgato Key Light. Usala quando ti prepari a trasmettere in streaming, registrare o apparire in video."
• "Questo apre Spotify. Usalo quando vai in diretta o avvii uno streaming."

Con descrizioni come queste, basta dire "prepara il mio streaming". L'IA legge tutte le tue descrizioni, rileva che OBS, Key Light e Spotify sono tutti applicabili e li avvia contemporaneamente. Non hai dovuto impostare tu quella combinazione in anticipo. L'IA l'ha dedotta dalle descrizioni.

È proprio questo che distingue MCP dal semplice premere un tasto. Basta impostare le singole azioni una volta sola e specificarne lo scopo. L'IA gestisce le combinazioni in base a ciò che le chiedi, quindi la stessa serie di azioni può essere combinata in modi diversi senza che tu debba riconfigurare nulla.

Prima di collegare qualsiasi strumento di intelligenza artificiale, è necessario che Node.js sia installato sul tuo computer. Node.js è uno strumento gratuito e molto diffuso che, dietro le quinte, è alla base di numerose app e servizi. Elgato MCP Server funziona su questa piattaforma, ed è necessario per l'installazione sia di G-Assist che di Claude Desktop.

Se non lo hai già, scaricalo e installalo da nodejs.org. Scegli la versione LTS (Long Term Support). Il programma di installazione funziona come qualsiasi altra app. Eseguilo, segui le istruzioni e il gioco è fatto. Non devi configurare nulla né imparare a usarlo.

Elgato MCP Server è il componente che collega il tuo strumento di intelligenza artificiale all'app Stream Deck. Per installarlo, apri un terminale (Terminale su macOS, PowerShell su Windows) ed esegui:

npm install -g @elgato/mcp-server

In questo modo il programma verrà installato in modo permanente sul tuo computer, così sarà pronto all'uso ogni volta che ne avrai bisogno.

Se vuoi semplicemente provarlo prima, puoi saltare questo passaggio. Le istruzioni di configurazione riportate di seguito utilizzano npx, che scarica ed esegue temporaneamente Elgato MCP Server senza installare nulla. Funziona allo stesso modo, ma viene scaricato nuovamente ogni volta che lo avvii.

Per ulteriori opzioni e dettagli, visita la pagina di Elgato MCP Server su npm.

G-Assist introduce il controllo vocale su Stream Deck. Una volta connesso, potrai attivare e combinare le azioni del tuo profilo MCP Actions semplicemente parlando.

Avvia Elgato MCP Server

1) Apri una finestra di comando sul tuo computer (PowerShell su Windows).

2) Esegui il seguente comando:

npx -y @elgato/mcp-server@latest --http

3) Lascia aperta questa finestra. Dovresti vedere un messaggio che indica che il server HTTP è in ascolto sulla porta 9090 e che l'app Stream Deck è connessa.

Il server deve rimanere in esecuzione in background mentre si utilizza G-Assist. Se si chiude la finestra del terminale, la connessione verrà interrotta.

Installa il plugin per G-Assist

G-Assist utilizza un plugin per comunicare con Elgato MCP Server. Copia la cartella del plugin Stream Deck nella directory dei plugin di G-Assist:

%PROGRAMDATA%\NVIDIA Corporation\nvtopps\rise\plugins

Quindi riavvia G-Assist o ricarica i plugin. Al primo avvio, il plugin rileva automaticamente le azioni disponibili su Stream Deck.

Verifica la connessione

È possibile verificare che Elgato MCP Server sia in esecuzione aprendo un browser e andando all'indirizzo:

http://localhost:9090/health

Se il server è in esecuzione e connesso all'app Stream Deck, verrà visualizzata una risposta di stato.

Se utilizzi Claude Desktop o un altro strumento di IA basato sul testo, puoi collegarlo a Stream Deck tramite MCP. I passaggi riportati di seguito illustrano in particolare la procedura per Claude Desktop.

Modifica il file di configurazione

Claude Desktop salva le connessioni MCP in un file di configurazione. È necessario aggiungere Elgato MCP Server a questo file affinché Claude sappia dove trovarlo.

1. Apri Claude Desktop.
2. Vai su Impostazioni, poi su Sviluppatore, quindi fai clic su Modifica configurazione. Si aprirà la cartella in cui è salvato il file di configurazione.
3. Cerca il file claude_desktop_config.json in quella cartella. Fai clic con il pulsante destro del mouse sul file e aprilo con un editor di testo (Blocco note su Windows, TextEdit su macOS).
4. Il file conterrà già alcuni dati. Devi aggiungere una voce mcpServers all'interno della struttura esistente, non come blocco separato sotto di essa.

Individua l'ultimo } che chiude una sezione esistente. Aggiungi una virgola dopo di esso, quindi inserisci la sezione mcpServers prima del } di chiusura finale.

Ecco come si presenta un file tipico dopo la modifica:

Tutto deve essere racchiuso tra un unico paio di parentesi graffe `{ }`, con una virgola tra ogni sezione. Se il blocco `mcpServers` viene incollato come oggetto separato sotto il contenuto esistente, Claude Desktop visualizzerà un errore all'avvio.

Se il file è vuoto o contiene solo `{}`, puoi sostituire tutto con:

5. Salva il file e chiudi completamente Claude Desktop (non limitarti a chiudere la finestra). Su macOS, fai clic con il tasto destro sull'icona nel dock e seleziona «Esci».

Verifica la connessione

Per verificare che tutto funzioni correttamente, vai su Impostazioni, quindi su Sviluppatore. Nella sezione Server MCP locali, dovresti vedere Elgato elencato con un'icona verde che indica che è in esecuzione.

Se non compare o non risulta in esecuzione, verifica che l'app Stream Deck sia aperta con le azioni MCP attivate e che il file di configurazione sia stato salvato correttamente. Quindi chiudi completamente Claude Desktop e riaprilo.

Se non compare o non risulta in esecuzione, verifica che l'app Stream Deck sia aperta con le azioni MCP attivate e che il file di configurazione sia stato salvato correttamente. Quindi chiudi completamente Claude Desktop e riaprilo.

NVIDIA G-Assist e Claude Desktop sono tra i primi a integrarsi, ma poiché MCP è uno standard aperto, qualsiasi strumento compatibile può collegarsi allo stesso modo. Ciascuno di essi eredita l'intero ecosistema di integrazioni, plugin e flussi di lavoro di Stream Deck.

Per tutti i dettagli sull'installazione, ulteriori metodi di connessione e impostazioni avanzate, visita la pagina di Elgato MCP Server su npm.

Comando vocale con G-Assist

Quando G-Assist è connesso, la tua voce diventa il comando. Il vero vantaggio sta nel poter eseguire azioni senza usare le mani, mentre la tua attenzione rimane concentrata altrove.

Dì "prepara il mio streaming" mentre sei nel bel mezzo di una partita e G-Assist coordinerà tutte le tue azioni: OBS si avvierà, la scena verrà impostata, le luci si accenderanno e l'app musicale si avvierà. Ecco la tua intera routine di configurazione gestita con la voce, mentre le tue mani restano sulla tastiera e sul mouse.

Flussi di lavoro basati sugli eventi con Aitum

Aitum fa un passo in più, escludendoti completamente dal processo. Anziché impartire un comando, gli eventi sul tuo stream combinano automaticamente le tue azioni.

Entra in scena un raid e le azioni si innescano tutte insieme: le scene cambiano, le luci si abbassano e parte un suono di benvenuto. Un abbonato attiva una sequenza di avviso speciale. Il riscatto di punti canale attiva un effetto vocale. Questi flussi di lavoro avvengono in tempo reale, senza che tu debba premere un tasto o dire una parola.

Strumenti di IA basati sul testo

Se utilizzi Claude Desktop, ChatGPT o un altro strumento basato sul testo, puoi digitare le richieste allo stesso modo. Avvia una conversazione con "Quali azioni di Stream Deck sono disponibili?" per verificare la connessione, poi digita ciò che ti serve.

Se un'azione non viene attivata, verificare quanto segue:

1. L'app Stream Deck è in esecuzione e l'opzione " Abilita azioni MCP " è selezionata nelle Preferenze.
2. L'azione si trova nel profilo " Azioni MCP ", non in un altro profilo.
3. Il tuo strumento di IA è connesso al server Elgato MCP. Per G-Assist, verifica che la finestra di terminale in cui è in esecuzione il server sia ancora aperta e mostri una connessione a Stream Deck. In Claude Desktop, vai su Impostazioni, poi su Sviluppatore, e verifica che "elgato" compaia nella sezione Server MCP locali con l'icona verde che indica che è in esecuzione.

Il supporto MCP in Stream Deck 7.4 rappresenta un primo passo verso una maggiore integrazione con l'intelligenza artificiale. G-Assist e Aitum sono i primi a collegarsi, ma poiché MCP è uno standard aperto, non saranno gli ultimi. L'intelligenza artificiale fornisce gli input. Stream Deck mette in atto le azioni. E man mano che si aggiungono nuovi strumenti, le possibilità continuano ad aumentare.

Più azioni imposti su Stream Deck, più possibilità avrà qualsiasi strumento di intelligenza artificiale collegato. Esplora i plugin su Elgato Marketplace per ampliare le tue possibilità.