Cum să controlezi Stream Deck cu ajutorul inteligenței artificiale

Versiunea 7.4 a Stream Deck permite pentru prima dată integrarea asistenților AI cu Stream Deck. Datorită compatibilității cu MCP, instrumentele AI se pot conecta acum la Stream Deck și pot declanșa acțiuni, fie prin comandă vocală, text sau chiar evenimente live.

NVIDIA G-Assist este prima aplicație care se conectează, oferind control vocal pentru Stream Deck. Spune „get my stream ready” și acesta combină acțiunile tale pentru a lansa OBS, a aprinde luminile, a porni muzica și a seta scena, totul fără a folosi mâinile. Aitum, o platformă populară de automatizare pentru streameri, se integrează și ea, permițând evenimentelor live, precum raidurile și abonamentele, să declanșeze automat acțiuni Stream Deck. Și deoarece MCP este un standard deschis, mai multe instrumente sunt pe cale să apară.

Continuați să configurați acțiunile în aplicația Stream Deck exact așa cum ați făcut-o întotdeauna. MCP oferă noi modalități de a le activa. Acest ghid vă explică ce este MCP, cum se configurează și cum puteți începe să îl utilizați.

MCP este acronimul pentru Model Context Protocol. Este un standard deschis care oferă instrumentelor de IA o modalitate comună de conectare la aplicații și servicii.

Gândește-te la asta ca la USB. Înainte de USB, fiecare dispozitiv avea nevoie de propriul tip de cablu și conector. USB a creat un standard unic care funcționează cu orice. MCP face același lucru pentru instrumentele de IA. În loc ca fiecare asistent de IA să aibă nevoie de o conexiune personalizată pentru fiecare aplicație, MCP le oferă o modalitate comună de comunicare.

Odată cu versiunea 7.4, Stream Deck se alătură acestei liste. Inteligența artificială furnizează datele de intrare. Stream Deck execută acțiunile.

MCP se dovedește cel mai util atunci când doriți să combinați mai multe acțiuni sau să aveți mâinile libere.

Cu NVIDIA G-Assist, vocea ta devine comanda. Spune „pregătește-mi streamul” și G-Assist îți poate coordona acțiunile pentru a deschide OBS, a-ți configura scena, a aprinde luminile și a porni muzica. Spune „încheie streamul” și acesta va rula secvența de închidere. Mâinile tale nu părăsesc niciodată tastatura și mouse-ul, iar tu nu trebuie să-ți iei ochii de la ceea ce faci.

Cu Aitum, evenimentele live din streamul tău se declanșează automat, fără să fie nevoie să intervii. Când începe un raid, acțiunile tale se combină pentru a schimba scenele, a reduce intensitatea luminilor și a reda un sunet de bun venit. Răscumpărarea unui punct de canal activează un efect vocal. Un abonament declanșează o mențiune în Discord. Aceste fluxuri de lucru se execută în timp real, fără ca tu să faci nimic.

Deoarece MCP este un standard deschis, instrumentele de IA bazate pe text, precum Claude Desktop și ChatGPT, se pot conecta și ele și pot declanșa acțiunile tale. Vei găsi mai multe informații despre configurarea acestora mai jos în acest ghid.

Cu cât adaugi mai multe acțiuni în Stream Deck, cu atât mai multe dintre acestea pot fi combinate și utilizate de orice instrument AI conectat.

Configurația are trei părți:

1. Activează MCP în aplicația Stream Deck și alege acțiunile la care vrei ca IA-ul tău să aibă acces. Acestea vor fi salvate într-un profil dedicat, numit „Acțiuni MCP”.
2. Instalați pe computer un mic program numit Elgato MCP Server. Acesta este cel care face legătura între instrumentul dvs. de IA și aplicația Stream Deck.
3. Indică-i instrumentului tău de IA unde se află Elgato MCP Server.

Odată ce totul este conectat, poți introduce comenzi prin tastare sau vocal, iar instrumentul tău de IA va declanșa acțiunea corespunzătoare din Stream Deck. Hai să le parcurgem pe rând.

1. Deschide aplicația Stream Deck.
2. Accesați secțiunea „Preferințe ” și selectați fila „General ”.
3. În secțiunea „Elgato MCP Integration”, bifați opțiunea „Enable MCP Actions”.

Astfel se creează un profil dedicat numit „MCP Actions”, pe care îl poți găsi în meniul derulant al profilurilor din partea de sus a aplicației Stream Deck.

Trageți acțiunile din panoul de acțiuni din dreapta și plasați-le pe tastele corespunzătoare, la fel cum ați proceda cu orice alt profil. Orice acțiune pe care o plasați aici devine disponibilă pentru instrumentele AI conectate. Acțiunile din celelalte profiluri rămân private, astfel încât dumneavoastră controlați exact la ce are acces AI-ul.

Gândește-te la acțiunile pe care le folosești în fluxul tău de lucru: lansarea aplicațiilor, schimbarea scenelor, controlul luminilor, reglarea sunetului, redarea muzicii. Cu cât adaugi mai multe dintre acestea în profilul MCP Actions, cu atât instrumentul tău bazat pe IA le va putea combina mai bine în fluxuri de lucru care nu necesită intervenție manuală.

Fiecare acțiune din profilul „Acțiuni MCP” are un câmp de descriere care îi indică IA ce face acea acțiune și când trebuie utilizată. Aceasta este una dintre cele mai importante părți ale configurării, deoarece astfel IA decide ce acțiune să declanșeze atunci când efectuați o solicitare.

Pentru a adăuga o descriere, selectează o acțiune și fă clic pe pictograma AI din setările acțiunii, din partea de jos a ecranului. Apoi scrie o descriere clară și concisă.

Fiecare acțiune din profilul „Acțiuni MCP” are un câmp de descriere care îi indică IA ce face acea acțiune și când trebuie utilizată. Aceasta este una dintre cele mai importante părți ale configurării, deoarece astfel IA decide ce acțiuni să combine atunci când îi adresezi o solicitare.

Pentru a adăuga o descriere, selectează o acțiune și fă clic pe pictograma AI din setările acțiunii, din partea de jos a ecranului. Apoi scrie o descriere clară și concisă.

O descriere bună îi indică IA ce face acțiunea respectivă și când este relevantă. De exemplu, dacă adaugi acțiuni individuale pentru OBS, Key Light și Spotify, le-ai putea descrie astfel:

• „Aceasta deschide OBS Studio. Folosește această opțiune atunci când te pregătești pentru o transmisiune în direct sau pentru o înregistrare.”
• „Aceasta pornește lumina Elgato Key Light. Folosește-o când te pregătești să transmiți în direct, să înregistrezi sau să apari în fața camerei.”
• „Aceasta deschide aplicația Spotify. Folosește această opțiune când intri în direct sau când începi o transmisiune.”

Cu descrieri de acest gen, este suficient să spui „pregătește-mi transmisia”. IA citește toate descrierile tale, constată că OBS, Key Light și Spotify sunt toate relevante și le activează simultan. Nu a fost nevoie să configurezi tu această combinație. IA a dedus-o din descrieri.

Acesta este aspectul care diferențiază MCP de simpla apăsare a unei singure taste. Configurezi acțiunile individuale o singură dată și precizezi scopul fiecăreia. Inteligența artificială gestionează combinațiile în funcție de ceea ce îi ceri, astfel încât același set de acțiuni poate fi combinat în moduri diferite fără a fi nevoie să reconfigurezi nimic.

Înainte de a conecta orice instrument de IA, trebuie să aveți Node.js instalat pe computer. Node.js este un instrument gratuit, foarte utilizat, care stă la baza multor aplicații și servicii. Elgato MCP Server rulează pe această platformă, iar atât configurarea G-Assist, cât și cea a Claude Desktop necesită acest instrument.

Dacă nu îl aveți deja, descărcați-l și instalați-l de pe nodejs.org. Alegeți versiunea LTS (Long Term Support). Programul de instalare funcționează ca orice altă aplicație. Rulați-l, urmați instrucțiunile și gata. Nu este nevoie să configurați nimic sau să învățați cum să îl utilizați.

Elgato MCP Server este ceea ce face legătura între instrumentul tău de IA și aplicația Stream Deck. Pentru a-l instala, deschide o fereastră de comandă (Terminal pe macOS, PowerShell pe Windows) și execută:

npm install -g @elgato/mcp-server

Astfel, programul se instalează definitiv pe computerul tău, fiind gata de utilizare oricând ai nevoie de el.

Dacă doriți doar să testați aplicația mai întâi, puteți sări peste acest pas. Instrucțiunile de configurare de mai jos utilizează npx, care descarcă și rulează temporar Elgato MCP Server fără a instala nimic. Funcționează la fel, dar se descarcă din nou de fiecare dată când îl porniți.

Pentru opțiuni și detalii suplimentare, accesați pagina Elgato MCP Server de pe npm.

G-Assist introduce controlul vocal în Stream Deck. Odată conectat, poți activa și combina acțiuni din profilul tău MCP Actions doar vorbind.

Porniți serverul Elgato MCP

1) Deschideți o fereastră de comandă pe computer (PowerShell în Windows).

2) Executați următoarea comandă:

npx -y @elgato/mcp-server@latest --http

3) Lasă această fereastră deschisă. Ar trebui să vezi un mesaj care indică faptul că serverul HTTP ascultă pe portul 9090 și că aplicația Stream Deck este conectată.

Serverul trebuie să rămână activ în fundal pe durata utilizării G-Assist. Dacă închideți fereastra terminalului, conexiunea se va întrerupe.

Instalați pluginul pentru G-Assist

G-Assist utilizează un plugin pentru a comunica cu Elgato MCP Server. Plasează folderul cu pluginul Stream Deck în directorul de pluginuri al G-Assist:

%PROGRAMDATA%\NVIDIA Corporation\nvtopps\rise\plugins

Apoi repornește G-Assist sau reîncarcă pluginurile. La prima încărcare, pluginul detectează automat acțiunile disponibile pe Stream Deck.

Confirmați conexiunea

Puteți verifica dacă Elgato MCP Server rulează deschizând un browser și accesând adresa:

http://localhost:9090/health

Dacă serverul este pornit și conectat la aplicația Stream Deck, vei vedea un mesaj de stare.

Dacă folosești Claude Desktop sau un alt instrument AI bazat pe text, îl poți conecta la Stream Deck prin intermediul MCP. Pașii de mai jos se referă în mod specific la Claude Desktop.

Editează fișierul de configurare

Claude Desktop stochează conexiunile MCP într-un fișier de configurare. Trebuie să adaugi Elgato MCP Server în acest fișier, pentru ca Claude să știe unde să îl găsească.

1. Deschideți Claude Desktop.
2. Accesați Setări, apoi Dezvoltator, apoi faceți clic pe Editare configurație. Se va deschide folderul în care este stocat fișierul de configurare.
3. Căutați fișierul claude_desktop_config.json în acel dosar. Faceți clic dreapta pe el și deschideți-l cu un editor de text (Notepad pe Windows, TextEdit pe macOS).
4. Fișierul va conține deja un anumit conținut. Trebuie să adăugați o intrare mcpServers în cadrul structurii existente, nu ca un bloc separat sub aceasta.

Găsește ultima paranteză } care închide o secțiune existentă. Adaugă o virgulă după ea, apoi adaugă secțiunea mcpServers înainte de ultima paranteză de închidere }.

Iată cum arată un fișier tipic după editare:

Totul trebuie să se afle între un singur set de acolade `{ }`, cu o virgulă între fiecare secțiune. Dacă blocul `mcpServers` este inserat ca obiect separat sub conținutul existent, Claude Desktop va afișa o eroare la pornire.

Dacă fișierul este gol sau conține doar `{}`, poți înlocui tot conținutul cu:

5. Salvați fișierul și închideți complet aplicația Claude Desktop (nu doar fereastra). Pe macOS, faceți clic dreapta pe pictograma din dock și selectați „Quit”.

Confirmați conexiunea

Pentru a verifica dacă totul funcționează, accesați Setări, apoi Dezvoltator. În secțiunea Servere MCP locale, ar trebui să vedeți Elgato afișat cu o etichetă verde care indică că este în funcțiune.

Dacă nu apare sau nu este afișat ca fiind în execuție, verifică din nou dacă aplicația Stream Deck este deschisă și dacă opțiunea MCP Actions este activată, precum și dacă fișierul de configurare a fost salvat corect. Apoi închide complet aplicația Claude Desktop și redeschide-o.

Dacă nu apare sau nu este afișat ca fiind în execuție, verifică din nou dacă aplicația Stream Deck este deschisă și dacă opțiunea MCP Actions este activată, precum și dacă fișierul de configurare a fost salvat corect. Apoi închide complet aplicația Claude Desktop și redeschide-o.

NVIDIA G-Assist și Claude Desktop sunt printre primele aplicații care se conectează, dar, întrucât MCP este un standard deschis, orice instrument compatibil se poate integra în același mod. Fiecare dintre ele beneficiază de întregul ecosistem de integrări, pluginuri și fluxuri de lucru al Stream Deck.

Pentru detalii complete privind instalarea, metode suplimentare de conectare și configurare avansată, accesați pagina Elgato MCP Server de pe npm.

Control vocal cu G-Assist

Când G-Assist este conectat, vocea ta devine mijlocul de comandă. Adevărata valoare constă în posibilitatea de a efectua diverse acțiuni fără a folosi mâinile, în timp ce atenția ta rămâne concentrată asupra altor lucruri.

Spune „pregătește-mi transmisia” în timpul jocului, iar G-Assist îți coordonează acțiunile: se lansează OBS, se configurează scena, se aprind luminile și se pornește aplicația de muzică. Astfel, întreaga rutină de configurare este gestionată prin comandă vocală, în timp ce mâinile tale rămân pe tastatură și mouse.

Fluxuri de lucru bazate pe evenimente cu Aitum

Aitum merge și mai departe, eliminându-te complet din proces. În loc să dai tu o comandă, evenimentele din fluxul tău îți combină automat acțiunile.

Se declanșează un raid și acțiunile se derulează simultan: scenele se schimbă, luminile se estompează și se aude un sunet de bun venit. Un abonat declanșează o secvență specială de alertă. O răscumpărare de puncte de canal activează un efect vocal. Aceste procese se desfășoară în timp real, fără ca tu să apeși vreo tastă sau să rostești vreun cuvânt.

Instrumente de IA bazate pe text

Dacă folosești Claude Desktop, ChatGPT sau un alt instrument bazat pe text, poți introduce cererile în același mod. Începe conversația cu „Ce acțiuni Stream Deck am la dispoziție?” pentru a confirma conexiunea, apoi tastează ce ai nevoie de acolo.

Dacă o acțiune nu se declanșează, verificați următoarele:

1. Aplicația Stream Deck este pornită, iar opțiunea „Activați acțiunile MCP ” este bifată în secțiunea Preferințe.
2. Acțiunea se află în profilul MCP Actions, nu într-un alt profil.
3. Instrumentul tău de IA este conectat la serverul Elgato MCP. Pentru G-Assist, verifică dacă fereastra terminalului în care rulează serverul este încă deschisă și afișează o conexiune la Stream Deck. În Claude Desktop, accesează Setări, apoi Dezvoltator și verifică dacă „elgato” apare în secțiunea Servere MCP locale, cu o etichetă verde care indică faptul că este în funcțiune.

Suportul pentru MCP în Stream Deck 7.4 reprezintă un prim pas către o conectivitate mai avansată cu inteligența artificială. G-Assist și Aitum sunt primele aplicații conectate, dar, întrucât MCP este un standard deschis, acestea nu vor fi ultimele. Inteligența artificială furnizează datele de intrare. Stream Deck execută acțiunile. Și pe măsură ce se conectează tot mai multe instrumente, posibilitățile continuă să crească.

Cu cât ai configurat mai multe acțiuni în Stream Deck, cu atât mai multe lucruri poate face orice instrument AI conectat cu ajutorul acestora. Explorează pluginurile de pe Elgato Marketplace pentru a-ți extinde posibilitățile.