Kā vadīt Stream Deck ar mākslīgā intelekta palīdzību

Stream Deck 7.4 versija pirmo reizi atver Stream Deck iespējas mākslīgā intelekta palīgiem. Pateicoties MCP atbalstam, mākslīgā intelekta rīki tagad var savienoties ar Stream Deck un aktivizēt jūsu darbības, izmantojot balss komandas, tekstu vai pat tiešraides notikumus.

NVIDIA G-Assist ir pirmā platforma, kas nodrošina balss vadību Stream Deck. Pasakiet „get my stream ready” (sagatavo manu straumi), un tas apvienos jūsu darbības, lai palaistu OBS, ieslēgtu apgaismojumu, sāktu mūziku un iestatītu ainu — viss bez rokām. Aitum, populāra automatizācijas platforma straumētājiem, arī tiek integrēta, ļaujot tiešraides pasākumiem, piemēram, reidiem un abonementiem, automātiski aktivizēt Stream Deck darbības. Un tā kā MCP ir atvērts standarts, drīzumā būs pieejami vēl vairāk rīki.

Jūs joprojām varat konfigurēt darbības Stream Deck lietotnē tāpat kā iepriekš. MCP piedāvā jaunas iespējas to aktivizēšanai. Šajā rokasgrāmatā ir izskaidrots, kas ir MCP, kā to konfigurēt un kā sākt to lietot.

MCP ir saīsinājums no Model Context Protocol. Tas ir atvērts standarts, kas nodrošina mākslīgā intelekta rīkiem vienotu veidu, kā savienoties ar lietotnēm un pakalpojumiem.

Iedomājieties to kā USB. Pirms USB ieviešanas katrai ierīcei bija nepieciešams savs kabeļa un savienotāja veids. USB izveidoja vienotu standartu, kas darbojas ar visu. MCP dara to pašu attiecībā uz AI rīkiem. Tā vietā, lai katram AI palīgam būtu nepieciešams atsevišķs savienojums ar katru lietotni, MCP nodrošina tiem vienotu saziņas veidu.

Ar „Stream Deck“ 7.4 versiju arī „Stream Deck“ pievienojas šim sarakstam. Mākslīgais intelekts nodrošina datu ievadi. „Stream Deck“ nodrošina darbības.

MCP vislabāk noder, ja vēlaties apvienot vairākas darbības vai atstāt rokas brīvas.

Ar NVIDIA G-Assistjūsu balss kļūst par ievadi. Pasakiet „sagatavojiet manu straumi”, un G-Assist var apvienot jūsu darbības, lai atvērtu OBS, iestatītu ainu, ieslēgtu apgaismojumu un palaistu mūziku. Pasakiet „pabeidziet straumi”, un tas palaidīs izslēgšanas secību. Jūsu rokas nekad neatstāj klaviatūru un peli, un jums nekad nav jānovērš skatiens no tā, ko darāt.

Ar Aitum, tieši tie ir tie, kas izraisa notikumus jūsu straumē, nevis jūs. Ierodas reids, un jūsu darbības apvienojas, lai mainītu ainas, aptumšotu gaismas un atskaņotu sveiciena skaņu. Kanāla punktu izmantošana aktivizē balss efektu. Abonements izraisītu sveicienu Discord. Šie darbplūsmas noris reāllaikā, jums neko nedarot.

Tā kā MCP ir atvērts standarts, arī teksta balstīti AI rīki, piemēram, „Claude Desktop“ un „ChatGPT“, var savienoties ar sistēmu un aktivizēt jūsu darbības. Sīkāka informācija par to, kā tos konfigurēt, ir sniegta šīs rokasgrāmatas turpinājumā.

Jo vairāk darbību pievienosi Stream Deck, jo vairāk jebkurš savienots AI rīks varēs tās apvienot un izmantot.

Šai konfigurācijai ir trīs daļas:

1. Ieslēdziet MCP lietotnē „Stream Deck“ un izvēlieties, kurām darbībām jūs vēlaties piešķirt piekļuvi savam AI. Tās tiek pievienotas īpašam profilam ar nosaukumu „MCP darbības“.
2. Jums ir jāinstalē neliels tiltiņš ar nosaukumu „Elgato MCP Server“ savā datorā. Tas ir tas, kas savieno jūsu AI rīku ar „Stream Deck“ lietotni.
3. Norādiet savam AI rīkam, kur atrodas Elgato MCP Server.

Kad viss ir savienots, jūs varat ievadīt vai izrunāt komandas, un jūsu AI rīks izpildīs atbilstošo Stream Deck darbību. Apskatīsim katru no tām.

1. Atveriet lietotni „Stream Deck“.
2. Atveriet iestatījumus un izvēlieties cilni „Vispārīgi “.
3. Sadaļā „Elgato MCP integrācija“ atzīmējiet izvēles rūtiņu „Iespējot MCP darbības“.

Tādējādi tiek izveidots īpašs profils ar nosaukumu „MCP Actions“, ko var atrast profila izvēlnē Stream Deck lietotnes augšdaļā.

Pavelciet darbības uz tā pogām no darbību paneļa labajā pusē, tieši tāpat kā jebkurā citā profilā. Jebkura darbība, ko šeit ievietosiet, kļūs pieejama savienotajiem AI rīkiem. Darbības jūsu pārējos profilos paliek privātas, tādējādi jūs precīzi kontrolējat, kam AI var piekļūt.

Padomājiet par darbībām, kuras veicat savā darba plūsmā: lietotņu palaišana, ainu maiņa, apgaismojuma vadība, skaņas regulēšana, mūzikas atskaņošana. Jo vairāk šādu darbību iekļausiet MCP Actions profilā, jo labāk jūsu AI rīks spēs tās apvienot bezroku darba plūsmās.

Katrā darbībā MCP darbību profilā ir apraksta lauks, kas mākslīgajam intelektam norāda, ko šī darbība dara un kad to izmantot. Tā ir viena no svarīgākajām konfigurācijas daļām, jo tieši pēc tās mākslīgais intelekts izlemj, kuru darbību aktivizēt, kad jūs veicat pieprasījumu.

Lai pievienotu aprakstu, izvēlieties darbību un noklikšķiniet uz AI ikonas darbības iestatījumos ekrāna apakšā. Tad uzrakstiet skaidru un vienkāršu aprakstu.

Katrā darbībā MCP darbību profilā ir apraksta lauks, kas mākslīgajam intelektam norāda, ko šī darbība dara un kad to izmantot. Tā ir viena no svarīgākajām konfigurācijas daļām, jo tieši pēc tās mākslīgais intelekts izlemj, kuras darbības apvienot, kad jūs veicat pieprasījumu.

Lai pievienotu aprakstu, izvēlieties darbību un noklikšķiniet uz AI ikonas darbības iestatījumos ekrāna apakšā. Tad uzrakstiet skaidru un vienkāršu aprakstu.

Labs apraksts paskaidro mākslīgajam intelektam, ko konkrētā darbība dara un kad tā ir piemērota. Piemēram, ja pievieno atsevišķas darbības programmām OBS, Key Light un Spotify, tās varētu aprakstīt šādi:

• "Tādējādi tiks atvērta programma OBS Studio. Izmantojiet to, kad gatavojaties straumēt vai ierakstīt."
• "Tas ieslēdz manu Elgato Key Light. Izmanto to, kad gatavojies sākt straumēšanu, ierakstīšanu vai parādīties kameras priekšā."
• "Tas atver Spotify. Izmanto to, kad sāc tiešraidi vai straumēšanu."

Ja apraksti ir šādi, pietiek ar frāzi „sagatavot manu straumi“. Mākslīgais intelekts izlasa visus jūsu aprakstus, redz, ka ir jāizmanto OBS, Key Light un Spotify, un vienlaikus tos visus iedarbina. Jums nav bijis nepieciešams iepriekš izveidot šo kombināciju. Mākslīgais intelekts to izprata, balstoties uz aprakstiem.

Tieši tas atšķir MCP no vienkāršas vienas taustiņas nospiešanas. Jūs vienreiz iestatāt atsevišķas darbības un aprakstāt, kādam nolūkam katra no tām paredzēta. Mākslīgais intelekts apstrādā kombinācijas atkarībā no jūsu pieprasījuma, tādējādi vienu un to pašu darbību kopumu var kombinēt dažādos veidos, jums neko pārkonfigurējot.

Pirms jebkura AI rīka pieslēgšanas datorā ir jābūt instalētam Node.js. Node.js ir bezmaksas, plaši izmantots rīks, kas nodrošina daudzu lietotņu un pakalpojumu darbību fonā. Uz tā darbojas Elgato MCP Server, un tas ir nepieciešams gan G-Assist, gan Claude Desktop instalēšanai.

Ja jums tā vēl nav, lejupielādējiet un instalējiet to no nodejs.org. Izvēlieties LTS (Long Term Support) versiju. Instalētājs darbojas tāpat kā jebkura cita lietotne. Palaižiet to, izpildiet norādījumus, un viss ir gatavs. Jums nav nekas jākonfigurē vai jāapgūst, kā to lietot.

Elgato MCP Server ir programma, kas savieno jūsu AI rīku ar Stream Deck lietotni. Lai to instalētu, atveriet termināli (Terminal macOS sistēmā, PowerShell Windows sistēmā) un izpildiet šo komandu:

npm install -g @elgato/mcp-server

Tādējādi programma tiek pastāvīgi instalēta jūsu datorā, lai tā būtu pieejama, kad vien jums tā būs nepieciešama.

Ja vēlaties vispirms vienkārši izmēģināt, šo soli varat izlaist. Turpmākajās uzstādīšanas instrukcijās tiek izmantots npx, kas uz laiku lejupielādē un palaista Elgato MCP Server, neinstalējot neko. Tas darbojas tāpat, taču katru reizi, kad to palaidāt, programma tiek lejupielādēta no jauna.

Lai uzzinātu vairāk par papildu iespējām un iegūtu sīkāku informāciju, apmeklējiet Elgato MCP Server lapu vietnē npm.

G-Assist nodrošina balss vadību Stream Deck ierīcē. Pēc savienošanas jūs varat aktivizēt un kombinēt darbības savā MCP Actions profilā, vienkārši runājot.

Palaižiet Elgato MCP Server

1) Atveriet termināli savā datorā (Windows sistēmā — PowerShell).

2) Izpildiet šādu komandu:

npx -y @elgato/mcp-server@latest --http

3) Atstājiet šo logu atvērtu. Jums vajadzētu redzēt paziņojumu, ka HTTP serveris gaida savienojumu 9090. portā un ka „Stream Deck“ lietotne ir pieslēgusies.

Lietojot G-Assist, serverim ir jāturpina darboties fonā. Ja aizvērsiet termināļa logu, savienojums tiks pārtraukts.

Instalējiet G-Assist spraudni

G-Assist izmanto spraudni, lai sazinātos ar Elgato MCP Server. Ievietojiet Stream Deck spraudņu mapi G-Assist spraudņu direktorijā:

%PROGRAMDATA%\NVIDIA Corporation\nvtopps\rise\plugins

Tad pārstartējiet G-Assist vai atkārtoti ielādējiet spraudņus. Pirmajā ielādes reizē spraudnis automātiski atpazīst jūsu pieejamās Stream Deck darbības.

Apstipriniet savienojumu

Lai pārliecinātos, ka Elgato MCP Server darbojas, atveriet pārlūku un dodieties uz:

http://localhost:9090/health

Ja serveris darbojas un ir savienots ar lietotni „Stream Deck“, jūs redzēsiet statusa atbildi.

Ja izmantojat „Claude Desktop“ vai citu teksta balstītu AI rīku, to varat savienot ar „Stream Deck“ arī ar MCP palīdzību. Turpmāk aprakstītie soļi attiecas konkrēti uz „Claude Desktop“.

Rediģējiet konfigurācijas failu

Claude Desktop saglabā savus MCP savienojumus konfigurācijas failā. Šajā failā ir jāpievieno Elgato MCP Server, lai Claude zinātu, kur to atrast.

1. Atveriet programmu „Claude Desktop“.
2. Atveriet sadaļu „Iestatījumi“, pēc tam „Izstrādātājs“ un noklikšķiniet uz „Rediģēt konfigurāciju“. Tādējādi tiks atvērta mape, kurā atrodas konfigurācijas fails.
3. Šajā mapē atrodiet failu claude_desktop_config.json. Noklikšķiniet uz tā ar peles labo pogu un atveriet to teksta redaktorā (Windows sistēmā — „Notepad“, macOS sistēmā — „TextEdit“).
4. Failā jau būs kāds saturs. Jums ir jāpievieno ieraksts „mcpServers“ esošajā struktūrā, nevis kā atsevišķs bloks zem tās.

Atrodiet pēdējo simbolu }, kas noslēdz esošo sadaļu. Pēc tā pievienojiet komatu, tad pirms pēdējā noslēguma simbolu } pievienojiet sadaļu mcpServers.

Šādi izskatās tipisks fails pēc rediģēšanas:

Viss ir jāievieto vienā ārējo izliekto skavotņu pāri `{ }`, katru sadaļu atdalot ar komatu. Ja bloks `mcpServers` tiek ielīmēts kā atsevišķs objekts zem esošā satura, programma „Claude Desktop“ uzsākot darbu parādīs kļūdu.

Ja fails ir tukšs vai satur tikai `{}`, visu var aizstāt ar:

5. Saglabājiet failu un pilnībā aizveriet programmu „Claude Desktop“ (nevis vienkārši aizveriet logu). MacOS sistēmā ar peles labo pogu noklikšķiniet uz ikonas dokā un izvēlieties „Aizvērt“.

Apstipriniet savienojumu

Lai pārliecinātos, ka viss darbojas, dodieties uz „Iestatījumi“, tad uz „Izstrādātājs“. Sadaļā „Vietējie MCP serveri“ jums vajadzētu redzēt ierakstu „elgato“ ar zaļu ikonu, kas norāda, ka programma darbojas.

Ja programma neparādās vai netiek rādīta kā darbojošā, pārliecinieties, vai ir atvērta „Stream Deck“ lietotne ar ieslēgtām MCP darbībām un vai konfigurācijas fails ir pareizi saglabāts. Pēc tam pilnībā aizveriet un atkal atveriet „Claude Desktop“.

Ja programma neparādās vai netiek rādīta kā darbojošā, pārliecinieties, vai ir atvērta „Stream Deck“ lietotne ar ieslēgtām MCP darbībām un vai konfigurācijas fails ir pareizi saglabāts. Pēc tam pilnībā aizveriet un atkal atveriet „Claude Desktop“.

NVIDIA G-Assist un Claude Desktop ir divi no pirmajiem, kas tiek pieslēgti, taču, tā kā MCP ir atvērts standarts, jebkurš saderīgs rīks var tikt pieslēgts tādā pašā veidā. Katrs no tiem pārņem Stream Deck pilnīgo integrāciju, spraudņu un darba plūsmu ekosistēmu.

Lai uzzinātu visu par uzstādīšanu, papildu savienojuma veidiem un papildu konfigurāciju, apmeklējiet Elgato MCP Server lapu vietnē npm.

Balss vadība ar G-Assist

Kad G-Assist ir pieslēgts, jūsu balss kļūst par vadības līdzekli. Patiesā priekšrocība slēpjas tajā, ka varat veikt darbības, neizmantojot rokas, kamēr jūsu uzmanība ir vērsta uz kaut ko citu.

Spēles laikā pateikiet „sagatavo manu straumējumu“, un G-Assist apvienos visas nepieciešamās darbības: tiks palaista OBS, izveidota vajadzīgā aina, ieslēgtas gaismas un palaista mūzikas lietotne. Tādējādi visa sagatavošanās tiek veikta ar balss komandām, kamēr jūsu rokas paliek uz tastatūras un peles.

Notikumu vadītas darba plūsmas ar Aitum

Aitum iet vēl tālāk, pilnībā izslēdzot jūs no procesa. Tā vietā, lai jūs dotu komandu, notikumi jūsu straumē automātiski apvieno jūsu darbības.

Sākas uzbrukums un tiek vienlaikus palaistas darbības: mainās ainas, apgaismojums kļūst vājāks un skan sveiciena signāls. Abonents iedarbina īpašu brīdinājuma signālu. Kanāla punktu izmantošana aktivizē balss efektu. Šīs darbības notiek reālajā laikā, bez jūsu iejaukšanās – jums nav ne jāsit pa taustiņiem, ne jārunā.

Teksta balstīti AI rīki

Ja izmantojat „Claude Desktop“, „ChatGPT“ vai citu teksta rīku, pieprasījumus varat ievadīt tāpat. Lai pārbaudītu savienojumu, sāciet sarunu ar jautājumu „Kādas „Stream Deck“ darbības man ir pieejamas?“, pēc tam turpiniet rakstīt to, kas jums nepieciešams.

Ja darbība netiek izpildīta, pārbaudiet šādus aspektus:

1. Lietotne „Stream Deck“ darbojas, un iestatījumos ir atzīmēta opcija „Iespējot MCP darbības “.
2. Darbība tiek veikta profilā „MCP Actions“, nevis citā profilā.
3. Jūsu AI rīks ir savienots ar Elgato MCP Server. Ja izmantojat G-Assist, pārliecinieties, ka termināļa logs, kurā darbojas serveris, joprojām ir atvērts un tajā redzams savienojums ar Stream Deck. Programmā Claude Desktop atveriet sadaļu „Settings“ (Iestatījumi), pēc tam „Developer“ (Izstrādātājs) un pārliecinieties, ka sadaļā „Local MCP servers“ (Vietējie MCP serveri) ir redzams ieraksts „elgato“ ar zaļu ikonu, kas norāda, ka serveris darbojas.

MCP atbalsts programmā „Stream Deck“ 7.4 ir pirmais solis ceļā uz plašāku AI integrāciju. „G-Assist“ un „Aitum“ ir pirmie, kas tiek integrēti, taču, tā kā MCP ir atvērts standarts, tie nebūs pēdējie. AI nodrošina datu ievadi. „Stream Deck“ nodrošina darbības. Un, pieaugot integrēto rīku skaitam, iespējas turpina paplašināties.

Jo vairāk darbību esat iestatījis Stream Deck, jo vairāk ar tām var darīt jebkurš savienots AI rīks. Izpētiet spraudņus Elgato Marketplace, lai paplašinātu iespējas.