Kuidas juhtida Stream Deck'i tehisintellekti abil

Stream Deck 7.4 avab Stream Deckile esimest korda võimaluse kasutada tehisintellekti abilisi. Tänu MCP-toele saavad tehisintellekti tööriistad nüüd Stream Deckiga ühenduda ja käivitada teie toiminguid kas hääle, teksti või isegi reaalajas toimuvate sündmuste abil.

NVIDIA G-Assist on esimene, mis ühendub ja toob hääljuhtimise Stream Deckile. Ütle „get my stream ready” ja see kombineerib su tegevused, et käivitada OBS, lülitada sisse valgustus, alustada muusika mängimist ja seadistada stseen – kõik käed vabad. Aitum, populaarne automatiseerimisplatvorm striimijatele, integreeritakse samuti, võimaldades live-sündmustel, nagu raidid ja tellimused, käivitada Stream Deck'i tegevusi automaatselt. Ja kuna MCP on avatud standard, on veel rohkem tööriistu tulemas.

Stream Deck’i rakenduses seadistad toiminguid endiselt samamoodi nagu varemgi. MCP pakub uusi võimalusi nende käivitamiseks. Käesolev juhend selgitab, mis on MCP, kuidas seda seadistada ja kuidas selle kasutamist alustada.

MCP tähendab Model Context Protocol. See on avatud standard, mis pakub tehisintellekti tööriistadele ühtset viisi rakenduste ja teenustega ühenduse loomiseks.

Kujutage seda ette nagu USB-d. Enne USB-d vajas iga seade oma tüüpi kaablit ja pistikut. USB lõi ühe standardi, mis sobib kõigega. MCP teeb sama asja tehisintellekti tööriistade puhul. Selle asemel, et iga tehisintellekti abiline vajaks iga rakendusega eraldi ühendust, pakub MCP neile ühist suhtlusviisi.

Stream Deck 7.4 versiooniga lisandub Stream Deck sellesse nimekirja. Tehisintellekt annab sisendi. Stream Deck teostab toimingud.

MCP on parim valik, kui soovid tegevusi kombineerida või käed vabaks jätta.

koos NVIDIA G-Assistigamuutub sinu hääl sisendiks. Ütle „get my stream ready” ja G-Assist kombineerib sinu toimingud, et avada OBS, seadistada stseen, sisse lülitada valgustus ja käivitada muusika. Ütle „wrap up the stream” ja see käivitab sulgemisprotsessi. Sinu käed ei lahku kunagi klaviatuurilt ega hiirest ning sa ei pea kunagi pilku oma tegevuselt kõrvale pöörama.

Koos Aitumiga, käivitavad su striimis toimuvad sündmused need toimingud sinu asemel. Kui algab raid, siis su tegevused ühendavad end, et vahetada stseene, tuhmutada valgustust ja mängida tervitusheli. Kanalipunktide lunastamine aktiveerib hääleefekti. Tellimuse tegemine käivitab Discordi shoutouti. Need töövood toimuvad reaalajas, ilma et sa midagi tegema peaksid.

Kuna MCP on avatud standard, saavad ka tekstipõhised tehisintellekti tööriistad, nagu Claude Desktop ja ChatGPT, sellega ühenduda ja käivitada teie tegevusi. Nende seadistamise kohta leiate lisateavet käesoleva juhendi hilisemast osast.

Mida rohkem toiminguid Stream Deckile lisad, seda rohkem saab iga ühendatud AI-tööriist neid kombineerida ja nendega töötada.

Süsteem koosneb kolmest osast:

1. Luba MCP Stream Deck’i rakenduses ja vali, millistele toimingutele soovid oma tehisintellektile juurdepääsu anda. Need lisatakse spetsiaalsesse profiili nimega „MCP Actions”.
2. Paigaldate oma arvutisse väikese vahenduse nimega Elgato MCP Server. See ühendab teie AI-tööriista Stream Deck rakendusega.
3. Teatage oma tehisintellekti tööriistale, kust leida Elgato MCP Server.

Kui kõik on ühendatud, saate sisestada või öelda käsklusi ning teie tehisintellekti tööriist käivitab vastava Stream Deck’i toimingu. Vaatame neid ükshaaval läbi.

1. Ava rakendus Stream Deck.
2. Mine menüüsse „Eelistused“ ja vali vahekaart „Üldine “.
3. Valige „Elgato MCP Integration“ all valik „Enable MCP Actions“.

See loob eraldi profiili nimega „MCP Actions“, mille leiad Stream Deck’i rakenduse ülaosas asuvast profiilide rippmenüüst.

Lohistage toimingud parempoolse toimingupaneeli kaudu selle profiili nuppudele, täpselt nagu teeksite seda mis tahes muu profiili puhul. Kõik siia paigutatud toimingud muutuvad ühendatud AI-tööriistadele kättesaadavaks. Teiste profiilide toimingud jäävad privaatseks, nii et saate täpselt kontrollida, millistele andmetele AI juurdepääsu omab.

Mõelge tegevustele, mida te oma töövoo käigus teete: rakenduste käivitamine, stseenide vahetamine, valgustusjuhtimine, heli reguleerimine, muusika mängimine. Mida rohkem neid tegevusi lisate MCP Actionsi profiili, seda paremini suudab teie AI-tööriist neid kombineerida käed-vabad töövoodeks.

Igal MCP Actionsi profiilis oleval tegevusel on kirjeldusväli, mis ütleb tehisintellektile, mida tegevus teeb ja millal seda kasutada. See on seadistuse üks olulisemaid osi, sest just selle põhjal otsustab tehisintellekt, millise tegevuse käivitada, kui saadad päringu.

Kirjelduse lisamiseks vali tegevus ja klõpsa ekraani allosas asuvas tegevuse seadete menüüs AI-ikoonile. Seejärel kirjuta selge ja arusaadav kirjeldus.

Igal MCP Actionsi profiilis oleval tegevusel on kirjeldusväli, mis ütleb tehisintellektile, mida tegevus teeb ja millal seda kasutada. See on seadistuse üks olulisemaid osi, sest just selle põhjal otsustab tehisintellekt, milliseid tegevusi kombineerida, kui saadad päringu.

Kirjelduse lisamiseks vali tegevus ja klõpsa ekraani allosas asuvas tegevuse seadete menüüs AI-ikoonile. Seejärel kirjuta selge ja arusaadav kirjeldus.

Hea kirjeldus selgitab tehisintellektile, mida tegevus teeb ja millal see on asjakohane. Näiteks kui lisad eraldi tegevused OBS-ile, Key Lightile ja Spotifyle, võid neid kirjeldada järgmiselt:

• "See avab OBS Studio. Kasuta seda, kui seadistad otseülekannet või salvestust."
• "See lülitab sisse minu Elgato Key Lighti. Kasuta seda, kui valmistud striimima, salvestama või kaamera ette astuma."
• "See avab Spotify. Kasuta seda otseülekande tegemisel või striimi alustamisel."

Selliste kirjelduste puhul piisab lihtsalt ütlusest „valmista mu otseülekanne ette“. Tehisintellekt loeb läbi kõik su kirjeldused, tuvastab, et OBS, Key Light ja Spotify on kõik vajalikud, ning käivitab need üheaegselt. Sa ei pidanud seda kombinatsiooni eelnevalt seadistama. Tehisintellekt järeldas selle kirjelduste põhjal ise.

Just see eristab MCP-d tavalisest ühe klahvi vajutamisest. Sa seadistad üksikud toimingud üks kord ja määratled, milleks igaüks neist on mõeldud. Tehisintellekt haldab kombinatsioone vastavalt sinu soovidele, nii et sama toimingute kogumit saab kombineerida erinevalt, ilma et sa peaksid midagi uuesti seadistama.

Enne mis tahes AI-tööriista ühendamist peab teie arvutisse olema installitud Node.js. Node.js on tasuta ja laialt kasutatav tööriist, mis tagab paljude rakenduste ja teenuste töötamise taustal. Elgato MCP Server töötab selle baasil ning seda on vaja nii G-Assisti kui ka Claude Desktopi seadistamiseks.

Kui sul seda veel pole, lae see alla ja installeeri veebilehelt nodejs.org. Vali LTS-versioon (pikaajalise toega versioon). Installeerija töötab nagu iga teine rakendus. Käivita see, järgi ekraanil kuvatavaid juhiseid ja valmis. Sa ei pea midagi seadistama ega õppima, kuidas seda kasutada.

Elgato MCP Server ühendab teie AI-tööriista rakendusega Stream Deck. Selle installimiseks avage terminaliaken (macOS-is Terminal, Windowsis PowerShell) ja sisestage järgmine käsk:

npm install -g @elgato/mcp-server

See installib selle püsivalt teie arvutisse, nii et see on valmis kasutamiseks, kui seda vajate.

Kui soovid esmalt lihtsalt proovida, võid selle sammu vahele jätta. Allpool toodud seadistamisjuhistes kasutatakse npx-i, mis laadib alla ja käivitab Elgato MCP Serveri ajutiselt, ilma midagi installimata. See toimib samamoodi, kuid laadib programmi iga käivitamisel uuesti alla.

Lisavõimaluste ja täpsema teabe saamiseks külasta npm-is Elgato MCP Serveri lehekülge.

G-Assist lisab Stream Deckile hääljuhtimise võimaluse. Ühenduse loomisel saate oma MCP Actionsi profiilis toimeid käivitada ja kombineerida lihtsalt häälkäsklustega.

Käivita Elgato MCP Server

1) Avage oma arvutis terminaliaken (Windowsis PowerShell).

2) Käivita järgmine käsk:

npx -y @elgato/mcp-server@latest --http

3) Jäta see aken avatuks. Ekraanile peaks ilmuma teade, et HTTP-server kuulab porti 9090 ja et Stream Deck'i rakendus on ühendatud.

G-Assisti kasutamise ajal peab server taustal töötama. Kui sulged terminaliakna, katkeb ühendus.

Paigalda G-Assisti pistikprogramm

G-Assist kasutab Elgato MCP Serveriga suhtlemiseks pistikprogrammi. Paiguta Stream Deck’i pistikprogrammide kaust G-Assisti pistikprogrammide kataloogi:

%PROGRAMDATA%\NVIDIA Corporation\nvtopps\rise\plugins

Seejärel käivita G-Assist uuesti või laadige pistikprogrammid uuesti. Esimesel laadimisel tuvastab pistikprogramm automaatselt sinu Stream Deck'i saadaval olevad toimingud.

Kinnita ühendus

Saate kontrollida, kas Elgato MCP Server töötab, avades veebibrauseri ja minnes aadressile:

http://localhost:9090/health

Kui server töötab ja on ühendatud Stream Deck rakendusega, kuvatakse sulle staatusvastus.

Kui kasutate Claude Desktopi või mõnda muud tekstipõhist tehisintellekti tööriista, saate selle MCP kaudu ühendada ka Stream Deckiga. Allpool toodud juhised käsitlevad konkreetselt Claude Desktopi.

Muuda konfiguratsioonifaili

Claude Desktop salvestab oma MCP-ühendused konfiguratsioonifaili. Pead sellesse faili lisama Elgato MCP Serveri, et Claude teaks, kust seda leida.

1. Ava Claude Desktop.
2. Mine menüüsse „Seaded“, seejärel „Arendaja“ ja klõpsa „Muuda konfiguratsiooni“. See avab kausta, kus konfiguratsioonifail asub.
3. Leia selles kaustas fail claude_desktop_config.json. Klõpsa sellel parema hiireklõpsuga ja ava see tekstiredaktoriga (Windowsis Notepad, macOS-is TextEdit).
4. Failis on juba mingi sisu olemas. Pead lisama mcpServers-kande olemasoleva struktuuri sisse, mitte eraldi plokina selle alla.

Leia viimane sulg }, mis sulgeb olemasoleva sektsiooni. Lisa selle järele koma ja seejärel lisa sektsioon mcpServers enne viimast sulguvat }.

Siin on näide, kuidas tüüpiline fail pärast redigeerimist välja näeb:

Kõik peab jääma ühe välise lokk-sulgude `{ }` vahele, kusjuures iga osa vahel peab olema koma. Kui plokk `mcpServers` kleebitakse olemasoleva sisu alla eraldi objektina, kuvab Claude Desktop käivitamisel veateate.

Kui fail on tühi või sisaldab ainult `{}`, võid kogu sisu asendada järgmisega:

5. Salvesta fail ja sulge Claude Desktop täielikult (ära piirduda ainult akna sulgemisega). MacOS-is klõpsa doki ikoonil parema hiireklõpsuga ja vali „Sulge”.

Kinnita ühendus

Et veenduda, et kõik töötab, mine menüüsse „Seaded“ ja seejärel „Arendaja“. Rubriigis „Kohalikud MCP-serverid“ peaksid nägema Elgato nime koos rohelise töötab -märkega.

Kui see ei ilmu või ei näita, et töötab, kontrolli veel kord, kas Stream Deck’i rakendus on avatud ja MCP Actions on sisse lülitatud ning kas seadistusfail on õigesti salvestatud. Seejärel sulge Claude Desktop täielikult ja ava see uuesti.

Kui see ei ilmu või ei näita, et töötab, kontrolli veel kord, kas Stream Deck’i rakendus on avatud ja MCP Actions on sisse lülitatud ning kas seadistusfail on õigesti salvestatud. Seejärel sulge Claude Desktop täielikult ja ava see uuesti.

NVIDIA G-Assist ja Claude Desktop on kaks esimest rakendust, mis sellega ühenduvad, kuid kuna MCP on avatud standard, saab iga ühilduv rakendus samamoodi ühenduda. Iga rakendus saab kasutusele Stream Decki kogu integratsioonide, pistikprogrammide ja töövoogude ökosüsteemi.

Täielike seadistamisjuhiste, täiendavate ühendusviiside ja täpsemate seadistuste kohta vaata npm-is Elgato MCP Serveri lehekülge.

Hääljuhtimine G-Assisti abil

Kui G-Assist on ühendatud, muutub teie hääl sisendiks. Tõeline väärtus seisneb selles, et saate teha toiminguid käsi vabana, samal ajal kui teie tähelepanu on suunatud mujale.

Ütle mängu ajal „get my stream ready“ ja G-Assist koordineerib su tegevused: OBS käivitub, stseen seatakse valmis, valgustus lülitub sisse ja muusikaäpp käivitub. Kogu see seadistamisprotsess toimub häälkäskluse abil, samal ajal kui su käed jäävad klaviatuurile ja hiirele.

Sündmusepõhised töövood Aitumiga

Aitum läheb veelgi kaugemale, jättes sind protsessist täielikult välja. Selle asemel, et sa ise käske annaksid, kombineerivad su voo sündmused su tegevused automaatselt.

Kõlab sissetungi signaal ja tegevused käivituvad üheaegselt: stseenid vahelduvad, valgustus hämardub ja kostab tervitusheli. Tellija käivitab spetsiaalse hoiatussignaali. Kanalipunktide lunastamine aktiveerib hääleefekti. Need protsessid toimuvad reaalajas, ilma et sa peaksid klahvi vajutama või sõnagi ütlema.

Tekstipõhised tehisintellekti tööriistad

Kui kasutad Claude Desktopi, ChatGPT-d või mõnda muud tekstipõhist tööriista, saad sisestada päringuid samamoodi. Alusta vestlust küsimusega „Millised Stream Deck’i toimingud on mul saadaval?“, et ühendust kontrollida, ja sisesta seejärel oma soov.

Kui tegevus ei käivitu, kontrollige järgmist:

1. Rakendus Stream Deck on käivitatud ja seadete menüüs on valik „Enable MCP Actions“ märgitud.
2. Tegevus asub profiilis „MCP Actions“, mitte mõnes muus profiilis.
3. Teie AI-tööriist on ühendatud Elgato MCP Serveriga. G-Assisti puhul kontrollige, kas serverit käitav terminaliaken on endiselt avatud ja näitab ühendust Stream Deckiga. Claude Desktopis minge menüüsse „Settings“ (Seaded), seejärel „Developer“ (Arendaja) ja veenduge, et „Local MCP servers“ (Kohalikud MCP-serverid) all on kirjas „elgato“ koos rohelise „käimas“ märkega.

MCP-tugi Stream Deck 7.4-s on esimene samm sügavama AI-ühenduvuse suunas. G-Assist ja Aitum on esimesed, mis ühenduvad, kuid kuna MCP on avatud standard, ei jää nad kindlasti viimasteks. AI annab sisendi. Stream Deck teostab toimingud. Ja mida rohkem tööriistu ühendub, seda rohkem võimalusi tekib.

Mida rohkem toiminguid oled Stream Deckis seadistanud, seda rohkem saab iga ühendatud AI-tööriist neid ära kasutada. Tutvu Elgato Marketplace’i pistikprogrammidega, et avardada võimaluste piire.