Jak sterować Stream Deck za pomocą sztucznej inteligencji

Wersja Stream Deck 7.4 po raz pierwszy udostępnia aplikację Stream Deck asystentom AI. Dzięki obsłudze protokołu MCP narzędzia AI mogą teraz łączyć się z aplikacją Stream Deck i uruchamiać określone czynności za pomocą poleceń głosowych, tekstowych, a nawet zdarzeń na żywo.

NVIDIA G-Assist jako pierwsza wprowadza obsługę sterowania głosowego w Stream Deck. Wystarczy powiedzieć „przygotuj mój stream”, a urządzenie połączy Twoje czynności, uruchamiając OBS, włączając oświetlenie, uruchamiając muzykę i ustawiając scenę — wszystko bez użycia rąk. Aitum, popularna platforma automatyzacji dla streamerów, również jest w trakcie integracji, umożliwiając automatyczne wyzwalanie akcji Stream Deck podczas wydarzeń na żywo, takich jak rajdy i subskrypcje. A ponieważ MCP jest otwartym standardem, wkrótce pojawi się więcej narzędzi.

Akcje w aplikacji Stream Deck nadal konfiguruje się tak samo jak dotychczas. MCP oferuje nowe sposoby ich uruchamiania. W tym przewodniku wyjaśniono, czym jest MCP, jak je skonfigurować i jak zacząć z niego korzystać.

Skrót MCP oznacza Model Context Protocol. Jest to otwarty standard, który zapewnia narzędziom sztucznej inteligencji wspólny sposób łączenia się z aplikacjami i usługami.

Pomyśl o tym jak o USB. Zanim pojawiło się USB, każde urządzenie wymagało własnego rodzaju kabla i złącza. USB stworzyło jeden standard, który działa ze wszystkim. MCP pełni tę samą rolę w przypadku narzędzi AI. Zamiast tego, by każdy asystent AI potrzebował osobnego połączenia z każdą aplikacją, MCP zapewnia im wspólny sposób komunikacji.

Wraz z wersją 2.4 aplikacji Stream Deck dołącza ona do tej listy. Sztuczna inteligencja dostarcza dane wejściowe. Stream Deck wykonuje działania.

MCP sprawdza się najlepiej, gdy chcesz łączyć różne czynności lub mieć wolne ręce.

Dzięki NVIDIA G-AssistTwój głos staje się sposobem sterowania. Powiedz „przygotuj mój stream”, a G-Assist połączy Twoje czynności, aby otworzyć OBS, ustawić scenę, włączyć oświetlenie i uruchomić muzykę. Powiedz „zakończ stream”, a uruchomi sekwencję wyłączania. Twoje ręce nigdy nie opuszczają klawiatury i myszy, a Ty nie musisz odrywać wzroku od tego, co robisz.

Wraz z Aitum, to wydarzenia na żywo w Twoim streamie uruchamiają akcje zamiast Ciebie. Rozpoczyna się rajd, a Twoje działania łączą się, aby zmienić scenę, przyciemnić światła i odtworzyć dźwięk powitalny. Wykorzystanie punktów kanału aktywuje efekt głosowy. Subskrypcja uruchamia podziękowanie na Discordzie. Te procesy działają w czasie rzeczywistym, bez Twojego udziału.

Ponieważ MCP jest otwartym standardem, narzędzia AI oparte na tekście, takie jak Claude Desktop i ChatGPT, również mogą łączyć się z platformą i uruchamiać określone działania. Więcej informacji na temat ich konfiguracji znajdziesz w dalszej części tego przewodnika.

Im więcej akcji dodasz do Stream Deck, tym więcej możliwości połączeń i współpracy zyskuje każde podłączone narzędzie oparte na sztucznej inteligencji.

Konfiguracja składa się z trzech części:

1. Włącz funkcję MCP w aplikacji Stream Deck i wybierz czynności, do których ma dostęp Twoja sztuczna inteligencja. Znajdują się one w specjalnym profilu o nazwie „MCP Actions”.
2. Na komputerze należy zainstalować niewielki program o nazwie Elgato MCP Server. To właśnie on łączy narzędzie AI z aplikacją Stream Deck.
3. Poinformuj swoje narzędzie AI, gdzie znajduje się serwer Elgato MCP.

Gdy wszystko zostanie podłączone, możesz wpisywać lub wypowiadać polecenia, a Twoje narzędzie AI uruchomi odpowiednią akcję w Stream Deck. Przyjrzyjmy się każdej z nich.

1. Otwórz aplikację Stream Deck.
2. Przejdź do sekcji „Preferencje ” i wybierz zakładkę „Ogólne ”.
3. W sekcji „Elgato MCP Integration” zaznacz opcję „Włącz działania MCP”.

Spowoduje to utworzenie specjalnego profilu o nazwie „MCP Actions”, który znajdziesz w rozwijanym menu profili u góry aplikacji Stream Deck.

Przeciągnij czynności z panelu czynności po prawej stronie na przyciski, tak jak w przypadku każdego innego profilu. Każda czynność umieszczona w tym miejscu staje się dostępna dla podłączonych narzędzi AI. Czynności w pozostałych profilach pozostają prywatne, dzięki czemu masz pełną kontrolę nad tym, do czego AI ma dostęp.

Pomyśl o czynnościach, które wykonujesz w ramach swojego procesu pracy: uruchamianie aplikacji, przełączanie scen, sterowanie oświetleniem, regulacja dźwięku, odtwarzanie muzyki. Im więcej z nich umieścisz w profilu MCP Actions, tym lepiej Twoje narzędzie AI będzie w stanie połączyć je w automatyczne procesy pracy.

Każda akcja w profilu MCP Actions posiada pole opisu, które informuje sztuczną inteligencję o tym, na czym polega dana akcja i kiedy należy ją zastosować. Jest to jeden z najważniejszych elementów konfiguracji, ponieważ właśnie na tej podstawie sztuczna inteligencja decyduje, którą akcję uruchomić w odpowiedzi na wysłane żądanie.

Aby dodać opis, wybierz czynność i kliknij ikonę AI w ustawieniach czynności u dołu ekranu. Następnie wpisz jasny i zwięzły opis.

Każda akcja w profilu MCP Actions posiada pole opisu, które informuje sztuczną inteligencję o tym, na czym polega dana akcja i kiedy należy ją zastosować. Jest to jeden z najważniejszych elementów konfiguracji, ponieważ właśnie na tej podstawie sztuczna inteligencja decyduje, które akcje połączyć po otrzymaniu żądania.

Aby dodać opis, wybierz czynność i kliknij ikonę AI w ustawieniach czynności u dołu ekranu. Następnie wpisz jasny i zwięzły opis.

Dobry opis informuje sztuczną inteligencję, na czym polega dana czynność i kiedy ma ona zastosowanie. Na przykład, jeśli dodasz osobne czynności dla programów OBS, Key Light i Spotify, możesz je opisać w następujący sposób:

• „Spowoduje to uruchomienie programu OBS Studio. Skorzystaj z tej opcji podczas przygotowywania transmisji lub nagrania”.
• „To włącza moje oświetlenie Elgato Key Light. Użyj go, gdy przygotowujesz się do transmisji na żywo, nagrania lub pojawienia się przed kamerą.”
• „To otwiera aplikację Spotify. Użyj tej opcji, gdy zaczynasz transmisję na żywo lub uruchamiasz stream”.

W przypadku takich opisów wystarczy powiedzieć „przygotuj mój stream”. Sztuczna inteligencja analizuje wszystkie opisy, rozpoznaje, że mają zastosowanie programy OBS, Key Light i Spotify, i uruchamia je jednocześnie. Nie musiałeś wcześniej konfigurować tej kombinacji. Sztuczna inteligencja sama to ustaliła na podstawie opisów.

To właśnie odróżnia MCP od zwykłego naciśnięcia pojedynczego klawisza. Wystarczy raz skonfigurować poszczególne czynności i określić, do czego każda z nich służy. Sztuczna inteligencja sama zajmuje się kombinacjami w zależności od Twoich poleceń, dzięki czemu ten sam zestaw czynności można łączyć na różne sposoby bez konieczności ponownej konfiguracji.

Przed podłączeniem jakiegokolwiek narzędzia AI należy zainstalować na komputerze środowisko Node.js. Node.js to bezpłatne, powszechnie stosowane środowisko, które stanowi podstawę działania wielu aplikacji i usług. Działa na nim serwer Elgato MCP Server, a jest ono również wymagane do konfiguracji zarówno G-Assist, jak i Claude Desktop.

Jeśli jeszcze go nie masz, pobierz go i zainstaluj ze strony nodejs.org. Wybierz wersję LTS (Long Term Support). Instalator działa tak samo jak każda inna aplikacja. Uruchom go, postępuj zgodnie z wyświetlanymi instrukcjami i gotowe. Nie musisz niczego konfigurować ani uczyć się, jak z niego korzystać.

Elgato MCP Server służy do połączenia Twojego narzędzia AI z aplikacją Stream Deck. Aby go zainstalować, otwórz terminal (Terminal w systemie macOS, PowerShell w systemie Windows) i wpisz:

npm install -g @elgato/mcp-server

Spowoduje to trwałe zainstalowanie programu na komputerze, dzięki czemu będzie on gotowy do użycia, gdy tylko go potrzebujesz.

Jeśli chcesz najpierw tylko wypróbować tę aplikację, możesz pominąć ten krok. Poniższe instrukcje konfiguracji wykorzystują narzędzie npx, które pobiera i uruchamia serwer Elgato MCP tymczasowo, bez konieczności instalowania czegokolwiek. Działa to w ten sam sposób, ale aplikacja jest pobierana ponownie przy każdym uruchomieniu.

Aby zapoznać się z dodatkowymi opcjami i szczegółowymi informacjami, odwiedź stronę Elgato MCP Server w serwisie npm.

G-Assist wprowadza sterowanie głosowe do Stream Deck. Po podłączeniu możesz uruchamiać i łączyć działania w swoim profilu MCP Actions za pomocą głosu.

Uruchom serwer Elgato MCP

1) Otwórz terminal na swoim komputerze (PowerShell w systemie Windows).

2) Wprowadź następujące polecenie:

npx -y @elgato/mcp-server@latest --http

3) Pozostaw to okno otwarte. Powinieneś zobaczyć komunikat informujący, że serwer HTTP nasłuchuje na porcie 9090 oraz że aplikacja Stream Deck jest podłączona.

Podczas korzystania z G-Assist serwer musi działać w tle. Jeśli zamkniesz okno terminala, połączenie zostanie przerwane.

Zainstaluj wtyczkę G-Assist

G-Assist wykorzystuje wtyczkę do komunikacji z serwerem Elgato MCP. Umieść folder wtyczek Stream Deck w katalogu wtyczek G-Assist:

%PROGRAMDATA%\NVIDIA Corporation\nvtopps\rise\plugins

Następnie uruchom ponownie G-Assist lub odśwież wtyczki. Podczas pierwszego uruchomienia wtyczka automatycznie wykrywa dostępne akcje Stream Deck.

Sprawdź połączenie

Możesz sprawdzić, czy serwer Elgato MCP działa, otwierając przeglądarkę i przechodząc na stronę:

http://localhost:9090/health

Jeśli serwer działa i jest połączony z aplikacją Stream Deck, wyświetli się komunikat o stanie.

Jeśli korzystasz z aplikacji Claude Desktop lub innego narzędzia AI opartego na tekście, możesz również połączyć je z Stream Deck za pośrednictwem MCP. Poniższe instrukcje dotyczą konkretnie aplikacji Claude Desktop.

Edytuj plik konfiguracyjny

Program Claude Desktop zapisuje informacje o połączeniach z serwerem MCP w pliku konfiguracyjnym. Należy dodać serwer Elgato MCP do tego pliku, aby program Claude wiedział, gdzie go znaleźć.

1. Uruchom program Claude Desktop.
2. Przejdź do sekcji „Ustawienia”, następnie „Dla programistów”, a potem kliknij „Edytuj konfigurację”. Spowoduje to otwarcie folderu, w którym znajduje się plik konfiguracyjny.
3. Znajdź w tym folderze plik claude_desktop_config.json. Kliknij go prawym przyciskiem myszy i otwórz w edytorze tekstu (Notatnik w systemie Windows, TextEdit w systemie macOS).
4. Plik będzie już zawierał pewną treść. Należy dodać wpis mcpServers wewnątrz istniejącej struktury, a nie jako oddzielny blok poniżej.

Znajdź ostatni znak } zamykający istniejącą sekcję. Dodaj po nim przecinek, a następnie wstaw sekcję mcpServers przed ostatnim zamykającym znakiem }.

Oto jak wygląda typowy plik po edycji:

Wszystko musi znajdować się w obrębie jednej pary nawiasów klamrowych `{ }`, a poszczególne sekcje należy oddzielać przecinkami. Jeśli blok `mcpServers` zostanie wklejony jako oddzielny obiekt poniżej istniejącej treści, aplikacja Claude Desktop wyświetli komunikat o błędzie podczas uruchamiania.

Jeśli plik jest pusty lub zawiera tylko `{}`, możesz zastąpić całą zawartość następującym tekstem:

5. Zapisz plik i całkowicie zamknij program Claude Desktop (nie wystarczy tylko zamknąć okno). W systemie macOS kliknij prawym przyciskiem myszy ikonę w pasku Dock i wybierz opcję „Zamknij”.

Sprawdź połączenie

Aby sprawdzić, czy wszystko działa poprawnie, przejdź do sekcji „Ustawienia”, a następnie „Dla programistów”. W sekcji „Lokalne serwery MCP” powinna pojawić się pozycja „Elgato” z zieloną ikoną oznaczającą, że serwer działa.

Jeśli aplikacja nie wyświetla się lub nie jest widoczna jako uruchomiona, sprawdź dokładnie, czy aplikacja Stream Deck jest otwarta z włączoną funkcją MCP Actions oraz czy plik konfiguracyjny został poprawnie zapisany. Następnie całkowicie zamknij i ponownie uruchom aplikację Claude Desktop.

Jeśli aplikacja nie wyświetla się lub nie jest widoczna jako uruchomiona, sprawdź, czy aplikacja Stream Deck jest otwarta z włączoną funkcją MCP Actions oraz czy plik konfiguracyjny został poprawnie zapisany. Następnie całkowicie zamknij i ponownie uruchom aplikację Claude Desktop.

NVIDIA G-Assist i Claude Desktop to dwie pierwsze aplikacje, które można podłączyć, ale ponieważ MCP jest otwartym standardem, każde kompatybilne narzędzie można podłączyć w ten sam sposób. Każde z nich zyskuje dostęp do pełnego ekosystemu integracji, wtyczek i schematów pracy Stream Deck.

Aby uzyskać szczegółowe informacje na temat instalacji, dodatkowych metod połączeń oraz zaawansowanej konfiguracji, odwiedź stronę Elgato MCP Server w serwisie npm.

Sterowanie głosowe za pomocą G-Assist

Po podłączeniu G-Assist Twoje polecenia głosowe stają się sposobem sterowania. Prawdziwą zaletą jest możliwość wykonywania czynności bez użycia rąk, podczas gdy Twoja uwaga skupia się na czymś innym.

Wystarczy, że w trakcie gry powiesz „przygotuj mój stream”, a G-Assist zsynchronizuje wszystkie czynności: uruchomi się OBS, skonfiguruje się scena, włączą się światła i uruchomi się aplikacja muzyczna. Cała procedura przygotowania jest obsługiwana za pomocą głosu, dzięki czemu ręce pozostają na klawiaturze i myszce.

Procesy oparte na zdarzeniach w Aitum

Aitum idzie o krok dalej, całkowicie wyłączając użytkownika z tego procesu. Zamiast wydawać polecenia, zdarzenia w strumieniu automatycznie łączą Twoje działania.

Rozpoczyna się nalot i wszystkie elementy reagują jednocześnie: zmieniają się sceny, przygasają światła i rozbrzmiewa dźwięk powitalny. Subskrybent uruchamia specjalną sekwencję alarmową. Wykorzystanie punktów kanałowych aktywuje efekt głosowy. Te procesy przebiegają w czasie rzeczywistym, bez konieczności naciskania klawiszy czy wypowiadania słów.

Narzędzia AI oparte na tekście

Jeśli korzystasz z aplikacji Claude Desktop, ChatGPT lub innego narzędzia tekstowego, możesz wprowadzać polecenia w ten sam sposób. Rozpocznij rozmowę od pytania „Jakie akcje Stream Deck są dostępne?”, aby sprawdzić połączenie, a następnie wpisz, czego potrzebujesz.

Jeśli akcja nie uruchamia się, sprawdź, czy:

1. Aplikacja Stream Deck jest uruchomiona, a w ustawieniach zaznaczono opcję „Włącz akcje MCP ”.
2. Działanie znajduje się w profilu MCP Actions, a nie w innym profilu.
3. Twoje narzędzie AI jest połączone z serwerem Elgato MCP. W przypadku G-Assist sprawdź, czy okno terminala, w którym działa serwer, jest nadal otwarte i czy wyświetla połączenie z Stream Deck. W aplikacji Claude Desktop przejdź do sekcji „Ustawienia”, a następnie „Dla programistów” i upewnij się, że w sekcji „Lokalne serwery MCP” widnieje pozycja „elgato” z zieloną ikoną wskazującą, że serwer działa.

Obsługa MCP w Stream Deck 7.4 to pierwszy krok w kierunku szerszej integracji z technologią AI. G-Assist i Aitum to pierwsze narzędzia, które się z nią połączyły, ale ponieważ MCP jest otwartym standardem, nie będą one ostatnimi. Sztuczna inteligencja dostarcza dane wejściowe. Stream Deck zapewnia działania. A wraz z pojawianiem się kolejnych narzędzi możliwości stale się poszerzają.

Im więcej akcji skonfigurujesz w Stream Deck, tym więcej możliwości zyska każde podłączone narzędzie oparte na sztucznej inteligencji. Zapoznaj się z wtyczkami dostępnymi w Elgato Marketplace, aby poszerzyć zakres dostępnych funkcji.