How To

如何通过 AI 控制 Stream Deck

更新

  本页面由 DeepL 自动翻译。 Switch to English

Stream Deck 7.4 首次将 Stream Deck 向 AI 助手开放。借助 MCP 支持,AI 工具现在可以连接到 Stream Deck,并通过语音、文本甚至实时事件来触发您的操作。

NVIDIA G-Assist 率先实现连接,为 Stream Deck 带来语音控制功能。 只需说一句“准备直播”,它便会整合各项操作,自动启动 OBS、开启灯光、播放音乐并设置场景,全程无需动手。面向主播的热门自动化平台 Aitum 也已实现集成,可让团队直播和订阅等实时事件自动触发 Stream Deck 操作。而且由于 MCP 是一个开放标准,更多工具即将推出。

您仍可像往常一样在 Stream Deck 应用中设置操作。MCP 提供了新的激活方式。本指南将详细介绍 MCP 的功能、设置方法以及如何开始使用它。

Stream Deck - Lifestyle Creative

什么是MCP

MCP 是“模型上下文协议”(Model Context Protocol)的缩写。这是一项开放标准,为人工智能工具提供了一种连接应用程序和服务的通用方式。

不妨把它想象成USB。在USB出现之前,每台设备都需要专属的线缆和接口。USB建立了一个通用的标准,适用于所有设备。MCP对AI工具的作用也与此相同。以往,每个AI助手都需要与每个应用程序建立专属连接,而MCP则为它们提供了一种通用的通信方式。

随着 Stream Deck 7.4 的发布,Stream Deck 也加入了这一行列。AI 提供输入,Stream Deck 执行操作。

您可以用它做什么

当您需要组合操作或解放双手时,MCP 便能发挥其最大优势。

使用 NVIDIA G-Assist,您的声音即为输入指令。只需说一句“准备直播”,G-Assist 便能整合各项操作:打开 OBS、设置场景、开启灯光并播放背景音乐。说一句“结束直播”,它便会执行关机流程。您的双手始终无需离开键盘和鼠标,视线也无需从当前操作中移开。

Aitum,直播中的实时事件将自动触发操作,无需您手动干预。当团队来袭时,您的动作会协同切换场景、调暗灯光并播放欢迎音效;兑换频道积分会触发语音特效;订阅成功则会在 Discord 中触发点名致谢。这些工作流均实时运行,无需您进行任何操作。

由于 MCP 是一个开放标准,像 Claude Desktop 和 ChatGPT 这样的基于文本的 AI 工具也可以连接并触发您的操作。关于如何设置这些工具,本指南后文将详细说明。

您在 Stream Deck 中添加的操作越多,任何已连接的 AI 工具就能结合并利用的资源就越多。

工作原理

该设置包括三个部分:

  1. 在 Stream Deck 应用中启用 MCP,并选择希望 AI 访问的操作。这些操作将保存在一个名为“MCP 操作”的专用配置文件中。
  2. 您需要在计算机上安装一个名为 Elgato MCP Server 的小型插件。它负责将您的 AI 工具与 Stream Deck 应用程序连接起来。
  3. 请告诉您的 AI 工具 Elgato MCP Server 的位置。

一切连接完毕后,您可以通过输入文字或语音发出指令,AI 工具将触发相应的 Stream Deck 操作。让我们逐一了解这些操作。

在 Stream Deck 中设置 MCP 操作

  1. 打开 Stream Deck 应用。
  2. 转到“偏好设置”,然后选择“通用”选项卡。
  3. “Elgato MCP 集成”下,勾选“启用 MCP 操作”。
Stream Deck - MCP Toggle

这将创建一个名为“MCP Actions”的专用配置文件,您可以在 Stream Deck 应用顶部的配置文件下拉菜单中找到它。

从右侧的操作面板中将操作拖放到其按键上,就像操作其他配置文件一样。您放置在此处的任何操作都将对已连接的 AI 工具开放。其他配置文件中的操作将保持私密,因此您可以精确控制 AI 能够访问的内容。

想想你在工作流程中使用的各种操作:启动应用、切换场景、控制灯光、调节音频、播放音乐。你将这些操作添加到 MCP Actions 配置文件中的越多,你的 AI 工具就越能将它们整合成无需手动操作的工作流程。

注意:在“偏好设置”中找不到 Elgato MCP 集成选项?请确保您运行的是 Stream Deck 7.4 或更高版本。请在此处下载最新版本

为您的操作添加描述

MCP Actions 配置文件中的每个操作都包含一个描述字段,用于告知 AI 该操作的功能及其适用场景。这是配置中最关键的部分之一,因为 AI 正是通过该字段来决定在收到请求时触发哪个操作。

要添加描述,请选择一个操作,然后点击屏幕底部的操作设置中的AI 图标。接着,请撰写一段清晰简洁的描述。

Stream Deck - AI

MCP Actions 配置文件中的每个操作都包含一个描述字段,用于告知 AI 该操作的功能及其适用场景。这是配置中最关键的部分之一,因为当您发出请求时,AI 正是通过这些信息来决定应组合哪些操作。

要添加描述,请选择一个操作,然后点击屏幕底部的操作设置中的AI 图标。接着,请撰写一段清晰简洁的描述。

一个好的描述能告诉 AI 该操作的功能以及何时适用。例如,如果你为 OBS、Key Light 和 Spotify 分别添加了操作,可以这样描述它们:

  • “这将打开 OBS Studio。在准备直播或录制时请使用此功能。”
  • “这会打开我的 Elgato Key Light。在准备直播、录制或上镜时请使用它。”
  • “这将打开 Spotify。进行直播或开始流媒体播放时请使用此功能。”

有了这样的描述,只需说一句“准备好我的直播”就够了。AI 会读取所有描述,识别出 OBS、Key Light 和 Spotify 都适用,并同时触发它们。你无需预先设置这个组合,AI 会根据描述自动识别出来。

这正是 MCP 与单纯按下一个按键的不同之处。您只需一次性设置好各项操作,并说明每项操作的用途。AI 会根据您的指令自动处理这些操作的组合,因此同一组操作可以以不同的方式组合,而无需您重新配置任何内容。

安装 Node.js

在连接任何 AI 工具之前,您需要在计算机上安装 Node.js。Node.js 是一款免费且广泛使用的工具,在后台为许多应用程序和服务提供支持。Elgato MCP Server 基于它运行,而 G-Assist 和 Claude Desktop 的安装路径也都需要它。

如果您尚未安装,请从nodejs.org 下载并安装。请选择 LTS(长期支持)版本。安装程序的操作方式与其他应用程序相同。运行它,按照提示操作,即可完成安装。您无需进行任何配置,也不需要学习如何使用它。

安装 Elgato MCP 服务器

Elgato MCP Server 是连接您的 AI 工具与 Stream Deck 应用的桥梁。要安装它,请打开终端(macOS 上的“终端”,Windows 上的 PowerShell),并运行以下命令:

npm install -g @elgato/mcp-server

这会将其永久安装到您的计算机上,以便您随时都能使用。

如果您只想先试用一下,可以跳过此步骤。下面的设置说明使用npx,它会在不安装任何软件的情况下临时下载并运行 Elgato MCP Server。其工作原理与安装版相同,但每次启动时都会重新下载。

如需了解其他选项和详细信息,请访问npm 上的 Elgato MCP Server 页面

将 NVIDIA G-Assist 连接到 Stream Deck

G-Assist 为 Stream Deck 带来了语音控制功能。连接成功后,您只需通过语音指令,即可触发并组合 MCP Actions 配置文件中的操作。

启动 Elgato MCP 服务器

1) 在计算机上打开终端(Windows 系统中为 PowerShell)。

2) 运行以下命令:

npx -y @elgato/mcp-server@latest --http

3) 请保持此窗口打开。您应该会看到一条消息,提示 HTTP 服务器正在监听 9090 端口,且 Stream Deck 应用已连接。

在使用 G-Assist 时,服务器需要在后台保持运行。如果您关闭终端窗口,连接将会中断。

安装 G-Assist 插件

G-Assist 通过插件与 Elgato MCP Server 进行通信。请将 Stream Deck 插件文件夹放置在 G-Assist 的插件目录中:

%PROGRAMDATA%\NVIDIA Corporation\nvtopps\rise\plugins

然后重新启动 G-Assist 或重新加载插件。首次加载时,插件会自动检测您可用的 Stream Deck 操作。

确认连接

您可以通过打开浏览器并访问以下网址来确认 Elgato MCP Server 是否正在运行:

http://localhost:9090/health

如果服务器正在运行且已连接到 Stream Deck 应用,您将看到状态响应。

将 Claude Desktop 连接到 Stream Deck

如果您使用的是 Claude Desktop 或其他基于文本的 AI 工具,也可以通过 MCP 将其连接到 Stream Deck。以下步骤将具体介绍如何连接 Claude Desktop。

编辑配置文件

Claude Desktop 将其 MCP 连接信息存储在一个配置文件中。您需要将 Elgato MCP Server 添加到该文件中,以便 Claude 知道在哪里查找它。

  1. 打开 Claude Desktop。
  2. 进入“设置”,然后选择“开发者”,接着点击“编辑配置”。这将打开存储配置文件的文件夹。
  3. 在该文件夹中找到claude_desktop_config.json 文件。右键单击该文件,并使用文本编辑器打开(Windows 系统使用“记事本”,macOS 系统使用“文本编辑”)。
  4. 该文件中已经包含了一些内容。你需要在现有结构内添加一个 mcpServers 条目,而不是将其作为独立的块放在下方。

找到关闭现有部分的最后一个 }。在其后添加一个逗号,然后在最后的闭合 } 之前添加 mcpServers 部分。

以下是编辑后典型文件的外观:

{ "preferences": { "coworkWebSearchEnabled": true, "coworkScheduledTasksEnabled": true, "sidebarMode": "chat" }, "mcpServers": { "elgato": { "command": "npx", "args": ["--yes", "@elgato/mcp-server@latest"] } } }

所有内容都必须包含在一对大括号 `{ }` 内,各部分之间用逗号分隔。如果将 `mcpServers` 代码块作为独立对象粘贴在现有内容下方,Claude Desktop 在启动时会显示错误。

如果文件为空或仅包含 `{}`,您可以将所有内容替换为:

{ "mcpServers": { "elgato": { "command": "npx", "args": ["--yes", "@elgato/mcp-server@latest"] } } }

5. 保存文件,并完全退出 Claude Desktop(不要只是关闭窗口)。在 macOS 上,右键点击 Dock 图标,然后选择“退出”

Notepad - MCP Server

Claude 配置文件示例。

确认连接

要验证一切是否正常,请进入“设置”,然后选择“开发者”。在“本地 MCP 服务器”下,您应该会看到Elgato列在其中,并带有绿色的“正在运行”标签。

如果它没有出现或显示为未运行状态,请再次确认 Stream Deck 应用已打开且已启用 MCP Actions,并确保配置文件已正确保存。然后完全退出并重新打开 Claude Desktop。

Claude - MCP Server

如果它没有出现或显示为未运行状态,请再次确认 Stream Deck 应用已打开且已启用 MCP Actions,并确保配置文件已正确保存。然后完全退出并重新打开 Claude Desktop。

连接其他 AI 工具

NVIDIA G-Assist 和 Claude Desktop 是首批实现连接的两款工具,但由于 MCP 是一个开放标准,任何兼容的工具都可以通过相同的方式接入。每款工具都继承了 Stream Deck 完整的集成、插件和工作流生态系统。

如需了解完整的安装说明、其他连接方式以及高级配置,请访问npm 上的 Elgato MCP Server 页面

试试看

通过 G-Assist 进行语音控制

连接 G-Assist 后,您的声音将成为操作指令。其真正的价值在于,当您将注意力集中在其他事情上时,仍能实现免提操作。

在游戏进行中说一句“准备好我的直播”,G-Assist 就会自动执行一系列操作:启动 OBS、设置好场景、打开灯光,并启动音乐应用。整个准备流程都通过语音完成,而你的双手可以一直留在键盘和鼠标上。

使用 Aitum 实现事件驱动的工作流

Aitum 更进一步,彻底将你排除在操作流程之外。你无需下达指令,流上的事件会自动整合你的操作。

突袭行动开始,各项操作同步启动:画面切换,灯光暗下,欢迎音效响起。订阅用户触发了一组特殊警报序列。兑换频道积分时,语音效果随之激活。这些流程均实时发生,无需您按键或发声。

基于文本的AI工具

如果您正在使用 Claude Desktop、ChatGPT 或其他基于文本的工具,可以采用相同的方式输入请求。请先输入“我有哪些可用的 Stream Deck 操作?”来确认连接,然后输入您需要的内容。

故障排除

如果某个操作未触发,请检查以下内容:

  1. Stream Deck 应用正在运行,且“首选项”中已勾选“启用 MCP 操作”。
  2. 该操作位于MCP Actions配置文件中,而非其他配置文件。
  3. 您的 AI 工具已连接到 Elgato MCP 服务器。对于 G-Assist,请确认运行服务器的终端窗口是否仍处于打开状态,并显示已连接到 Stream Deck。在 Claude Desktop 中,进入“设置”,然后选择“开发者”,确认“本地 MCP 服务器”下是否显示elgato,且其状态为绿色“运行中”。

总结

Stream Deck 7.4 对 MCP 的支持是迈向更深度 AI 互联的第一步。G-Assist 和 Aitum 是首批实现连接的工具,但由于 MCP 是一个开放标准,它们绝不会是最后一批。AI 提供输入,Stream Deck 执行操作。随着更多工具的接入,可能性将不断扩展。

您在 Stream Deck 中设置的动作越多,任何已连接的 AI 工具就能利用这些动作完成更多任务。请在Elgato Marketplace上探索各种插件,以拓展更多可能性。

产品注册