整合: AI 助理

連線 AI 助理

Agent DVR 可以直接從 AI 助理(例如 Claude、ChatGPT、Cursor 和 VS Code Copilot)使用。以自然語言提問 - 「我昨晚有什麼警報?」、「顯示我今早車道攝影機發生了什麼」、「停用車庫中的攝影機」- 助理會從您的直播攝影機、錄影片段和警報記錄檔(包括影像)回答。

這是透過 Model Context Protocol (MCP) 實現的,這是助理用來連線到外部工具的開放標準。Agent DVR 在兩個地方提供 MCP 伺服器,您可以將助理連線到任何適合您的地方:

  • 內建於 Agent DVR(本機端點):由您本機網路上的伺服器提供服務。不需要帳戶或訂閱。適用於在同一部電腦或 LAN 上執行的助理。
  • 透過 iSpyConnect.com(雲端端點):透過網頁入口網站和行動應用程式使用的相同遠端存取,從任何地方到達您的伺服器,無需通訊埠轉發。需要 iSpyConnect 訂閱。這是用於 claude.ai、ChatGPT 和手機的選項。

兩者都公開相同的工具集。需要 Agent DVR 8.0.3 或更新版本。

本機端點

每個 Agent DVR 伺服器都在其本機網頁伺服器的 /mcp 位置提供 MCP,所以如果您在 http://localhost:8090 開啟 Agent DVR 使用者介面,端點就是 http://localhost:8090/mcp(從區域網路上的另一部電腦使用您伺服器的位址和通訊埠,例如 http://192.168.1.10:8090/mcp)。預設為開啟,可以在伺服器設定 - 本機伺服器中使用 AI Assistant (MCP) Endpoint 關閉。

存取遵循與其餘本機 API 完全相同的規則:在您自己的網路中不需要登入,除非已啟用 保護 API,在這種情況下助理必須傳送管理員使用者的使用者名稱和密碼(大多數 MCP 用戶端允許您新增驗證標頭 (Authorization Header))。來自網路外部的連線另外還需要授權金鑰,與通訊埠轉發存取使用者介面相同。

Claude Code

claude mcp add --transport http agentdvr http://localhost:8090/mcp

Gemini CLI

gemini mcp add -s user --transport http agentdvr http://localhost:8090/mcp

然後在 Gemini CLI 中輸入 /mcp 以確認工具已載入。-s user 部分會將伺服器儲存在您的使用者設定中,以便從任何資料夾存取。

Cursor

新增至 .cursor/mcp.json(或透過設定 - MCP):

{ "mcpServers": { "agentdvr": { "url": "http://localhost:8090/mcp" } } }

VS Code (Copilot)

新增至 .vscode/mcp.json:

{ "servers": { "agentdvr": { "type": "http", "url": "http://localhost:8090/mcp" } } }

Claude Desktop

Claude 桌面應用程式無法直接呼叫您自己電腦上的伺服器,所以它使用一個小型擴充功能為您執行此操作。下載 AgentDVR.mcpb,然後在 Claude Desktop 中開啟 設定 - 擴充功能,並將檔案拖曳到頁面上。它會以已啟用狀態安裝,並連接到 http://localhost:8090/mcp;只有當您的伺服器位於另一台電腦上或已啟用 保護 API 時,才要點擊 設定。Claude 在第一次使用每個工具時要求許可 - 選擇「一律允許」以停止提示。

Claude Desktop 會對每個不是從 Anthropic 自身目錄安裝的擴充功能顯示紅色警告。這對此檔案而言是預期的;該擴充功能僅與您提供的位址通訊。

其他助理

任何支援 HTTP 上 MCP(「串流 HTTP」)的用戶端都可以使用相同的網址。在助理的設定中尋找「MCP 伺服器」、「連接器」或「工具」。

Claude 網頁應用程式和行動應用程式,以及 ChatGPT,完全無法連接您自己網路上的伺服器;它們使用 雲端端點。

雲端端點

使用 iSpyConnect 訂閱,您的伺服器也可以在以下位置存取:

https://www.ispyconnect.com/mcp

將該網址 (URL) 新增為自訂連接器或 MCP 伺服器至您的助理中 (例如在 claude.ai 和 Claude 應用程式中的設定 - 連接器,或在 Cursor 中的對應選項)。助理會開啟 iSpyConnect 登入頁面;登入,選擇是否允許控制以及檢視,然後點擊允許。不需要進行其他設定:所有連接到您帳戶且已啟用遠端存取的 Agent DVR 伺服器都可用,如果您有一個以上的伺服器,助理會詢問您指的是哪一個。

在 ChatGPT (Plus 或 Pro) 中,步驟為:設定 - 安全性和登入 - 開啟開發者模式;然後設定 - 外掛程式 - 瀏覽外掛程式 - 新增。將其命名為 Agent DVR,輸入上述網址 (URL),選擇 OAuth 並將客戶端 ID 和密碼留空,然後登入並點擊允許。如果外掛程式頁面顯示「目前沒有可用的應用程式動作」,請點擊該頁面上的重新整理。

從 Gemini CLI 或 Claude Code 等命令列助手,登入是兩個步驟:新增伺服器,然後授權它,瀏覽器會在同一頁面上開啟。

gemini mcp add -s user --transport http agentdvr-cloud https://www.ispyconnect.com/mcp
gemini
/mcp auth agentdvr-cloud

請求會透過網路入口網站使用的相同轉接器傳輸,因此不需要連接埠轉發,您的伺服器永遠不會暴露於網際網路。當您的訂閱過期時,存取會停止,每個助手的存取可以隨時從助手本身的連接器設定中移除。

您的伺服器必須執行中並連線到 iSpyConnect(本機使用者介面中的掛鎖圖示顯示遠端連線狀態)。伺服器設定中的「阻擋外部存取」也會阻止此端點。

ChatGPT: 使用每個工具,包括快照和錄影片段,但不會顯示提示詞範本。改為按名稱請求工作流程 (「跑步聲 morning_briefing 工作流程」),助理會自行取得步驟。在攝影機的警報設定中開啟描述 (需要在伺服器設定 - AI 下設置 AI 供應商),會為每個警示提供書面說明給每個助理,對於在不錄影的情況下發送警示的攝影機很有用。

助理可以做什麼

助理可以存取一組專門用途的工具,而非原始 API,因此回應快速且成本低廉:

  • 檢視:列出伺服器和裝置(含位置和狀態)、取得活動摘要(每部攝影機每小時的錄影片段和警報,以及偵測到的內容)、列出時間視窗內的錄影片段、以幀格的方式一次查看整個視窗、以時間軸方式查看攝影機全天的幀、從一段錄影片段中取樣幀、取得攝影機的即時快照、讀取警示記錄檔,以及取得在網頁 UI 中開啟錄影片段的連結。
  • 控制:從 API 啟用和停用伺服器、套用設定檔、啟用或停用裝置、變更錄影模式、切換警報、偵測器、物體偵測、人臉辨識和車牌辨識的開關狀態、將物體新增至攝影機的搜尋清單、將裝置放入群組、將 PTZ 攝影機移動至預設位置,以及其他狀態變更。
  • 規則:使用簡單語言設定規則 - 「告訴我未來6小時內是否有紅色汽車出現」、「如果Dave在星期二下午2點到4點出現在門口,提醒我」。助手會選擇偵測器事件(物體、臉部、車牌、聲音、動作),並且只針對偵測器無法判斷的細節(例如顏色或型號),會新增一個關於視覺AI的問題,其答案將確認匹配。規則會以您使用的句子標記為助手建立的普通動作儲存在攝影機上,並自動過期;您可以隨時在該處刪除它。請參閱助手規則和規則範例。需要Agent DVR 8.0.7或更新版本。
  • 其他:進一步讀取和控制指令的目錄,助理可在沒有專用工具適用時呼叫(系統統計資料、裝置的完整狀態、PTZ 預設位置等)。

助手無法刪除錄影片段或相片、變更裝置或伺服器設定、新增或移除裝置,或重新啟動伺服器:無論使用哪個端點,這些命令會被刻意隱藏。規則是它唯一能建立的項目,每個規則都列在「伺服器設定」- 「助手規則」中。在雲端端點上,檢視、控制和規則是您在登入頁面上授予的單獨權限,使用量受速率限制以保護中繼。每當詢問視覺AI問題的規則觸發時會耗用一次AI呼叫(每小時上限),助手在設定規則時會告知您。

範例提示

  • 「過去 24 小時內有人來過前門嗎?給我看看。」
  • 「今天早上有哪些鳥類來訪餵食器?」
  • 「今天車道的使用量有多少,何時使用?」
  • 「給我看看後花園全天的景況。何時開始下雨?」
  • 「昨天我收到哪些警報,其中是否有人員?」
  • 「現在誰在前門?」
  • 「哪些攝影機離線?」
  • 「我們即將出門 - 以外出設定檔啟用所有保護。」
  • 「停用家居位置中的所有攝影機。」
  • 「傳送給我快遞員片段的連結。」
  • 「告訴我未來 6 小時內是否有人來到前門。」
  • 「如果今天車道上出現紅色汽車,請提醒我。」
  • 「讓我知道 Dave 在週二下午 2 點至 4 點期間第一次出現在門口的時間。」
  • 「如果後花園大門攝影機在本週離線,請寄電子郵件給我。」
  • 「當今早有人走進停車場時,告訴他們辦公室在後面。」
  • 「如果今晚有人在側面大門,播放狗叫聲並同時錄製花園攝影機。」
  • 「如果垃圾桶在週日下午 6 點前未放在路邊,請寄電子郵件給 [email protected]。」
  • 「週一至週五上午 9 點至下午 5 點,如果有送貨車停在店鋪外面,請告訴我。」
  • 「告訴我今天是否有人在前門拿著包裹。」
  • 「每天中午拍一張花園的照片。」
  • 「將車道、花園和門禁攝影機放入名為『外部』的群組。」
  • "每當晚上11點至早上6點之間,任何室外攝機偵測到人物時,請告知我。"
  • "每晚下午10點時武裝系統,並在系統解除武裝時告知我。"
  • 「哪些攝影機可以偵測狗?您認識誰?門口攝影機可以說話嗎?」
  • 「您為我設定了什麼,現在每一個都運作正常嗎?」
  • 「改成車道那個改為寄電子郵件給我。」
  • 「您設定了哪些規則?暫停車道那個並刪除其餘的。」

現成的工作流程

伺服器也提供提示詞範本,支援提示詞的助手(Claude Desktop、Claude Code、Gemini CLI、Cursor 等)會將其顯示為斜杠指令或在選單中。每個範本都會執行完整的多步驟工作流程並回報結果:

  • morning_briefing - 攝影機從上一個晚上起看到的內容:活動、警報、顯著人員、車輛和動物,以及攝影機狀態。
  • door_report - 誰來過門聲攝影機、時間、每位訪客做了什麼,以及每段片段的連結。
  • wildlife_report - 攝影機捕捉到哪些動物和鳥類,根據錄影片段盡可能精確地識別。
  • camera_health - 檢查每部伺服器和攝影機是否離線、已停用、出錯以及已停止活動的攝影機。
  • day_in_review - 攝影機全天的時間軸幀檢視,附帶場景變化的敘述。
  • set_up_a_rule - 從句子設定規則:檢查您的攝影機能做什麼、向您顯示規則會做什麼,然後在您同意時建立它。

助手規則

透過助手規則權限,助手可以從一個句子為您設定一條規則:「告訴我未來 6 小時內是否有人來到前門」。Agent DVR 將其轉換為攝影機上的常規動作,因此它在您的伺服器上執行,就像您手動建立的規則一樣。規則存在後,就不再涉及助手。

  • 位置:攝影機的動作清單中,標記為助手規則,並顯示規則結束的日期;對於觸發次數有限的規則,還會顯示已觸發的次數。將滑鼠懸停在標記上可查看來源句子。像編輯或刪除任何其他動作一樣進行編輯或刪除,或要求助手列出、暫停或刪除其規則。伺服器上的每條規則也會在一個位置伺服器設定 - 助手規則中列出,包括其來源句子、涵蓋的內容、是否為活躍、待機、暫停或已完成狀態,以及刪除按鈕。適用於攝影機群組或系統本身的規則僅在該處顯示。沒有權限變更伺服器設定的使用者可以查看清單,但無法從中刪除。
  • 可以監視的內容:攝影機已經能偵測的任何內容 - 動作、物體(人、汽車、狗等)、識別的臉部、車牌、聲音或攝影機離線。你也可以提出問題:「哪些攝影機能偵測狗?」、「你認識誰?」、「門口攝影機能說話嗎?」。
  • 發生時可以執行的動作:透過推播通知、電子郵件或簡訊告知你;透過攝影機大聲說出訊息(「當有人走進停車場時,告訴他們辦公室在後面」)或透過它播放聲音(狗叫聲);在另一台攝影機上錄製;將 PTZ 攝影機移動到預設位置;呼叫網址(webhook、智慧插座);標記錄製內容;套用設定檔。說話和播放聲音需要配置了對講功能的攝影機,語音和簡訊需要連結的帳戶,電子郵件需要在攝影機上啟用傳訊功能 - 助手會檢查這些條件並告訴你哪些攝影機符合條件。
  • 多部攝影機或伺服器本身:為某個群組、位置或「所有攝影機」命名,您就會得到一個相應的規則 - 「在夜間任何外部攝影機上偵測到人員時通知我」也適用於您下個月新增至外部群組的攝影機。無法偵測您要求的內容的群組中的攝影機根本不會是資訊來源,助手會告訴您有多少台攝影機可以。如果該群組尚不存在,擁有控制權限的助手可以建立它:「將車道、花園和大門攝影機放在名為外部的群組中」(需要 Agent DVR 8.0.7 或更新版本)。群組與您在裝置的一般標籤上設定的群組相同,它們也決定受限的使用者帳戶可以看到哪些裝置,因此您放入某個群組的攝影機對帳戶不包含該群組的受限使用者隱藏。規則也可以屬於伺服器而不是攝影機:「每晚晚上10點時啟用系統警報」、「在工作日日落時套用夜間設定檔」、「當系統被解除警報時通知我」。伺服器規則按照自己的時間表執行,因此任何攝影機的排程開關都不會影響它們;它們無法查看圖片或通過攝影機說話。
  • 時間:未來幾小時內、到指定的日期和時間為止、在每週的時間段內(例如「星期二下午2點到4點」)、在某一天、或定期執行(例如「每小時拍一張花園的照片」、「每15分鐘檢查一下大門是否關閉」 - 如果需要,可在特定時間段內執行)。時間可以跟隨太陽運行:「天黑後」、「從日落到日出」、「日出前半小時」等會根據攝影機位置的坐標每天重新計算(未設定緯度和經度的位置會使用上午6點和下午6點)。「告訴我何時...」會通知您一次,然後規則自動暫停;如果您希望每次發生時都收到通知,請說「每次」或「無論何時」。每次表示每次訪問,而不是有人站在那裡的每一秒:規則在能夠再次通知前會等待一分鐘(對於會說話、播放聲音或錄製的規則則為半分鐘),您可以要求更長的間隔(例如「一小時內最多一次」)。對於重複的時間段(例如「工作日上午9點到下午5點,告訴我是否有廂型車停在外面」),一次表示在時間段每次開啟時執行一次。詢問「您設定了什麼,它是否正常運作?」可查看每條規則及其是否處於活動、等待時間段、暫停或已完成的狀態。「改為傳送電子郵件給我」可以更改規則。設有時間限制的規則會在時間過期時自動移除。
  • 偵測器無法看到的詳情:對於顏色、品牌、服裝和類似的內容(「一輛紅色車」),規則會在每次偵測器觸發時向您的 AI 提供商(伺服器設定 - AI 設定)詢問一個關於圖片的是或否問題,並僅在回答是肯定時才會執行。同樣的方式適用於任何偵測器都不知道的事物(「花園裡的袋鼠」),以運動作為觸發。它也可以在設定的時間查看:「如果垃圾桶在週日晚上8點沒有放出去,傳簡訊給 Max」在每個週日晚上8點檢查攝影機,並僅在回答是否定時傳送訊息。如果 AI 無法判斷(天色昏暗、視野被阻擋),則不會傳送任何內容,請選擇攝影機可以看到的時間。這是每個觸發一次 AI 呼叫,預設情況下每個規則每小時限制 30 次呼叫,助手會在規則以這種方式運作時告訴您。如果未設定 AI 提供商,助手會說明並告訴您如何新增一個(Google Gemini 有免費級別)- 它無法為您執行該步驟,因為它是 API 金鑰 - 並提供不附帶問題的規則:所有汽車而不是紅色汽車,助手之後可以與您一起查看。細節,例如汽車的精確型號或在攝影機切換至黑白夜視圖片的夜間顏色,並不可靠。
  • 規則被拒絕的原因:Agent DVR 不會建立無法運作的規則,並一次性說出所有錯誤。如果以你指定的名稱沒有註冊任何臉部、如果你想透過其對講的攝影機沒有對講頻道、如果該攝影機上的物體偵測已關閉、如果你要求的內容不在其「尋找」清單中,或如果你在日程已關閉的攝影機上要求時間窗口,助手會被準確地告知需要更改的內容。有了控制權限,它可以為你進行更改並重試:開啟偵測器或日程,或將物體新增到攝影機的「尋找」清單(在只尋找人和汽車的攝影機上新增「狗」)。它只能新增攝影機 AI 模型知道的物體。對於任何其他物體,它會使用更寬泛的物體並要求你的 AI 提供商檢查詳情。聲音是例外:請自己將其新增到麥克風清單中。
  • 暫未支援:計數(「今天第二次」)、尚未發生的事件(「到晚上 6 點還沒有快遞」)以及跨攝影機的序列。

需要 Agent DVR 8.0.7 或更新版本。在雲端端點上,規則是登入頁面上的單獨權限,因此之前連結的助手會要求你再次批准存取。

規則範例

人們想從他們的攝像機獲得的常見事項,作為對已連接助手的語句、Agent DVR 設置的內容及其所需的內容。所有這些都是助手規則:它們在您的伺服器上運行,無需連接助手即可繼續進行。需要 Agent DVR 8.0.7 或更新版本以及規則權限。

  • 當特定顏色的汽車到達時收到警示。說:「如果紅色汽車在接下來 6 小時內出現在車道上,告訴我。」攝像機的物件偵測會在每輛汽車上觸發,您的 AI 提供者會被詢問該汽車是否為紅色,當答案第一次為肯定時,您會收到一次推播通知。該規則在 6 小時後自動移除。需要啟用物件偵測,且在攝像機的「尋找」列表中包含「汽車」(助手可以使用控制權限執行兩項操作),以及在「伺服器設定」- 「AI 設定」中配置 AI 提供者。
  • 了解特定人員何時到達。說:「星期二下午 2 點到 4 點之間,如果 Dave 在門口出現,第一次時告訴我。」臉部辨識會根據該名稱觸發,您會被通知一次。需要為攝像機啟用臉部辨識,並且需要在該名稱下註冊一張臉部 - 如果沒有 Dave,該規則會被拒絕,並會列出已註冊的名稱。
  • 了解某事是否已在設定時間前完成。說:「如果垃圾桶在星期日下午 6 點還沒有放在路邊,請發簡訊給我。」每個星期日下午 6 點,攝像機的圖片會連同是或否問題發送給您的 AI 提供者,只有當答案為否時,您才會收到該訊息。如果 AI 無法判斷(太暗、視線被擋),則不會發送任何內容,因此請選擇攝像機能看到的時間。需要 AI 提供者以及已連接帳戶用於簡訊服務。
  • 在營業時間內監視物流。說:「工作日上午 9 點到下午 5 點,如果物流車在店外停下,告訴我。」每天一次時間窗口打開,不是一次性的。如果您想要每次都獲得通知,請說「每次」。需要啟用攝像機的排程。
  • 發現沒有任何偵測器知曉的事物。說:「告訴我花園中是否有袋鼠」或「告訴我前門是否有人正在拿著包裹。」移動偵測或檢測到人會觸發該規則,AI 提供者會回答關於圖片的問題。每次觸發一次 AI 呼叫,對於每條規則限制為每小時 30 次。
  • 與出現的任何人交談。說:「當今早有人走進停車場時,告訴他們辦公室在後面。」該訊息會通過攝像機的揚聲器以文字轉語音的方式播放。需要設置了對講的攝像機和已連接帳戶。
  • 嚇跑夜間訪客。說:「如果今晚有人在側門,播放狗叫聲,也開始錄影花園攝像機。」通過攝像機播放音檔,並開始另一個攝像機的錄影,最多每 30 秒一次。需要設置了對講的攝像機。
  • 覆蓋所有室外攝像機進行夜間監控。說:「將車道、花園和門攝像機放在一個名為『室外』的群組中。」然後「從日落到日出,告訴我『室外』群組的任何攝像機上何時有人。」一條規則遵循該群組,包括您稍後添加的攝像機,日落會根據位置坐標每天計算。來自每個攝像機的通知最多每分鐘一次。
  • 聽到攝像機停止工作時收到通知。說:「如果後門攝像機在本週離線,請發電子郵件給我。」需要在攝像機上啟用訊息傳遞。
  • 按時間表啟用和解除警報,並了解何時更改。說:「每晚下午 10 點啟用系統警報,並告訴我何時解除警報。」這些是伺服器本身的規則,因此攝像機的排程不會影響它們。
  • 每天記錄一張照片。說:「每天中午為花園拍一張照片。」

要查看或更改已設置的內容,請問「您設置了什麼規則,以及每條規則是否都正常運行?」、「讓車道的改為發電子郵件給我」、「暫停貨車規則」,或打開伺服器設定 - 助手規則。如果無法執行請求,助手會說明原因以及需要更改的內容;請參閱助手規則了解限制。

故障排除

  • 助理無法連線到本機端點:在瀏覽器中檢查網址 - http://localhost:8090/mcp 應該會回應(錯誤訊息可以接受;「連線遭拒」不行)。確保通訊埠符合伺服器設定 - 本機伺服器,且端點在該處已啟用。
  • 401 未授權:保護 API 已啟用,所以助理必須傳送管理員使用者的認證資訊,或者您是從網路外部連線。
  • 403 禁止存取:在沒有授權金鑰的情況下從網路外部連線。改用雲端端點。
  • 404 找不到:端點在伺服器設定中已關閉,或伺服器版本早於 8.0.3。
  • 雲端端點指出伺服器離線:伺服器未連線到 iSpyConnect。檢查本機使用介面中的掛鎖圖示,並確認阻擋外部存取已關閉。
  • 查看助手正在執行的動作:在伺服器設定中將日誌紀錄設為偵錯,然後從伺服器功能表開啟日誌。在本機端點上,每個請求和工具呼叫都會記錄下來,前綴為「MCP」,包括參數和花費的時間。透過雲端端點,工具在 iSpyConnect.com 上執行,伺服器只會看到它們傳送的個別指令,記錄前綴為「RelayApi」。