AI (人工智慧): 配置

Agent DVR 支援使用 AI 模型檔案 (.onnx) 進行即時實時物件識別。此本地 AI 物件偵測完全在您自己的硬體上執行(不需要雲端服務),因此您只有在出現重要的東西(例如人或汽車)時才會收到警報,而不是在樹木移動時每次都發送警報。您需要一個許可證(或有效訂閱)才能使用此功能。請參閱AI 伺服器以設定 Agent 使用外部 AI 伺服器。

若要開始使用,請編輯您的攝影機並前往物件識別分頁。在頂部選擇您的 AI 伺服器。預設值為內部,這是 Agent DVR 的內建 AI。如果您想使用 AI 伺服器,請在伺服器設定 - AI 設定 - AI 伺服器中新增它,然後在此選擇它。

以下詳細資訊適用於使用其快速內建 AI 設定 Agent DVR。您也可以新增任何其他模型,例如Ultralytics YOLO 模型。

• 模型:選擇您要使用的 AI 模型。Agent 將根據需要自動下載內建模型。小模型適用於低端硬體或許多攝影機。中模型提供更好的準確度,但使用更多處理能力。
• 模式:選擇您希望 AI 何時處理視訊中的影格。如果選擇間隔,Agent 將使用下面的處理率欄位持續分析您的視訊串流。
• 設定疊加:設定在即時視訊上繪製實時結果:啟用疊加、顯示標籤和信心度、設定線寬和顏色,或模糊識別的物件(例如人)。疊加非常適合調整信心度限制。
• 使用 GPU:勾選此項可使用您的 GPU 而不是 CPU。
• 裝置:選擇要執行模型的裝置。
• 處理率:此項僅在模式為間隔時使用 - 它控制傳送至模型的影格速率。輸入 1 表示每秒 1 影格,輸入 20 表示每秒 20 影格,輸入 0.1 表示每 10 秒 1 影格。
• 信心度:此項篩選模型的結果。調整得更高以減少誤報,但請注意它也可能遺漏物件。
• 檢查角落:請參閱檢查角落以取得詳細資訊。
• 尋找:指定 AI 要偵測的物件。此處的選項清單來自模型設定。
• 靜止物件:選擇如何篩選未移動的物件。忽略靜止物件會忽略在相同位置重複偵測的物件(例如停放的汽車);它們在首次出現時仍會發送警報。僅移動物件只報告運動偵測器目前看到運動的物件,因此靜止物件永不警報(對於 ONVIF、Reolink、Hikvision 或 MQTT 等攝影機端偵測器無效)。
• 移動容限:檢查靜止物件時,相鄰偵測之間允許的移動。低值很少匹配;高值會抑制更多。建議值: 40-60。
• 從回饋中學習:讓 Agent 從您那裡學習。啟用此功能後,您可以在警報檢視器中確認或拒絕偵測,Agent 將學習在此攝影機上抑制類似的誤報。請參閱從回饋中學習。

自訂模型

若要新增您自己的模型到 AI,請將模型檔案 (.onnx) 複製到 Agent 的模型資料夾中,並參閱新增模型。

動作

物件識別會產生AI: 物件找到和AI: 物件未找到事件供動作使用。

相片

有關相片的資訊,請參閱相片。

Agent DVR 可以根據您的反饋學習，以減少每個攝像頭的錯誤警報。當檢測錯誤時——例如夜間看起來像人的灌木，AI 不斷將旗幟稱為鳥——您可以告訴 Agent，並且它將學會在未來抑制該攝像頭上類似的檢測。所有操作均在 100% 本地 進行：沒有圖像或數據會離開您的機器，檢測模型本身也不會被修改，因此這始終是安全的使用並且容易重置。

啟用

編輯您的攝像頭，轉到 物體識別 標籤並開啟 從反饋學習。Agent 將在第一次需要時自動下載一個小型嵌入模型。

提供反饋

啟用反饋後，物體識別生成的警報會將檢測結果與警報圖像一起存儲。在 警報面板 中打開一個警報，您將看到每個檢測上方繪製的框，並顯示 "我們這樣做對嗎？" 提示：

• 正確： 確認檢測。確認的示例可以保護類似的檢測不會被抑制。
• 錯誤： 拒絕檢測。Agent 會學習該攝像頭和物體類型的被拒絕檢測的外觀。在幾次拒絕類似外觀的檢測後（至少 3 次），Agent 開始自動抑制匹配的錯誤警報。

您可以隨時通過再次單擊按鈕來更改或刪除判決。

"我們這樣做對嗎？" 面板會折疊——單擊其標題以隱藏或顯示提示和檢測覆蓋層。Agent 會記住您的選擇（按瀏覽器），因此一旦您對攝像頭的表現感到滿意，您可以折疊面板，只查看乾淨的警報圖像。折疊面板不會停止學習——抑制仍然在運行。要完全停止學習，請關閉攝像頭上的 從反饋學習（請注意，這也會停止抑制）。

抑制的警報

抑制是故意保守的——只有當檢測明顯與您的被拒絕示例匹配且不匹配任何確認的示例時，才會進行抑制。當 Agent 抑制本來會成為警報的內容時，它會存儲一個 抑制的警報，以便沒有任何內容會悄然消失。單擊警報面板標題中的 圖標以顯示或隱藏它們（該圖標僅在存在抑制的警報時顯示；它們會被單獨保留，並不計入您的正常警報中）。

如果 Agent 抑制了不應該抑制的內容，請打開被抑制的警報並將檢測標記為 正確——這會立即解除對類似檢測的抑制。

工作原理

Agent 使用通用視覺模型為每個檢測創建一個緊湊的數學 "指紋"。您的判決將這些指紋歸檔為每個攝像頭和物體類型的確認或拒絕示例。未來的檢測將根據相似性與您的示例進行比較——這是 面部識別 使用的相同方法。您選擇的檢測模型及其類別不會受到影響。

重置

學習的反饋存儲在 Agent 的 XML 文件夾中的 FeedbackDB.json 中。要重新開始，請調用 clearfeedback API 命令（可選地帶上 cameraid 和 label 參數）或停止 Agent 並刪除該文件。

Agent DVR 支持用于物体识别的 ONNX 模型文件。您可以下载预训练模型并通过几个步骤将其转换为 ONNX 格式。

下面的示例通过 Ultralytics 使用 YOLO26s 模型。YOLO26s 是一个较小的通用模型，具有良好的速度/精度折衷。

前提条件

• Python 3.10 或更新版本
• PATH 中可用的 pip
• 互联网连接
• ~1-2 GB 可用磁盘空间

步骤 1 - 安装 Ultralytics

pip install ultralytics

步骤 2 - 下载 YOLO26s 模型

Ultralytics 在首次使用时自动下载预训练权重：

yolo detect predict model=yolo26s.pt source=https://ultralytics.com/images/bus.jpg

步骤 3 - 转换为 ONNX

下载后，将模型导出为 ONNX 格式：

yolo export model=yolo26s.pt format=onnx opset=12 simplify=True

Python 替代方案

from ultralytics import YOLO

model = YOLO("yolo26s.pt")
model.export(format="onnx", opset=12, simplify=True)

步骤 4 - 定位 ONNX 文件

導出的 yolo26s.onnx 文件將在您的工作目錄或

runs/export

資料夾中建立。

步骤 5 - 复制到 Agent DVR

将 ONNX 文件移动到您的 Agent DVR ONNX 模型文件夹（在 Agent 服务器上），例如：

Agent\Media\Models\ONNX\

步骤 6 - 在 Agent DVR 中添加模型

1. 转到 Server Settings > AI Settings > AI Models。
2. 点击 Object Recognition 并添加新模型。
3. 输入名称例如 yolo26s 并在下拉菜单中选择 .onnx 文件。
4. 保持其余选项为默认值并点击 OK。
5. 编辑您的摄像机，打开 Object Recognition 选项卡，将 Server 设置为 Internal，然后选择您的新模型。

Agent DVR 使用 AI 支援即時實時臉部辨識，在您自己的硬體上本機執行。使用它來了解門口是誰，並為已辨識和未知的臉部觸發不同動作。您需要授權（或有效的訂閱）才能使用此功能。請參閱 AI Servers 以設定 Agent 使用外部 AI 伺服器。

若要開始，編輯您的攝影機並前往臉部辨識標籤。在頂部選擇您的 AI 伺服器。預設值為Internal，即 Agent DVR 的內建 AI。如果您想使用 AI 伺服器，在「伺服器設定 - AI 設定 - AI Servers」中新增它，然後在此處選擇它。

以下詳細資訊用於使用其快速內建 AI 設定 Agent DVR。

• 模式:選擇您希望 AI 何時處理視訊中的影格。如果選擇間隔,Agent 將使用下面的處理率欄位持續分析您的視訊串流。
• 設定覆蓋層：設定在即時影片上繪製實時結果：啟用覆蓋層、顯示標籤和信心度、設定線條寬度和顏色，或模糊臉部。覆蓋層非常適合調整信心度限制。
• 使用 GPU:勾選此項可使用您的 GPU 而不是 CPU。
• 裝置:選擇要執行模型的裝置。
• 處理率:此項僅在模式為間隔時使用 - 它控制傳送至模型的影格速率。輸入 1 表示每秒 1 影格,輸入 20 表示每秒 20 影格,輸入 0.1 表示每 10 秒 1 影格。
• 信心度：這會篩選模型的結果。調整此值較高以減少誤判，但請注意它也可能會遺漏人員。
• 檢查角落:請參閱檢查角落以取得詳細資訊。

您可以在「伺服器設定 - AI 設定 - AI Models - Face Recognition」中選擇 Agent 使用的臉部辨識模型。

要辨識的臉部

按一下「編輯臉部」以上傳您想辨識的人物照片。您可以上傳同一人的多張照片以改善結果。您可以從檔案系統上傳影像或使用內建網路攝影機來擷取照片（需要 SSL 或 localhost）。

動作

臉部辨識會產生AI: Face Recognized 和 AI: Face Not Recognized 事件，供動作使用。

相片

有關相片的資訊,請參閱相片。

Agent DVR 支持实时车牌识别，在您自己的硬件上本地运行。使用它记录每辆进入车道或停车场的车辆，并在识别到已知车牌时触发操作，例如打开大门。您需要许可证（或有效订阅）才能使用此功能。请参阅 AI Servers 了解如何配置 Agent 使用外部 AI 服务器。

开始使用时，编辑您的摄像头并转到 LPR 标签页。在顶部选择您的 AI 服务器。默认值为 Internal，即 Agent DVR 的内置 AI。如果您想使用 AI 服务器，请在"服务器设置 - AI 设置 - AI Servers"中添加它，然后在此处选择它。

以下详情用于使用其快速内置 AI 配置 Agent DVR。

• 模式:選擇您希望 AI 何時處理視訊中的影格。如果選擇間隔,Agent 將使用下面的處理率欄位持續分析您的視訊串流。
• 配置叠加层：设置在实时视频上绘制实时结果：启用叠加层，显示标签和置信度，设置线条宽度和颜色，或模糊检测到的车牌。叠加层非常适合用于调整置信度阈值。
• 使用 GPU：选中此项以使用您的 GPU 而不是 CPU。请注意，由于 GPU 驱动程序和运行时支持，这目前仅在 Windows 或 macOS 上有效。Linux 目前会回退到 CPU。
• 裝置:選擇要執行模型的裝置。
• 處理率:此項僅在模式為間隔時使用 - 它控制傳送至模型的影格速率。輸入 1 表示每秒 1 影格,輸入 20 表示每秒 20 影格,輸入 0.1 表示每 10 秒 1 影格。
• 信心度:此項篩選模型的結果。調整得更高以減少誤報,但請注意它也可能遺漏物件。
• 檢查角落:請參閱檢查角落以取得詳細資訊。

要查找的车牌

• 车牌：输入以逗号分隔的车牌列表或包含车牌的 CSV 文件的 URL。Agent DVR 将为这些车牌生成车牌已识别和车牌未识别事件，这些事件可以触发操作。
• 重新加载间隔：设置从 URL 重新加载车牌列表的频率。
• 规范化：调整常见的错误识别车牌以改进匹配。

動作

LPR 为操作生成AI：车牌已识别和AI：车牌未识别事件。

相片

有關相片的資訊,請參閱相片。

警報過濾將動作檢測與AI結合,讓您只在偵測到重要事物時獲得警報,例如門廊上的人員,而不是搖曳的樹枝或經過的車燈。這是減少誤報的最有效方法。若要在Agent DVR中設定警報過濾,請按照以下步驟操作：

• 設定並啟用動作檢測器。為了最小化CPU使用率,請使用簡易檢測器。確保至少定義一個區域來覆蓋您要監控的區域。
• 在警報選項卡上,將模式設定為僅操作並啟用警報。
• 在錄製選項卡上,將模式設定為警報(如果您想要錄製)
• 在物體識別選項卡上啟用物體識別。將模式設定為動作已偵測,選擇模型,並按一下尋找來選擇要偵測的物體,例如人員、狗、汽車等。
• 在選項卡菜單中進入操作,並為事件AI：已找到物體添加操作。

  選擇區域以指定偵測物體的位置,例如針對您的車道和道路的不同區域。例如,選擇車道區域將只在檢測到汽車時觸發警報。

  在任務下,按一下添加以建立警報任務。按兩次確定以確認。

Agent DVR將在動作檢測時處理AI物體識別。如果它在選擇的區域中檢測到指定的物體,它將觸發操作以引發警報。未選擇區域將為任何區域觸發警報。

類似地設定警報過濾以用於LPR識別、臉部識別或音訊識別。

若要在沒有動作檢測觸發的情況下進行持續的AI物體識別,請將物體識別上的模式設定為間隔。監控對硬體資源的影響並視需要調整。

您可以為不同區域中的不同物體配置多個操作。在操作中使用{AI}標籤來參考偵測到的物體。

如果AI無法有效地過濾您的錄像，請考慮以下事項：

• 確保尋找設置與可用選項之一相符。
• 驗證Agent左上角的主警報開關是否顯示一個關閉的掛鎖，表示活動警報。
• 確認錄像模式設置為警報而不是檢測。
• 確保警報模式設置為僅限操作。
• 嘗試降低物體識別下的信心水平。
• 檢查/logs.html以查看錯誤消息，可能指示服務器問題或網絡阻塞。
• 監控AI服務器性能，確保不會導致系統超載或超時。
• 如果AI檢測到所有物體類別，可能表示GPU問題。請檢查GPU驅動程序或切換到基於CPU的AI模塊。

Agent DVR 使用 AI 服务器 (OpenAI/Claude/Gemini/本地 LLM，如 Ollama、LM Studio、vLLM 等) 来回答关于摄像机图像的人类可读问题。这可以生成事件、发出警报或充当动作警报的过滤器。您需要在服务器设置 - AI 设置 - 请求 AI 中完成设置。

您可以在本地服务器上的 /logs.html 检查日志，查看何时发送了请求。将服务器设置 - 日志记录 - 日志级别设置为 Info。

• 已启用：切换以启用或禁用 AI 进程。
• 提供商：选择要用于处理图像的 AI 提供商。提供商需要在服务器设置 - AI 设置中配置。如果选择"默认"，则将使用第一个已配置的提供商。
• 模式：选择 AI 进程的触发器。通过将其设置为无并调用 triggerAskAI 仅通过 API 触发
• 动作通过：如果 AI 服务器关闭并过滤警报，这允许警报通过而无需过滤。
• 使用快照 URI：使用摄像机的高分辨率帧而不是当前直播流帧。
• 调整大小模式：在将图像发送到 AI 服务器之前调整其大小，以减少负载并改进响应时间。
• 配置叠加层：设置在直播视频流上绘制 AI 结果。
• 请求间隔：设置服务器请求之间的最少时间。
• 详细模式：选择低或高图像详细程度。低比高便宜，适合大多数场景。
• 使用视频：发送短视频片段而不是图像 (仅限 Gemini)。设置时长（秒）并勾选包含音频以随视频发送声音。

AI 消息

• 消息：在此输入您对 AI 的问题。一些示例：
  • 如果您在此图像中看到火响应 FIRE。如果您看到狗坐在沙发上，响应 DOG。如果门打开，响应 DOOR。如果满足多个条件，用逗号分隔
  • 如果工作台上机器上的灯是红色，响应 ALERT
  • 如果警车停在车道上，响应 POLICE
  • 如果地板上有任何邮件或包裹，响应 MAIL
  • 如果看起来有人闯入了我的房子，响应 BREAKIN
• 查找：输入您指示 AI 响应的标签。例如 FIRE、DOG、DOOR
• 无重复：忽略在上次 AI 调用中返回的标签

如上所述，您可以要求在消息中满足多个条件，并设置操作来处理每个结果。

動作

请求 AI 生成AI：请求 AI 正结果事件供操作使用。

相片

有关照片的信息，请参见照片。请注意，AI 目前不返回有关物体在图像中位置的任何空间数据，因此裁剪和静态检测目前不可用。

LPR(车牌识别,也称为 ALPR/ANPR)利用人工智能服务器从视频源中识别和读取车牌。它可以生成事件、引发警报或充当动作警报的过滤器。

• 已启用：切换以启用或禁用 AI 进程。
• 人工智能服务器:从已配置的服务器中选择或使用默认选项。Agent DVR 支持通过 CodeProject.AI、PlateRecognizer.com、Gemini 或任何 OpenAI 兼容的视觉 LLM(如 vLLM、Ollama 和 LM Studio)进行 LPR。
• 模式:为人工智能流程选择触发器。通过将此设置为 None 并调用triggerLPR仅通过 API 触发。
• 使用快照 URI:选择使用来自摄像头的高分辨率帧,而不是当前直播流帧。
• 调整大小模式：在将图像发送到 AI 服务器之前调整其大小，以减少负载并改进响应时间。
• 配置叠加层：设置在直播视频流上绘制 AI 结果。
• 请求间隔:设置服务器请求之间的最短时间以降低负载。
• 置信度:定义识别车牌的最低置信度级别。
• 檢查角落:請參閱檢查角落以取得詳細資訊。
• 车牌：输入以逗号分隔的车牌列表或包含车牌的 CSV 文件的 URL。Agent DVR 将为这些车牌生成车牌已识别和车牌未识别事件，这些事件可以触发操作。
• 重新加载间隔：设置从 URL 重新加载车牌列表的频率。
• 规范化：调整常见的错误识别车牌以改进匹配。
• 品牌、型号和颜色:仅当在 PlateRecognizer.com 上使用支持这些功能的付费计划时才启用此功能。免费计划不包含此功能。详细信息将包含在 Agent DVR 操作中的 {AIJSON} 中。

動作

LPR 为操作生成AI：车牌已识别和AI：车牌未识别事件。

相片

有关照片的信息,请参阅照片。

使用 ALPR-Database

您可以设置与 ALPR-Database.com 的集成以存储您的车牌。有关说明,请参阅Agent DVR 与 ALPR-Database。

人臉識別利用 AI 伺服器(建議使用:CodeProject.AI)來識別影片串流中的特定人臉。它可以產生事件、觸發警報或作為動作警報的篩選器。可以使用您的攝影機或上傳圖像來新增、編輯或刪除人臉。詳細資訊請參閱本標籤中的編輯人臉。

• 已启用：切换以启用或禁用 AI 进程。
• AI 伺服器:從您設定的伺服器中選擇,或使用預設選項。
• 模式:選擇 AI 程序的觸發條件。透過將此設定為「無」並呼叫 triggerFace 來僅透過 API 觸發
• 使用快照 URI:选择使用来自摄像头的高分辨率帧,而不是当前直播流帧。
• 调整大小模式：在将图像发送到 AI 服务器之前调整其大小，以减少负载并改进响应时间。
• 配置叠加层：设置在直播视频流上绘制 AI 结果。
• 请求间隔:设置服务器请求之间的最短时间以降低负载。
• 信心度:定義識別人臉的最低信心度等級。
• 檢查角落:請參閱檢查角落以取得詳細資訊。
• 編輯人臉:上傳圖像到伺服器資料庫以進行識別。確保每個圖像中只有一個人臉清晰可見。

動作

人臉識別會產生AI:已識別人臉和AI:未識別人臉事件,供動作使用。

相片

有关照片的信息,请参阅照片。

若要變更影像覆蓋中標籤和標記所使用的語言，請前往 Server Menu - Settings - General - Default Language。

Agent DVR 通过 AI 流程生成事件，可以触发操作。例如，物体识别生成"发现物体"和"未发现物体"事件。Agent DVR 中的每个 AI 系统都会产生独特的事件。

这些事件可以触发各种操作，例如触发警报、使用物体标签调用 URL、执行程序或向 MQTT 服务器发布消息。在操作中使用标签 {AI} 表示标签或 {AIJSON} 表示来自 AI 服务器的完整 JSON 响应。