AI: Konfiguration

Lokale Objekterkennung

Agent DVR unterstützt Live-Echtzeit-Objekterkennung mithilfe von AI-Modelldateien (.onnx). Diese lokale AI-Objekterkennung läuft vollständig auf Ihrer eigenen Hardware (kein Cloud-Service erforderlich), sodass Sie nur benachrichtigt werden, wenn etwas Wichtiges auftaucht, z. B. eine Person oder ein Auto, statt jedes Mal wenn sich ein Baum bewegt. Sie benötigen eine Lizenz (oder ein aktives Abonnement) um diese Funktion zu nutzen. Siehe AI-Server zum Konfigurieren von Agent für die Verwendung externer AI-Server.

Bearbeiten Sie zunächst Ihre Kamera und gehen Sie zur Registerkarte Objekterkennung. Wählen Sie oben Ihren AI-Server aus. Der Standard ist Internal, bei dem es sich um Agent DVRs integrierte AI handelt. Wenn Sie einen AI-Server verwenden möchten, fügen Sie ihn unter Server-Einstellungen - AI-Einstellungen - AI-Server hinzu und wählen Sie ihn dann hier aus.

Die folgenden Details beziehen sich auf die Konfiguration von Agent DVR mit seiner schnellen integrierten AI. Sie können auch andere Modelle hinzufügen, z. B. Ultralytics YOLO-Modelle.

  • Model: Wählen Sie das AI-Modell aus, das Sie verwenden möchten. Agent lädt integrierte Modelle nach Bedarf automatisch herunter. Das Small-Modell ist gut für Low-End-Hardware oder viele Kameras. Das Medium-Modell bietet bessere Genauigkeit, benötigt aber mehr Rechenleistung.
  • Mode: Wählen Sie, wann Sie möchten, dass AI Frames aus Ihrem Video verarbeitet. Wenn Sie Interval wählen, verwendet Agent das Feld Processing Rate unten, um Ihren Videostream kontinuierlich zu analysieren.
  • Configure Overlay: Richten Sie die Anzeige von Echtzeit-Ergebnissen im Live-Video ein: Overlay aktivieren, Beschriftungen und Vertrauen anzeigen, Linienbreite und Farben einstellen oder erkannte Objekte unschärfen (z. B. Personen). Das Overlay eignet sich hervorragend zum Abstimmen des Vertrauenslimits.
  • Use GPU: Aktivieren Sie dies, um Ihre GPU statt der CPU zu verwenden.
  • Device: Wählen Sie das Gerät zum Ausführen des Modells aus.
  • Processing Rate: Dies wird nur verwendet, wenn Mode auf Interval eingestellt ist - es steuert die Rate, mit der Frames an das Modell gesendet werden. Geben Sie 1 für 1 Frame pro Sekunde ein, 20 für 20 Frames pro Sekunde oder 0,1 für 1 Frame alle 10 Sekunden.
  • Confidence: Dies filtert die Ergebnisse des Modells. Erhöhen Sie diesen Wert, um falsch positive Ergebnisse zu reduzieren, beachten Sie aber, dass dadurch auch Objekte übersehen werden können.
  • Check Corners: Siehe Ecken überprüfen für weitere Details.
  • Find: Geben Sie Objekte an, die AI erkennen soll. Die Liste der Optionen hier stammt aus der Modellkonfiguration.
  • Static Objects: Wählen Sie, wie Objekte gefiltert werden, die sich nicht bewegen. Ignore Static Objects ignoriert Objekte, die wiederholt an derselben Position erkannt werden (wie geparkte Autos). Sie lösen beim ersten Mal einen Alert aus. Moving Only meldet nur Objekte, bei denen der Motion Detector derzeit Bewegung erkennt, sodass ruhende Objekte nie einen Alert auslösen (keine Auswirkung bei kameraseitigen Detektoren wie ONVIF, Reolink, Hikvision oder MQTT).
  • Movement Tolerance: Zulässige Bewegung zwischen Erkennungen bei der Überprüfung auf statische Objekte. Niedrige Werte führen selten zu Übereinstimmungen; hohe Werte unterdrücken mehr. Empfohlen: 40-60.
  • Learn From Feedback: Lassen Sie Agent von Ihnen lernen. Mit dieser Option aktiviert können Sie Erkennungen im Alert Viewer bestätigen oder ablehnen und Agent lernt, ähnliche falsche Alerts bei dieser Kamera zu unterdrücken. Siehe Aus Feedback lernen.

Benutzerdefinierte Modelle

Um Ihre eigenen Modelle zu AI hinzuzufügen, kopieren Sie die Modelldatei (.onnx) in Agent's Models-Ordner und siehe Modelle hinzufügen.

Aktionen

Objekterkennung generiert AI: Object Found und AI: Object Not Found Ereignisse zur Verwendung in Aktionen.

Fotos

Informationen zu Fotos finden Sie unter Fotos.

Lernen aus Feedback

Agent DVR kann aus Ihrem Feedback lernen, um Fehlalarme kamerawise zu reduzieren. Wenn eine Erkennung falsch ist - ein Busch, der nachts wie eine Person aussieht, eine Flagge, die die KI ständig als Vogel bezeichnet - können Sie Agent informieren, und es wird lernen, ähnliche Erkennungen an dieser Kamera in Zukunft zu unterdrücken. Alles läuft 100% lokal: keine Bilder oder Daten verlassen jemals Ihre Maschine, und das Erkennungsmodell selbst wird nie modifiziert, sodass dies immer sicher zu verwenden und einfach zurückzusetzen ist.

Aktivierung

Bearbeiten Sie Ihre Kamera, gehen Sie zum Objekterkennung-Tab und aktivieren Sie Feedback lernen. Agent wird beim ersten Mal, wenn es benötigt wird, automatisch ein kleines Einbettungsmodell herunterladen.

Feedback geben

Mit aktiviertem Feedback speichern die durch die Objekterkennung generierten Alarme die Erkennungsergebnisse zusammen mit dem Alarmbild. Öffnen Sie einen Alarm im Alarm-Panel, und Sie sehen Kästchen über jeder Erkennung mit einer "Haben wir das richtig gemacht?" Aufforderung:

  • Korrekt: Bestätigt die Erkennung. Bestätigte Beispiele schützen ähnliche Erkennungen davor, jemals unterdrückt zu werden.
  • Inkorrrekt: Lehnt die Erkennung ab. Agent lernt das Aussehen abgelehnter Erkennungen für diese Kamera und diesen Objekttyp. Nach einigen Ablehnungen ähnlich aussehender Erkennungen (mindestens 3) beginnt Agent automatisch, übereinstimmende Fehlalarme zu unterdrücken.

Sie können ein Urteil jederzeit ändern oder entfernen, indem Sie die Schaltfläche erneut klicken.

Das "Haben wir das richtig gemacht?" Panel klappt zusammen - klicken Sie auf die Überschrift, um die Aufforderungen und Erkennungsüberlagerungen auszublenden oder anzuzeigen. Agent merkt sich Ihre Wahl (pro Browser), sodass Sie, sobald Sie mit der Leistung einer Kamera zufrieden sind, das Panel einklappen und nur saubere Alarmbilder sehen können. Das Einklappen des Panels stoppt niemals das Lernen - die Unterdrückung funktioniert weiterhin. Um das Lernen vollständig zu stoppen, schalten Sie stattdessen Feedback lernen an der Kamera aus (beachten Sie, dass dies auch die Unterdrückung stoppt).

Unterdrückte Alarme

Die Unterdrückung ist bewusst konservativ - eine Erkennung wird nur unterdrückt, wenn sie eindeutig mit Ihren abgelehnten Beispielen übereinstimmt und nicht mit bestätigten. Wenn Agent etwas unterdrückt, was ansonsten ein Alarm gewesen wäre, speichert es stattdessen einen unterdrückten Alarm, sodass nichts stillschweigend verschwindet. Klicken Sie auf das Symbol in der Kopfzeile des Alarm-Panels, um sie anzuzeigen oder auszublenden (das Symbol erscheint nur, wenn unterdrückte Alarme existieren; sie werden separat aufbewahrt und zählen nicht gegen Ihre normalen Alarme).

Wenn Agent etwas unterdrückt hat, was es nicht hätte tun sollen, öffnen Sie den unterdrückten Alarm und markieren Sie die Erkennung als Korrekt - dies hebt die Unterdrückung für ähnliche Erkennungen sofort auf.

Wie es funktioniert

Agent verwendet ein allgemeines Sichtmodell, um einen kompakten mathematischen "Fingerabdruck" jeder Erkennung zu erstellen. Ihre Urteile speichern diese Fingerabdrücke als bestätigte oder abgelehnte Beispiele pro Kamera und Objekttyp. Zukünftige Erkennungen werden anhand Ihrer Beispiele durch Ähnlichkeit verglichen - derselbe Ansatz, der bei Gesichtserkennung verwendet wird. Ihr gewähltes Erkennungsmodell und seine Klassen bleiben unberührt.

Zurücksetzen

Gelerntes Feedback wird in FeedbackDB.json im XML-Ordner von Agent gespeichert. Um von vorne zu beginnen, rufen Sie den clearfeedback API-Befehl auf (optional mit cameraid und label Parametern) oder stoppen Sie Agent und löschen Sie die Datei.

Konvertierung von Ultralytics YOLO-Modellen in ONNX

Agent DVR unterstützt ONNX-Modelldateien für die Objekterkennung. Sie können vorkonfigurierte Modelle herunterladen und in wenigen Schritten in das ONNX-Format konvertieren.

Das folgende Beispiel verwendet das YOLO26s-Modell über Ultralytics. YOLO26s ist ein kleineres, universelles Modell mit einem guten Verhältnis zwischen Geschwindigkeit und Genauigkeit.

Voraussetzungen

  • Python 3.10 oder neuer
  • pip in PATH verfügbar
  • Internetverbindung
  • ~1-2 GB freier Speicherplatz

Schritt 1 - Ultralytics installieren

pip install ultralytics

Schritt 2 - YOLO26s-Modell herunterladen

Ultralytics lädt die vorkonfigurierten Gewichte automatisch beim ersten Einsatz herunter:

yolo detect predict model=yolo26s.pt source=https://ultralytics.com/images/bus.jpg

Schritt 3 - In ONNX konvertieren

Nach dem Herunterladen exportieren Sie das Modell in das ONNX-Format:

yolo export model=yolo26s.pt format=onnx opset=12 simplify=True

Python-Alternative

from ultralytics import YOLO

model = YOLO("yolo26s.pt")
model.export(format="onnx", opset=12, simplify=True)

Schritt 4 - ONNX-Datei lokalisieren

Die exportierte Datei yolo26s.onnx wird in Ihrem Arbeitsverzeichnis oder im Ordner

runs/export
erstellt.

Schritt 5 - In Agent DVR kopieren

Verschieben Sie die ONNX-Datei in Ihren Agent DVR ONNX-Modellordner (auf dem Agent-Server), zum Beispiel:

Agent\Media\Models\ONNX\

Schritt 6 - Modell in Agent DVR hinzufügen

  1. Gehen Sie zu Servereinstellungen > KI-Einstellungen > KI-Modelle.
  2. Klicken Sie auf Objekterkennung und fügen Sie ein neues Modell hinzu.
  3. Geben Sie einen Namen ein, z. B. yolo26s, und wählen Sie die .onnx-Datei in der Dropdown-Liste aus.
  4. Belassen Sie die verbleibenden Optionen bei ihren Standardwerten und klicken Sie auf OK.
  5. Bearbeiten Sie Ihre Kamera, öffnen Sie den Reiter Objekterkennung, setzen Sie Server auf Intern, und wählen Sie Ihr neues Modell aus.

Lokale Gesichtserkennung

Agent DVR unterstützt Live-Echtzeit-Gesichtserkennung mit KI, die lokal auf Ihrer eigenen Hardware läuft. Nutzen Sie diese Funktion, um zu erkennen, wer an der Tür ist, und lösen Sie verschiedene Aktionen für erkannte und unbekannte Gesichter aus. Sie benötigen eine Lizenz (oder ein aktives Abonnement), um diese Funktion zu nutzen. Weitere Informationen finden Sie unter AI-Server zum Konfigurieren von Agent für die Verwendung externer KI-Server.

Bearbeiten Sie zunächst Ihre Kamera und gehen Sie zur Registerkarte Gesichtserkennung. Wählen Sie Ihren KI-Server oben aus. Der Standard ist Internal, das ist die integrierte KI von Agent DVR. Wenn Sie einen KI-Server verwenden möchten, fügen Sie ihn unter Servereinstellungen - KI-Einstellungen - KI-Server hinzu und wählen Sie ihn dann hier aus.

Die folgenden Details gelten für die Konfiguration von Agent DVR mit seiner schnellen integrierten KI.

  • Mode: Wählen Sie, wann Sie möchten, dass AI Frames aus Ihrem Video verarbeitet. Wenn Sie Interval wählen, verwendet Agent das Feld Processing Rate unten, um Ihren Videostream kontinuierlich zu analysieren.
  • Overlay konfigurieren: Richten Sie die Darstellung von Echtzeitergebnissen im Live-Video ein: aktivieren Sie die Overlay, zeigen Sie Beschriftungen und Konfidenz an, legen Sie Linienbreite und Farben fest oder unschärfen Sie Gesichter. Die Overlay ist hervorragend zum Einstellen der Konfidenzgrenze.
  • Use GPU: Aktivieren Sie dies, um Ihre GPU statt der CPU zu verwenden.
  • Device: Wählen Sie das Gerät zum Ausführen des Modells aus.
  • Processing Rate: Dies wird nur verwendet, wenn Mode auf Interval eingestellt ist - es steuert die Rate, mit der Frames an das Modell gesendet werden. Geben Sie 1 für 1 Frame pro Sekunde ein, 20 für 20 Frames pro Sekunde oder 0,1 für 1 Frame alle 10 Sekunden.
  • Konfidenz: Dies filtert die Ergebnisse des Modells. Passen Sie diesen Wert nach oben an, um falsch positive Ergebnisse zu reduzieren, aber beachten Sie, dass dies auch Personen übersehen kann.
  • Check Corners: Siehe Ecken überprüfen für weitere Details.

Sie können das Gesichtserkennungsmodell, das Agent verwendet, unter Servereinstellungen - KI-Einstellungen - KI-Modelle - Gesichtserkennung auswählen.

Zu erkennende Gesichter

Klicken Sie auf Gesichter bearbeiten, um Fotos von Personen hochzuladen, die Sie erkennen möchten. Sie können mehrere Fotos derselben Person hochladen, um die Ergebnisse zu verbessern. Sie können Bilder aus Ihrem Dateisystem hochladen oder eine integrierte Webcam zum Aufnehmen von Fotos verwenden (erfordert SSL oder localhost).

Aktionen

Die Gesichtserkennung erzeugt KI: Gesicht erkannt und KI: Gesicht nicht erkannt Events zur Verwendung in Aktionen.

Fotos

Informationen zu Fotos finden Sie unter Fotos.

Lokale Kennzeichenerkennung

Agent DVR unterstützt live Echtzeit-Kennzeichenerkennung, die lokal auf Ihrer eigenen Hardware läuft. Verwenden Sie sie, um jedes Fahrzeug zu protokollieren, das eine Einfahrt oder einen Parkplatz betritt, und um Aktionen auszulösen, z. B. ein Tor zu öffnen, wenn ein bekanntes Kennzeichen erkannt wird. Sie benötigen eine Lizenz (oder ein aktives Abonnement), um diese Funktion zu nutzen. Siehe AI Servers, um Agent für die Verwendung externer AI Server zu konfigurieren.

Bearbeiten Sie zunächst Ihre Kamera und gehen Sie zur Registerkarte LPR. Wählen Sie Ihren AI Server oben aus. Der Standard ist Internal, das ist die integrierte KI von Agent DVR. Wenn Sie einen AI Server verwenden möchten, fügen Sie ihn in Server Settings - AI Settings - AI Servers hinzu und wählen Sie ihn dann hier aus.

Die folgenden Details gelten für die Konfiguration von Agent DVR mit seiner schnellen integrierten KI.

  • Mode: Wählen Sie, wann Sie möchten, dass AI Frames aus Ihrem Video verarbeitet. Wenn Sie Interval wählen, verwendet Agent das Feld Processing Rate unten, um Ihren Videostream kontinuierlich zu analysieren.
  • Overlay konfigurieren: Richten Sie das Zeichnen von Echtzeit-Ergebnissen auf Livevideo ein: Aktivieren Sie das Overlay, zeigen Sie Beschriftungen und Konfidenz an, stellen Sie Linienbreite und Farben ein oder verschwimmen Sie erkannte Kennzeichen. Das Overlay ist ideal zum Einstellen des Konfidenzschwellenwerts.
  • GPU verwenden: Aktivieren Sie dies, um Ihre GPU statt CPU zu verwenden. Beachten Sie, dass dies derzeit nur unter Windows oder macOS funktioniert, da GPU-Treiber und Laufzeitunterstützung vorhanden sind. Linux fällt derzeit auf CPU zurück.
  • Device: Wählen Sie das Gerät zum Ausführen des Modells aus.
  • Processing Rate: Dies wird nur verwendet, wenn Mode auf Interval eingestellt ist - es steuert die Rate, mit der Frames an das Modell gesendet werden. Geben Sie 1 für 1 Frame pro Sekunde ein, 20 für 20 Frames pro Sekunde oder 0,1 für 1 Frame alle 10 Sekunden.
  • Confidence: Dies filtert die Ergebnisse des Modells. Erhöhen Sie diesen Wert, um falsch positive Ergebnisse zu reduzieren, beachten Sie aber, dass dadurch auch Objekte übersehen werden können.
  • Check Corners: Siehe Ecken überprüfen für weitere Details.

Kennzeichen zum Suchen

  • Kennzeichen: Geben Sie eine kommagetrennte Liste von Kennzeichen oder eine URL zu einer CSV-Datei mit Kennzeichen ein. Agent DVR generiert License Plate Recognized- und License Plate Not Recognized-Ereignisse für diese Kennzeichen, die Aktionen auslösen können.
  • Neuladen-Intervall: Legen Sie die Häufigkeit für das Neuladen der Kennzeichenliste von der URL fest.
  • Normalisieren: Passen Sie häufig falsch erkannte Kennzeichen an, um die Abgleichung zu verbessern.

Aktionen

LPR generiert AI: License Plate Recognized- und AI: License Plate Not Recognized-Ereignisse zur Verwendung in Actions.

Fotos

Informationen zu Fotos finden Sie unter Fotos.

AI-Alarmfilterung

Die Alertfilterung kombiniert Bewegungserkennung mit KI, sodass Sie nur benachrichtigt werden, wenn etwas Wichtiges erkannt wird, z. B. eine Person auf der Veranda, anstelle von bewegten Ästen oder vorbeifahrenden Scheinwerfern. Es ist die effektivste Möglichkeit, Fehlalarme zu reduzieren. Führen Sie diese Schritte aus, um die Alertfilterung in Agent DVR einzurichten:

  • Konfigurieren und aktivieren Sie einen Motion Detector. Verwenden Sie für minimale CPU-Auslastung den Simple Detector. Stellen Sie sicher, dass mindestens eine Zone definiert ist, um den zu überwachenden Bereich abzudecken.
  • Stellen Sie auf der Registerkarte Alerts den Mode auf Actions Only ein und aktivieren Sie Alerts.
  • Stellen Sie auf der Registerkarte Recording den Mode auf Alerts ein (wenn Sie Aufzeichnungen wünschen)
  • Aktivieren Sie Object Recognition auf der Registerkarte Object Recognition. Stellen Sie den Mode auf Motion Detected ein, wählen Sie ein Modell aus und klicken Sie auf Find, um Objekte zur Erkennung auszuwählen, z. B. Person, Dog, Car usw.
  • Gehen Sie zu Actions im Registerkartenmenü und fügen Sie eine Action für das Event AI: Object Found hinzu.

    Wählen Sie Zones aus, um anzugeben, wo Objekte erkannt werden sollen, z. B. verschiedene Zones für Ihre Einfahrt und die Straße. Wenn Sie beispielsweise die Einfahrts-Zone auswählen, wird ein Alert nur ausgelöst, wenn dort ein Auto erkannt wird.

    Klicken Sie unter Tasks auf Add, um einen Alert Task zu erstellen. Klicken Sie zweimal auf OK, um zu bestätigen.

Agent DVR verarbeitet die KI-Objekterkennung bei Bewegungserkennung. Wenn es ein angegebenes Objekt in einer gewählten Zone erkannt, wird es eine Action auslösen, um einen Alert auszulösen. Fehlende Zone-Auswahl löst Alerts für jede Zone aus.

Richten Sie Alert-Filter ähnlich für LPR Recognition, Face Recognition oder Audio Recognition ein.

Für kontinuierliche KI-Objekterkennung ohne Bewegungserkennungs-Trigger stellen Sie den Mode auf Object Recognition auf Interval ein. Überwachen Sie die Auswirkungen auf Ihre Hardware-Ressourcen und passen Sie bei Bedarf an.

Sie können mehrere Actions für verschiedene Objekte in mehreren Zones konfigurieren. Verwenden Sie das Tag {AI} in Actions, um auf das erkannte Objekt zu verweisen.

Wenn Ihr AI-Server nicht reagiert und Sie ihn zum Filtern von Motion Detection Alerts verwenden, wird Agent DVR alle Events als gültige Alerts behandeln, bis der Server wieder verfügbar ist. Dieses Verhalten kann mit dem Schalter Motion Pass-through unter Object Recognition umgeschaltet werden.
Nutzen Sie Filter in Ihren Actions, um verschiedene Responses basierend auf Agent DVR-Erkennungen auszuführen. Sie könnten beispielsweise einen verbalen Alert "Intruder detected" für eine Person an einer Tür konfigurieren oder einen Hundebellton abspielen, wenn eine Katze auf Ihrer Couch erkannt wird.

AI-Filter Fehlerbehebung

Wenn die KI Ihre Aufnahmen nicht effektiv filtert, sollten Sie Folgendes beachten:

  • Stellen Sie sicher, dass die Einstellung Finden einer der verfügbaren Optionen entspricht.
  • Überprüfen Sie, ob der Master-Alarm-Schalter oben links in Agent ein geschlossenes Vorhängeschloss anzeigt, das auf aktive Alarme hinweist.
  • Bestätigen Sie, dass der Aufnahmemodus auf Alarm und nicht auf Erkennung eingestellt ist.
  • Stellen Sie sicher, dass der Alarmmodus auf Nur Aktionen eingestellt ist.
  • Versuchen Sie, den Vertrauensgrad unter Objekterkennung zu senken.
  • Überprüfen Sie /logs.html auf Fehlermeldungen, die möglicherweise auf Serverprobleme oder Netzwerkblockaden hinweisen.
  • Überwachen Sie die Leistung des KI-Servers und stellen Sie sicher, dass er keine Systemüberlastung oder Zeitüberschreitungen verursacht.
  • Wenn die KI alle Objektklassen erkennt, kann dies auf Probleme mit der GPU hinweisen. Überprüfen Sie die GPU-Treiber oder wechseln Sie zu einem KI-Modul, das auf der CPU basiert.

KI-Objekterkennung

AI-Objekterkennungseinstellungen

Die Objekterkennung in Agent DVR nutzt entweder unsere lokale KI oder einen KI-Server (CodeProject.AI empfohlen), um spezifische Objekte in Videostreams zu erkennen, und kann Ereignisse generieren, Benachrichtigungen auslösen oder als Filter für Bewegungswarnungen fungieren.

  • Aktiviert: Schalten Sie den KI-Prozess ein oder aus.
  • KI-Server: Wählen Sie aus Ihren konfigurierten Servern oder verwenden Sie die Standardoption.
  • Modus: Wählen Sie den Trigger für den KI-Prozess. Triggern Sie nur über API, indem Sie dies auf "Keine" setzen und triggerObject aufrufen.
  • Bewegungsdurchleitung: Wenn der KI-Server offline ist und Warnungen filtert, ermöglicht dies, dass Warnungen ohne Filterung durchgeleitet werden.
  • Snapshot-URI verwenden: Verwenden Sie einen hochauflösenden Frame von Ihrer Kamera statt des aktuellen Live-Stream-Frames.
  • Skalierungsmodus: Skalieren Sie Bilder vor dem Senden an den KI-Server, um die Last zu reduzieren und die Antwortzeiten zu verbessern.
  • Overlay konfigurieren: Richten Sie das Zeichnen von KI-Ergebnissen auf den Live-Videostrom ein, einschliesslich Beschriftungen, Konfidenz, Linienbreite, Farben und Unschärfe.
  • Anfragintervall: Legen Sie die Mindestzeit zwischen Serveranfragen fest.
  • Konfidenz: Legen Sie das Mindestkonfidenz-Level zur Objekterkennung fest.
  • Ecken überprüfen: Weitere Details finden Sie unter Eckenüberprüfung.

Modelle

  • Discover: Installierte Modelle von Ihrem Server abrufen (spezifisch für CodeProject.AI).
  • AI Endpoint: Wählen Sie aus verfügbaren Modellen oder verwenden Sie den Standard-Endpoint.
  • AI Object Classes: Automatisch mit relevanten Klassen gefüllt oder manuell eingegeben.
  • Find: Geben Sie Objekte an, die die KI erkennen soll.
  • Static Objects: Filtert Objekte, die sich nicht bewegen. Ignore Static Objects ignoriert Objekte, die wiederholt an derselben Position erkannt werden; Moving Only meldet nur Objekte, bei denen der Bewegungsmelder derzeit eine Bewegung erkennt.
  • Movement Tolerance: Zulässige Bewegung zwischen Erkennungen beim Überprüfen auf statische Objekte.

Benutzerdefinierte Modelle

Um benutzerdefinierte Modelle zu CodeProject.AI hinzuzufügen, kopieren Sie die Modelldatei in das angegebene Verzeichnis. Greifen Sie darauf über die Discover-Schaltfläche zu, fügen Sie die Objektliste aber manuell zu Object Classes hinzu.

Ändern Sie das Verzeichnis für die Modellspeicherung durch Bearbeiten der Einstellungen des Object Recognition-Moduls.

Aktionen

Object Recognition generiert AI: Object Found und AI: Object Not Found Ereignisse zur Verwendung in Actions.

Fotos

Informationen zu Fotos finden Sie unter photos.

Fragen Sie KI

Agent DVR nutzt KI-Server (OpenAI/ Claude/ Gemini/ lokale LLMs wie Ollama, LM Studio, vLLM usw.), um menschlich lesbare Fragen zu den Bildern Ihrer Kameras zu beantworten. Dies kann dann Ereignisse generieren, Warnungen auslösen oder als Filter für Bewegungswarnungen fungieren. Sie müssen die Einstellungen in Servereinstellungen - KI-Einstellungen - KI fragen abschließen.

Mit der API des ausgewählten KI-Anbieters können Kosten von Drittanbietern verbunden sein. Stellen Sie daher sicher, dass Ihr Setup nur Anfragen sendet, wenn Sie diese benötigen. Google bietet ein kostenloses Nutzungskontingent für Gemini-API-Schlüssel auf persönlichen Google-Konten. Überprüfen Sie die aktuellen Preise von Google für Limits.

Sie können die Logs unter /logs.html auf dem lokalen Server überprüfen, um zu sehen, wann Anfragen gesendet werden. Stellen Sie Servereinstellungen - Protokollierung - Protokollebene auf Info ein.

  • Aktiviert: Schalten Sie den KI-Prozess ein oder aus.
  • Anbieter: Wählen Sie den KI-Anbieter aus, den Sie zum Verarbeiten von Bildern verwenden möchten. Der Anbieter muss in den Servereinstellungen - KI-Einstellungen konfiguriert werden. Wenn Sie Standard auswählen, wird der erste konfigurierte Anbieter verwendet.
  • Modus: Wählen Sie den Auslöser für den KI-Prozess. Auslösung nur über API durch Setzen auf Keine und Aufrufen von triggerAskAI
  • Bewegungsdurchleitung: Wenn der KI-Server ausfällt und Warnungen filtert, ermöglicht dies, dass Warnungen ohne Filterung durchgelassen werden.
  • Snapshot-URI verwenden: Verwenden Sie einen hochauflösenden Frame Ihrer Kamera anstelle des aktuellen Live-Stream-Frames.
  • Größenänderungsmodus: Ändern Sie die Größe von Bildern vor dem Senden an den KI-Server, um die Last zu verringern und die Antwortzeiten zu verbessern.
  • Overlay konfigurieren: Richten Sie das Zeichnen von KI-Ergebnissen im Live-Videostrom ein.
  • Anforderungsintervall: Legen Sie die minimale Zeit zwischen Serveranfragen fest.
  • Detailmodus: Wählen Sie zwischen niedriger oder hoher Bilddetailliertheit. Niedrig ist günstiger als Hoch und für die meisten Szenarien ausreichend.
  • Video verwenden: Senden Sie einen kurzen Videoclip statt eines Bildes (nur Gemini). Stellen Sie die Dauer in Sekunden ein und aktivieren Sie Audio einschließen, um Sound zusammen mit dem Video zu senden.

KI-Nachrichtenübermittlung

  • Nachricht: Geben Sie hier Ihre Frage für die KI ein. Einige Beispiele:
    • Wenn Sie Feuer in diesem Bild sehen, antworten Sie mit FIRE. Wenn Sie einen Hund auf einem Sofa sitzend sehen, antworten Sie mit DOG. Wenn die Tür offen ist, antworten Sie mit DOOR. Wenn mehrere Bedingungen erfüllt sind, trennen Sie sie mit einem Komma.
    • Wenn die Leuchte auf der Maschine auf der Werkbank rot ist, antworten Sie mit ALERT
    • Wenn ein Polizeiauto in der Einfahrt geparkt ist, antworten Sie mit POLICE
    • Wenn Post oder Pakete auf dem Boden liegen, antworten Sie mit MAIL
    • Wenn es aussieht, als ob jemand in mein Haus eingebrochen ist, antworten Sie mit BREAKIN
  • Suchen: Geben Sie die Tags ein, mit denen Sie die KI angewiesen haben zu antworten. Zum Beispiel FIRE, DOG, DOOR
  • Keine Wiederholungen: Ignorieren Sie Tags, die beim letzten KI-Aufruf zurückgegeben wurden

Wie oben erwähnt, können Sie mehrere Bedingungen in der Nachricht anfordern und Aktionen einrichten, um jedes Ergebnis zu verarbeiten.

Tipp! Sie können das spezielle Tag [TIME] in Ihre Nachrichten einfügen, um die aktuelle Lokalzeit an die KI zu übergeben. Dies ermöglicht Überprüfungen basierend auf der Tageszeit. Zum Beispiel: "Die aktuelle Zeit ist [TIME]. Wenn das später als 20 Uhr ist und die Garagentür offen ist, antworten Sie nur mit GARAGE"

Aktionen

KI fragen generiert KI: Positive Ergebnisse von KI fragen Ereignisse zur Verwendung in Aktionen.

AI Actions

Fotos

Weitere Informationen zu Fotos finden Sie unter Fotos. Beachten Sie, dass die KI derzeit keine Raumdaten darüber zurückgibt, wo sich Dinge im Bild befinden. Daher funktionieren Zuschnitt und statische Erkennung derzeit nicht.

AI Fotos

AI Photos Configuration

AI-Prozesse können Fotos erfassen, wenn Objekte erkannt werden, und bieten Optionen zum Speichern, Zuschneiden, FTP-Upload und mehr.

Navigieren Sie zur Option Photos unten auf jeder AI-Konfigurationsregisterkarte beim Bearbeiten einer Kamera. Aktivieren Sie Photos und klicken Sie zum Konfigurieren.

  • Label: Agent DVR überlagert Rahmen auf dem Bild und beschriftet erkannte Objekte.
  • Crop: Agent DVR schneidet das Bild für jeden erkannten Bereich zu und speichert mehrere Bilder, eines für jeden Bereich.
  • FTP: Lädt die gespeicherten Bilder auf den konfigurierten FTP-Server der Kamera hoch.
  • Prevent Repeat: Agent DVR verhindert das Speichern mehrerer Kopien desselben Objekts, bis es die Bewegungszone verlässt.
  • Minimum Interval: Legen Sie das Mindestintervall zwischen Fotos in Sekunden fest.
Seien Sie vorsichtig mit den AI-Fotoeinstellungen, da falsche Konfigurationen zum Speichern einer übermässigen Anzahl von Bildern führen können. Überwachen Sie die Häufigkeit gespeicherter Bilder nach dem Setup.

LPR oder ALPR

Neuere Versionen von Agent DVR haben KI integriert, was eine viel schnellere Verarbeitung und weniger Overhead ermöglicht. Verwenden Sie die lokale KI, die in Echtzeit reagieren kann, anstelle von langsameren KI-Servern.
AI LPR Configuration

LPR (License Plate Recognition, auch bekannt als ALPR/ANPR) nutzt einen KI-Server, um Nummernschilder von Fahrzeugen in Ihren Videofeeds zu erkennen und zu lesen. Es erzeugt Ereignisse, löst Warnungen aus oder fungiert als Filter für Bewegungswarnungen.

  • Aktiviert: Schalten Sie den KI-Prozess ein oder aus.
  • KI-Server: Wählen Sie aus Ihren konfigurierten Servern oder verwenden Sie die Standardoption. Agent DVR unterstützt LPR über CodeProject.AI, PlateRecognizer.com, Gemini oder ein beliebiges OpenAI-kompatibles Vision-LLM (wie vLLM, Ollama und LM Studio).
  • Modus: Wählen Sie den Auslöser für den KI-Prozess. Auslösen Sie nur über API, indem Sie dies auf None setzen und triggerLPR aufrufen.
  • Snapshot-URI verwenden: Wählen Sie einen hochauflösenden Frame von Ihrer Kamera anstelle des aktuellen Live-Stream-Frames.
  • Größenänderungsmodus: Ändern Sie die Größe von Bildern vor dem Senden an den KI-Server, um die Last zu verringern und die Antwortzeiten zu verbessern.
  • Overlay konfigurieren: Richten Sie das Zeichnen von KI-Ergebnissen im Live-Videostrom ein.
  • Anforderungsintervall: Legen Sie die Mindestzeit zwischen Serveranforderungen fest, um die Last zu reduzieren.
  • Konfidenz: Definieren Sie das Mindestkonfidenzniveau, um ein Nummernschild zu erkennen.
  • Check Corners: Siehe Ecken überprüfen für weitere Details.
  • Kennzeichen: Geben Sie eine kommagetrennte Liste von Kennzeichen oder eine URL zu einer CSV-Datei mit Kennzeichen ein. Agent DVR generiert License Plate Recognized- und License Plate Not Recognized-Ereignisse für diese Kennzeichen, die Aktionen auslösen können.
  • Neuladen-Intervall: Legen Sie die Häufigkeit für das Neuladen der Kennzeichenliste von der URL fest.
  • Normalisieren: Passen Sie häufig falsch erkannte Kennzeichen an, um die Abgleichung zu verbessern.
  • Hersteller, Modell und Farbe: Aktivieren Sie dies nur, wenn Sie einen kostenpflichtigen Plan bei PlateRecognizer.com verwenden, der diese Funktionen unterstützt. Dies ist nicht im kostenlosen Plan enthalten. Details werden in {AIJSON} in Agent DVR Actions enthalten sein.

Aktionen

LPR generiert AI: License Plate Recognized- und AI: License Plate Not Recognized-Ereignisse zur Verwendung in Actions.

Fotos

Informationen zu Fotos finden Sie unter Fotos.

ALPR-Database verwenden

Sie können eine Integration mit ALPR-Database.com einrichten, um Ihre Nummernschilder zu speichern. Siehe Agent DVR mit ALPR-Database für Anweisungen.

KI-Gesichtserkennung

Neuere Versionen von Agent DVR haben KI integriert, was schnellere Verarbeitung und geringeren Overhead ermöglicht. Verwenden Sie die lokale KI, die in Echtzeit reagieren kann, anstelle von langsameren KI-Servern.
AI Face Recognition Settings

Gesichtserkennung nutzt einen KI-Server (empfohlen: CodeProject.AI), um bestimmte Gesichter in Videostreams zu erkennen. Sie kann Ereignisse generieren, Warnungen auslösen oder als Filter für Bewegungswarnungen fungieren. Gesichter können mit Ihrer Kamera hinzugefügt, bearbeitet oder gelöscht werden oder durch das Hochladen von Bildern. Weitere Informationen finden Sie unter Edit Faces in diesem Tab.

  • Aktiviert: Schalten Sie den KI-Prozess ein oder aus.
  • KI-Server: Wählen Sie aus den konfigurierten Servern aus, oder verwenden Sie die Standardoption.
  • Modus: Wählen Sie den Auslöser für den KI-Prozess. Auslösen über API nur, indem Sie dies auf None setzen und triggerFace aufrufen
  • Snapshot-URI verwenden: Wählen Sie einen hochauflösenden Frame von Ihrer Kamera anstelle des aktuellen Live-Stream-Frames.
  • Größenänderungsmodus: Ändern Sie die Größe von Bildern vor dem Senden an den KI-Server, um die Last zu verringern und die Antwortzeiten zu verbessern.
  • Overlay konfigurieren: Richten Sie das Zeichnen von KI-Ergebnissen im Live-Videostrom ein.
  • Anforderungsintervall: Legen Sie die Mindestzeit zwischen Serveranforderungen fest, um die Last zu reduzieren.
  • Konfidenz: Definieren Sie das Mindestvertrauensniveau zur Gesichtserkennung.
  • Check Corners: Siehe Ecken überprüfen für weitere Details.
  • Edit Faces: Laden Sie Bilder in die Serverdatenbank für die Erkennung hoch. Stellen Sie sicher, dass in jedem Bild nur ein Gesicht sichtbar und klar definiert ist.

Aktionen

Gesichtserkennung generiert die Ereignisse AI: Face Recognized und AI: Face Not Recognized zur Verwendung in Aktionen.

Fotos

Informationen zu Fotos finden Sie unter Fotos.

AI Audio Erkennung

AI-Audioerkennungseinstellungen AI-Audioerkennungs-Tags

Die KI-basierte Audiotkerkennung in Agent DVR reagiert auf erkannte Sounds von Mikrofonen oder Audiostreams.

Sie müssen die Mikrofoneinstellungen bearbeiten, um die Audiotkerkennung einzurichten. Wenn Sie eine Kamera mit einem Audiostrom haben, können Sie auf die Audioeinstellungen zugreifen, indem Sie die Kamera bearbeiten, die Registerkarte Audio auswählen und auf "Konfigurieren" klicken.

  • Aktiviert: Umschalten zum Aktivieren oder Deaktivieren des KI-Prozesses.
  • Modus: Wählen Sie den Trigger für den KI-Prozess.
  • Vertrauensstufe: Legen Sie die Mindestvertrauensstufe für die Schallerkennung fest.
  • Abhören von: Wählen Sie bestimmte Sounds aus, die die KI erkennen soll.
  • Überlagerung: Zeigt KI-Ergebnisse auf der Live-Audiovisualisierung an.
  • GPU verwenden: Aktivieren Sie diese Option, um Ihre GPU anstelle der CPU zu verwenden.
  • Gerät: Wählen Sie das Gerät aus, auf dem das Modell ausgeführt werden soll.

Durch Klick auf Listen For werden verfügbare Sounds zur Erkennung angezeigt. Wählen Sie nach Bedarf Sounds aus.

Verwenden Sie die Action AI: Sound Recognized, um Aufgaben auszuführen, wenn ein Sound erkannt wird.

Die Audiotserkennung kann auch zum Filtern von Warnungen verwendet werden, ähnlich wie bei Kameras.

AI-Sprachmodell

Gehen Sie zum Servermenu - Einstellungen - Allgemein - Standardsprache, um die Sprache für Beschriftungen und Tags in Bild-Overlays zu ändern.

Hinzufügen von Aktionen zu KI-Ereignissen

Agent DVR generiert Ereignisse durch KI-Prozesse, die Aktionen auslösen können. Beispielsweise generiert Objekterkennung die Ereignisse "Objekt gefunden" und "Objekt nicht gefunden". Jedes KI-System in Agent DVR erzeugt eindeutige Ereignisse.

Diese Ereignisse können verschiedene Aktionen auslösen, wie z. B. Benachrichtigungen auslösen, URLs mit Objektbezeichnungen aufrufen, Programme ausführen oder Nachrichten an MQTT-Server veröffentlichen. Verwenden Sie Tags {AI} für Bezeichnungen oder {AIJSON} für die vollständige JSON-Antwort vom KI-Server in Aktionen.