AI: Server

Agent DVR integriert sich vollständig mit KI-Servern wie DeepStack AI, CodeProject AI, PlateRecognizer.com, Claude, Gemini, OpenAI (ChatGPT) und lokalen LLMs wie Ollama, vLLM und LM Studio, um intelligente Alarmfilterung, Objekterkennung, Szenenerkennung und intelligente Ereignissteuerung hinzuzufügen.

Zusätzlich zu DeepStack und CodeProject AI können Sie auch andere KI-Server verwenden, die die gleiche API unterstützen:

Objekterkennung & Computervision

• https://codeproject.github.io/ - Plattformübergreifender GPU/CPU-basierter KI-Verarbeitungsserver
• https://docs.platerecognizer.com/ - Nummernschilderkennungsserver (webgestützte API)
• https://github.com/runningman84/docker-coral-rest-server - Tensorflow-Lite-Modelle auf einem RPi (oder Linux/Mac) mit Beschleunigung durch Coral USB-Stick
• https://github.com/robmarkcole/coral-pi-rest-server/ - Tensorflow-Lite-Modelle auf einem Coral USB-Beschleuniger über eine Flask-Anwendung
• https://xnorpx.github.io/blue-onyx/ - Blue Onyx Objekterkennungsdienst

Cloud-KI-Dienste

• https://platform.openai.com/ - OpenAI API (ChatGPT, GPT-4 Vision) für Bildanalyse und Chat
• https://console.anthropic.com/ - Anthropic Claude API für fortgeschrittenes Reasoning und Bildverständnis
• https://ai.google.dev/ - Google Gemini API für multimodale KI-Funktionen
• https://docs.anthropic.com/ - Claude API-Dokumentation
• https://platform.openai.com/docs/ - OpenAI API-Dokumentation
• https://ai.google.dev/gemini-api/docs - Gemini API-Dokumentation

Lokale KI-Server (LLMs)

• https://ollama.com/ - Ollama: Große Sprachmodelle lokal ausführen
• https://docs.vllm.ai/ - vLLM: Hochdurchsatz-LLM-Inferenz und Bereitstellung
• https://lmstudio.ai/ - LM Studio: Benutzerfreundliche Desktop-Anwendung für lokale LLMs
• https://github.com/ollama/ollama - Ollama GitHub-Repository
• https://github.com/vllm-project/vllm - vLLM GitHub-Repository

Benutzerdefinierte KI-Modelle ermöglichen es Ihnen, die Objekterkennung von Agent DVR über die integrierten Optionen hinaus zu erweitern, um beispielsweise Wildtiere, Lieferwagen oder alles andere zu erkennen, das ein trainiertes Modell finden kann. Um Ihre eigenen Modelldateien zu Agent DVR hinzuzufügen, gehen Sie zu Server-Einstellungen > KI-Einstellungen und klicken Sie auf Objekterkennung unter KI-Modelle. Agent wird mit zwei vordefinierten Modellen geliefert, die für Agent DVR optimiert wurden.

Bevor Sie ein Modell konfigurieren, müssen Sie es zum Ordner "Modelle" von Agent DVR hinzufügen (siehe KI-Modelle erstellen). Dieser befindet sich normalerweise unter Agent/Media/Models/ONNX (der Pfad kann je nach Betriebssystem unterschiedlich sein). Der vollständige Pfad wird auf der Seite "Modell hinzufügen" angezeigt, falls Sie sich unsicher sind. Agent verwendet .onnx-Modelle. Sie können andere KI-Modellformate mit Python-Werkzeugen zu ONNX konvertieren.

Sobald Sie das Modell erstellt und kopiert haben, können Sie es ganz einfach zu Agent hinzufügen - klicken Sie, um ein Modell hinzuzufügen:

• Name: Geben Sie Ihrem Modell einen Namen - dies kann alles sein, das Ihnen gefällt.
• Beschreibung: Eine optionale Beschreibung der Funktion des Modells.
• Modell-Datei: Wählen Sie den Modell-Dateinamen aus, den Sie in den Ordner kopiert haben.
• Bezeichnungen: Geben Sie eine Liste mit Bezeichnungen (oder "Klassen") ein, die Ihr Modell im CSV-Format ohne Anführungszeichen sucht (Leerzeichen werden automatisch entfernt).
• Layout: Wählen Sie, ob Ihr Modell NCHW oder NHWC ist. Die meisten Modelle sind NCHW, falls Sie sich unsicher sind.
• Kanalreihenfolge: Wählen Sie, ob Ihr Modell Bilder in RGB oder BGR benötigt. Die meisten Modelle verwenden RGB. Wenn Ihr Modell ein einzelnes Kanal (Graustufen) ist, wird dies ignoriert.
• Normalisieren: Wählen Sie, wie die Daten normalisiert werden sollen, bevor sie in Ihrem Modell verwendet werden. Die meisten Modelle verwenden Neumskalierung (0-1), die Pixelwerte durch 255 dividiert.
• Bild auffüllen: Dies bestimmt, ob das Bild auf die Eingabedimensionen gestreckt oder mit schwarzen Balken aufgefüllt werden soll. Normalerweise ist es besser, Bilder für die Genauigkeit aufzufüllen.
• Verfügt über NMS: Aktivieren Sie dieses Kontrollkästchen, wenn Ihr Modell bereits Non-Maximum Suppression intern durchführt. Andernfalls führt Agent NMS selbst durch. NMS steuert, wie Ergebnisrechtecke gefiltert werden.
• Standard-NMS: Legen Sie den Überlappungsbegrenzer für NMS fest (Standard ist 45% Überlappung).

Nachdem Sie Ihr Modell hinzugefügt haben, ist es in der Registerkarte Objekterkennung Ihres Geräts verfügbar. Falls Sie Probleme haben, können Sie zur Modellkonfiguration zurückkehren und Änderungen vornehmen. Agent unterstützt auch das Neuladen der Modelldatei, sodass Sie sie mit einer neuen Version überschreiben können, während sie ausgeführt wird.

Um KI-Server einzurichten, klicken Sie auf das Symbol oben rechts in der Agent DVR Benutzeroberfläche. Klicken Sie dann auf Einstellungen unter Konfiguration, wählen Sie KI-Einstellungen aus dem Dropdown-Menü und klicken Sie auf KI-Server.

Agent DVR ist mit CodeProject.AI für verschiedene KI-Funktionen integriert, einschließlich Objekterkennung, Gesichtserkennung, ALPR (Automatische Nummernschilderkennung) und Superauflösung (erweitern). PlateRecognizer.com wird auch als ALPR-Anbieter unterstützt. CodeProject.AI ist Open Source, kostenlos und mit den meisten Plattformen kompatibel.

Installieren Sie zunächst einen KI-Server für Ihre Plattform und verbinden Sie Agent DVR damit, indem Sie auf KI-Server und dann auf Hinzufügen klicken.

Sie können Agent DVR so viele KI-Server hinzufügen wie nötig. Kameras in Agent DVR können so konfiguriert werden, dass sie unterschiedliche KI-Server für jede Funktion nutzen, oder Sie können einen KI-Server für alle Aufgaben verwenden.

Server konfigurieren

• Name: Benennen Sie Ihren Server, z. B. Cat Catcher.
• KI-Server URL: Geben Sie die URL Ihres KI-Servers ein, z. B. http://localhost:32168/
• API-Schlüssel: Geben Sie Ihren Schlüssel ein, falls eingerichtet (optional).
• Zeitüberschreitung: Die Zeitüberschreitung in Sekunden für Server-Anfragen.
• Wiederholungsverzögerung: Die Zeit in Sekunden vor dem erneuten Versuch einer fehlgeschlagenen Anfrage an diesen Server.

Klicken Sie auf OK, um Ihre Einstellungen zu speichern.

Um OpenAI ("ChatGPT") einzurichten, damit es Fragen zu dem beantworten kann, was in Ihrem Videofeed passiert, navigieren Sie zu Server-Einstellungen - KI-Einstellungen und wählen Sie "OpenAI" unter KI fragen aus.

• URL: Geben Sie die URL für den Dienst ein. Der Standard ist "https://api.openai.com/v1/responses".
• OpenAI API-Schlüssel: Nach der Registrierung bei OpenAI navigieren Sie zur API-Schlüssel-Seite und generieren Sie einen neuen geheimen Schlüssel. Kopieren Sie diesen Schlüssel und fügen Sie ihn in das angegebene Feld ein.
• Modell: Geben Sie das zu verwendende Modell an. Der Standard ist gpt-5.4-mini. OpenAI kann dies zu einem späteren Zeitpunkt entfernen oder ändern.
• Max. Token: Dies legt die maximale Token-Verwendung pro Anfrage fest. Wenn Probleme auftreten, überprüfen Sie die Protokolle unter /logs.html, da dies mit der Token-Verwendung zusammenhängen könnte.

Sobald OpenAI konfiguriert ist, konsultieren Sie KI fragen für Anweisungen zur Verwendung zum Beantworten allgemeiner Fragen zu dem, was in Ihrem Kamera-Feed passiert.

Um Claude KI so einzurichten, dass sie Fragen zu Ihrem Video-Feed beantwortbar macht, navigieren Sie zu Server-Einstellungen - KI-Einstellungen und wählen Sie "Claude" unter KI fragen aus.

• URL: Geben Sie die URL des Services ein. Der Standardwert ist "https://api.anthropic.com/v1/messages".
• Claude API-Schlüssel: Besuchen Sie nach der Anmeldung bei Claude die API-Schlüssel-Seite und erstellen Sie einen neuen geheimen Schlüssel. Kopieren Sie diesen Schlüssel und fügen Sie ihn in das Feld ein.
• Version: Geben Sie die zu verwendende API-Version an. Der Standardwert ist 2023-06-01. Dies kann jederzeit von Anthropic entfernt oder geändert werden.
• Modell: Geben Sie das zu verwendende Modell an. Der Standardwert zum Zeitpunkt des Schreibens ist claude-sonnet-4-6 (Claude Sonnet 4.6).
• Max. Token: Dies steuert die maximale Token-Ausgabe pro Anfrage. Überprüfen Sie die Protokolle unter /logs.html, falls Sie Probleme haben, da dies mit der Token-Ausgabe zusammenhängen könnte.

Nachdem Claude konfiguriert ist, lesen Sie KI fragen, um zu erfahren, wie Sie damit allgemeine Szenarien in Ihrem Kamera-Feed erkennen.

Um Gemini so einzurichten, dass es Fragen zu den Vorgängen in Ihrem Video-Feed beantwortet, navigieren Sie zu Server-Einstellungen - KI-Einstellungen und wählen Sie "Gemini" unter KI fragen.

• URL: Geben Sie die URL zum Dienst ein. Standard ist "https://generativelanguage.googleapis.com".
• Gemini API-Schlüssel: Nachdem Sie sich für Gemini registriert haben, besuchen Sie die API-Schlüssel-Seite und erstellen Sie einen neuen geheimen Schlüssel. Kopieren Sie diesen Schlüssel und fügen Sie ihn in das Feld ein.
• Version: Geben Sie die zu verwendende API-Version an. Standard ist v1beta. Dies kann von Google jederzeit entfernt oder geändert werden.
• Modell: Geben Sie das zu verwendende Modell an. Standard zum Zeitpunkt des Schreibens ist gemini-2.5-flash. Nachdem Sie einen API-Schlüssel eingegeben haben, listet Agent die für Ihr Konto verfügbaren Vision-Modelle auf.
• Max. Token: Dies steuert die maximale Token-Ausgabe pro Anfrage. Überprüfen Sie die Protokolle unter /logs.html, falls Sie Probleme haben, da dies mit der Token-Ausgabe zusammenhängen könnte.

Nachdem Gemini konfiguriert ist, lesen Sie KI fragen, um zu erfahren, wie Sie damit allgemeine Szenarien in Ihrem Kamera-Feed erkennen können.

Sie können Ihre eigenen lokalen LLM-Server (wie vLLM, Ollama und LM Studio) verwenden, um die Bilder zu beschreiben, die Agent DVR von Ihren Kameras bei Alarmereignissen erfasst, und um Fragen zu beantworten, was in Ihren Videoströmen passiert. Siehe Beschreiben und KI fragen.

Um einen lokalen KI-Server zu konfigurieren, navigieren Sie zu Server-Einstellungen - KI-Einstellungen und klicken Sie auf die Schaltfläche "Konfigurieren" neben dem LLM, das Sie verwenden möchten (Ollama, vLLM oder LM Studio).

• URL: Geben Sie den Endpunkt an, auf dem Ihr LLM-Server ausgeführt wird. Standard-URLs sind:
  • Ollama:

    http://localhost:11434/api/chat

  • vLLM:

    http://localhost:8000/v1/chat/completions

  • LM Studio:

    http://localhost:1234/v1/chat/completions

• API-Schlüssel: Falls Ihr LLM-Server eine Authentifizierung erfordert, geben Sie hier den API-Schlüssel ein. Die meisten lokalen Server erfordern dies nicht, es sei denn, sie sind speziell konfiguriert.
• Modell: Wählen Sie das visionsfähige Modell aus, das für die Bildanalyse verwendet werden soll. Sie müssen dieses Modell bereits in Ihrem LLM-Server heruntergeladen und geladen haben. Agent schlägt einige beliebte Optionen vor, darunter:
  • Qwen VL-Modelle (hohe Leistung)
  • Gemma 4 (gute Größenvielfalt)
  • Llama 3.2 Vision (Meta)
  • Mistral Small 3.1
  • moondream (sehr klein, gut für schwache Hardware, nur Ollama)
• Temperatur: Steuert Kreativität vs. Genauigkeit in Antworten (0,0-1,0). Niedrigere Werte (0,3-0,4) erzeugen sachlichere, konsistentere Beschreibungen. Höhere Werte (0,6-0,8) generieren mehr Variationen und kreativere Antworten. Empfohlen: 0,4 für die Analyse von Sicherheitskamerabildern.
• Max. Token: Maximale Anzahl von Wörtern/Token in der Antwort der KI. Höhere Werte ermöglichen ausführlichere Beschreibungen, dauern aber länger zu generieren. Empfohlen: 300-500 für detaillierte Bildanalyse, 150-250 für kurze Beschreibungen.
• top_p: Steuert die Antwortvielfalt, indem die Wortschatzauswahl begrenzt wird (0,0-1,0). Niedrigere Werte verwenden häufigere Wörter, höhere Werte ermöglichen mehr Wortschatzvielfalt. Empfohlen: 0,9 für ein gutes Gleichgewicht zwischen Genauigkeit und natürlicher Sprache.
• top_k: Beschränkt das Modell darauf, aus den K wahrscheinlichsten nächsten Wörtern auszuwählen. Niedrigere Werte (20-40) erzeugen fokussiertere Antworten, höhere Werte (80-100) ermöglichen mehr Vielfalt. Empfohlen: 50 für zuverlässige Bildbeschreibungen.

Um die LPR (ANPR oder Nummernschild-Erkennung) in Agent DVR zu konfigurieren, gehen Sie zu Server-Einstellungen - KI-Einstellungen und geben Sie die Details unter Plate Recognizer ein. Melden Sie sich für eine kostenlose Testversion unter Plate Recognizer an. Keine Kreditkarte erforderlich.

• URL: Geben Sie die URL zum Service ein. Der Standard ist „https://api.platerecognizer.com/v1/plate-reader/", oder verwenden Sie Ihren eigenen Server, wenn Sie Ihre eigene Instanz hosten.
• Token: Nach der Anmeldung bei Plate Recognizer besuchen Sie die Kontoseite und kopieren Sie das API-Token.
• Regionen: Lassen Sie das Feld leer für den Standard oder geben Sie eine CSV-Liste von Regionen ein.
• Konfig.: Geben Sie zusätzliche Konfigurationswerte aus der Dokumentation ein, falls erforderlich.

DoubleTake ist eine Open-Source-Plattform, die eine einheitliche API zur Verarbeitung von Gesichtserkennung bereitstellt, die folgende Dienste nutzt:

• CompreFace
• Amazon Rekognition
• DeepStack
• CodeProject.AI Server
• Facebox

Sie müssen DoubleTake mit Ihren bevorzugten Optionen zur Gesichtserkennung installieren und konfigurieren.

Nachdem DoubleTake eingerichtet ist, öffnen Sie Agent DVR und gehen Sie zu Server-Einstellungen - KI-Einstellungen und klicken Sie auf die Schaltfläche „Konfigurieren" neben DoubleTake.

Geben Sie die URL zu Ihrem DoubleTake-Server ein (z. B. http://localhost:3000/) sowie Ihr Passwort, falls gesetzt.

Klicken Sie auf OK, bearbeiten Sie dann eine Kamera und gehen Sie zu Gesichtserkennung. Setzen Sie die Option KI-Server auf DoubleTake und konfigurieren Sie die Gesichtserkennung nach Bedarf.