AI: Server

Agent DVR integriert sich vollständig mit KI-Servern wie DeepStack AI, CodeProject AI, PlateRecognizer.com, Claude, Gemini, OpenAI (ChatGPT) und lokalen LLMs wie Ollama, vLLM und LM Studio, um intelligente Alarmfilterung, Objekterkennung, Szenenerkennung und intelligente Ereigniskontrolle hinzuzufügen.

Zusätzlich zu DeepStack und CodeProject AI können Sie auch andere KI-Server verwenden, die die gleiche API unterstützen:

Objekterkennung & Computer Vision

• https://codeproject.github.io/ - Plattformübergreifender GPU/CPU-basierter KI-Verarbeitungsserver
• https://docs.platerecognizer.com/ - Kennzeichenerkennungsserver (Web-basierte API)
• https://github.com/runningman84/docker-coral-rest-server - Tensorflow-lite-Modelle auf einem RPi (oder Linux/Mac) mit Beschleunigung durch einen Coral USB-Stick
• https://github.com/robmarkcole/coral-pi-rest-server/ - Tensorflow-lite-Modelle auf einem Coral USB-Beschleuniger über eine Flask-App
• https://github.com/xnorpx/blue-candle - Super kleiner Objekterkennungsserver

Cloud KI-Dienste

• https://platform.openai.com/ - OpenAI API (ChatGPT, GPT-4 Vision) für Bildanalyse und Chat
• https://console.anthropic.com/ - Anthropic Claude API für fortgeschrittenes Denken und Bildverständnis
• https://ai.google.dev/ - Google Gemini API für multimodale KI-Funktionen
• https://docs.anthropic.com/ - Claude API-Dokumentation
• https://platform.openai.com/docs/ - OpenAI API-Dokumentation
• https://ai.google.dev/gemini-api/docs - Gemini API-Dokumentation

Lokale KI-Server (LLMs)

• https://ollama.com/ - Ollama: Führen Sie große Sprachmodelle lokal aus
• https://docs.vllm.ai/ - vLLM: Hochdurchsatz-LLM-Inferenz und -Bereitstellung
• https://lmstudio.ai/ - LM Studio: Benutzerfreundliche Desktop-App für lokale LLMs
• https://github.com/ollama/ollama - Ollama GitHub-Repository
• https://github.com/vllm-project/vllm - vLLM GitHub-Repository

Benutzerdefinierte KI-Modelle ermöglichen es Ihnen, die Objekterkennung von Agent DVR über die integrierten Optionen hinaus zu erweitern, um beispielsweise Wildtiere, Lieferfahrzeuge oder alles andere zu erkennen, das ein trainiertes Modell finden kann. Um Ihre eigenen Modelldateien zu Agent DVR hinzuzufügen, gehen Sie zu Server Settings > AI Settings und klicken Sie unter AI Models auf Object Recognition. Agent wird mit zwei vordefinierten Modellen geliefert, die für Agent DVR leistungsoptimiert wurden.

Bevor Sie ein Modell konfigurieren, müssen Sie es zum Ordner Models von Agent DVR hinzufügen (siehe Erstellen von KI-Modellen). Dieser befindet sich normalerweise unter Agent/Media/Models/ONNX (der Pfad kann je nach Betriebssystem unterschiedlich sein). Der vollständige Pfad wird auf der Seite "Add Model" angezeigt, falls Sie unsicher sind. Agent verwendet .onnx-Modelle. Sie können andere KI-Modellformate mit Python-Tools in ONNX konvertieren.

Nachdem Sie das Modell erstellt und kopiert haben, ist das Hinzufügen zu Agent einfach - klicken Sie, um ein Modell hinzuzufügen:

• Name: Geben Sie Ihrem Modell einen Namen - dieser kann beliebig sein.
• Description: Eine optionale Beschreibung, was das Modell tut.
• Model File: Wählen Sie den Modelldateinamen, den Sie in den Ordner kopiert haben.
• Labels: Geben Sie eine Liste von Labels (oder "Klassen") ein, die Ihr Modell im CSV-Format ohne Anführungszeichen sucht (Leerzeichen werden automatisch entfernt).
• Layout: Wählen Sie, ob Ihr Modell NCHW oder NHWC ist. Die meisten Modelle sind NCHW, wenn Sie unsicher sind.
• Channel Order: Wählen Sie, ob Ihr Modell Bilder in RGB oder BGR möchte. Die meisten Modelle verwenden RGB. Wenn Ihr Modell einkanalig (Graustufen) ist, wird dies ignoriert.
• Normalize: Wählen Sie, wie die Daten normalisiert werden sollen, bevor sie in Ihrem Modell verwendet werden. Die meisten Modelle verwenden Rescaling (0-1), das Pixelwerte durch 255 teilt.
• Pad Image: Dies kontrolliert, ob das Bild auf die Eingabedimensionen gestreckt oder mit schwarzen Balken aufgefüllt werden soll. Normalerweise ist es besser, Bilder zur Genauigkeit aufzufüllen.
• Has NMS: Aktivieren Sie dies, wenn Ihr Modell bereits intern Non-Maximum Suppression durchführt. Andernfalls führt Agent NMS selbst durch. NMS kontrolliert, wie Ergebnisrechtecke gefiltert werden.
• Default NMS: Legen Sie die Überlappungsbegrenzung für NMS fest (Standard ist 45% Überlappung).

Nachdem Sie Ihr Modell hinzugefügt haben, ist es in der Registerkarte Object Recognition Ihres Geräts verfügbar. Wenn Sie Probleme haben, können Sie zur Modellkonfiguration zurückgehen und Änderungen vornehmen. Agent unterstützt auch das Neuladen der Modelldatei, sodass Sie sie während der Ausführung mit einer neuen Version überschreiben können.

Um KI-Server einzurichten, klicken Sie auf das Symbol oben rechts in der Agent DVR Benutzeroberfläche. Klicken Sie dann auf Einstellungen unter Konfiguration, wählen Sie KI-Einstellungen aus dem Dropdown-Menü und klicken Sie auf KI-Server.

Agent DVR wird mit CodeProject.AI für verschiedene KI-Funktionen integriert, einschließlich Objekterkennung, Gesichtserkennung, ALPR (Automatische Nummernschalterkennung) und Super-Auflösung (Verbesserung). PlateRecognizer.com wird auch als ALPR-Provider unterstützt. CodeProject.AI ist Open Source, kostenlos und mit den meisten Plattformen kompatibel.

Installieren Sie zunächst einen KI-Server für Ihre Plattform und verbinden Sie Agent DVR damit, indem Sie auf KI-Server und dann Hinzufügen klicken.

Sie können Agent DVR so viele KI-Server hinzufügen, wie benötigt. Kameras in Agent DVR können so konfiguriert werden, dass sie für jede Funktion unterschiedliche KI-Server verwenden, oder Sie können einen KI-Server für alle Aufgaben verwenden.

Konfigurieren Sie Ihren Server

• Name: Benennen Sie Ihren Server, z. B. Cat Catcher.
• KI-Server-URL: Geben Sie die URL Ihres KI-Servers ein, z. B. http://localhost:32168/
• API-Schlüssel: Geben Sie Ihren Schlüssel ein, falls eingerichtet (optional).
• Timeout: Das Timeout in Sekunden für Server-Anfragen.
• Wiederholungsverzögerung: Die Zeit in Sekunden, bevor eine fehlgeschlagene Anfrage an diesen Server erneut versucht wird.

Klicken Sie auf OK, um Ihre Einstellungen zu speichern.

Um OpenAI ("ChatGPT") einzurichten, um Fragen zu dem zu beantworten, was in Ihrem Video-Feed geschieht, navigieren Sie zu Server Settings - AI Settings und wählen Sie "OpenAI" unter Ask AI.

• URL: Geben Sie die URL für den Service ein. Die Standardeinstellung ist "https://api.openai.com/v1/responses".
• OpenAI API-Schlüssel: Nach der Registrierung bei OpenAI gehen Sie zur API-Schlüssel-Seite und generieren einen neuen geheimen Schlüssel. Kopieren Sie diesen Schlüssel und fügen Sie ihn in das angegebene Feld ein.
• Model: Geben Sie das zu verwendende Modell an. Die Standardeinstellung ist gpt-5.4-mini. OpenAI kann dies später ändern oder entfernen.
• Maximale Token: Dies legt die maximale Token-Nutzung pro Anfrage fest. Wenn Probleme auftreten, überprüfen Sie die Protokolle unter /logs.html, da dies mit der Token-Nutzung zusammenhängen könnte.

Nachdem OpenAI konfiguriert ist, verweisen Sie auf Fragen an KI für Anweisungen zur Verwendung bei der Beantwortung allgemeiner Fragen zu dem, was in Ihrem Kameravideo passiert.

Um Claude AI so einzurichten, dass es Fragen zum Geschehen in Ihrem Video-Feed beantwortet, navigieren Sie zu Server Settings - AI Settings und wählen Sie "Claude" unter Ask AI.

• URL: Geben Sie die URL zum Service ein. Standard ist "https://api.anthropic.com/v1/messages".
• Claude API Key: Nach der Registrierung bei Claude besuchen Sie die API Keys Page und erstellen Sie einen neuen Secret Key. Kopieren Sie diesen Key und fügen Sie ihn in das Feld ein.
• Version: Geben Sie die zu verwendende API-Version an. Standard ist 2023-06-01. Dies kann von Anthropic irgendwann entfernt oder geändert werden.
• Model: Geben Sie das zu verwendende Modell an. Standard zum Zeitpunkt des Schreibens ist claude-sonnet-4-6 (Claude Sonnet 4.6).
• Max Tokens: Dies steuert die maximale Token-Nutzung pro Anfrage. Überprüfen Sie die Logs unter /logs.html, wenn Sie Probleme haben, da dies mit der Token-Nutzung zusammenhängen könnte.

Nach der Konfiguration von Claude siehe Ask AI für die Verwendung zur Erkennung allgemeiner Szenarien in Ihrem Camera-Feed.

Um Gemini so einzurichten, dass es Fragen zu Ihrem Video-Feed beantwortet, navigieren Sie zu Server Settings - AI Settings und wählen Sie "Gemini" unter Ask AI aus.

• URL: Geben Sie die URL zum Service ein. Standard ist "https://generativelanguage.googleapis.com".
• Gemini API Key: Nach der Registrierung bei Gemini besuchen Sie die API Keys Page und erstellen Sie einen neuen Secret Key. Kopieren Sie diesen Key und fügen Sie ihn in das Feld ein.
• Version: Geben Sie die zu verwendende API-Version an. Die Standardeinstellung ist v1beta. Dies kann von Google jederzeit entfernt oder geändert werden.
• Model: Geben Sie das zu verwendende Modell an. Standard zum Zeitpunkt der Verfassung ist gemini-2.5-flash. Nachdem Sie einen API Key eingegeben haben, listet Agent die für Ihr Konto verfügbaren Vision-Modelle auf.
• Max Tokens: Dies steuert die maximale Token-Nutzung pro Anfrage. Überprüfen Sie die Logs unter /logs.html, wenn Sie Probleme haben, da dies mit der Token-Nutzung zusammenhängen könnte.

Sobald Gemini konfiguriert ist, siehe Ask AI für die Verwendung zur Erkennung allgemeiner Szenarien in Ihrem Camera-Feed.

Sie können Ihre eigenen lokalen LLM-Server (wie vLLM, Ollama und LM Studio) verwenden, um die Bilder zu beschreiben, die Agent DVR von Ihren Kameras bei Alertereignissen erfasst, und um Fragen zu beantworten, was in Ihren Videostreams passiert. Siehe Alerts beschreiben und KI abfragen.

Um einen lokalen AI-Server zu konfigurieren, gehen Sie zu Server Settings - AI Settings und klicken Sie auf die Schaltfläche Configure neben dem LLM, den Sie verwenden möchten (Ollama, vLLM oder LM Studio).

• URL: Geben Sie den Endpunkt an, auf dem Ihr LLM-Server läuft. Standard-URLs sind:
  • Ollama:

    http://localhost:11434/api/chat

  • vLLM:

    http://localhost:8000/v1/chat/completions

  • LM Studio:

    http://localhost:1234/v1/chat/completions

• API Key: Wenn Ihr LLM-Server eine Authentifizierung erfordert, geben Sie den API-Schlüssel hier ein. Die meisten lokalen Server benötigen dies nicht, es sei denn, es wurde speziell konfiguriert.
• Model: Wählen Sie das Vision-fähige Modell aus, das für die Bildanalyse verwendet werden soll. Sie müssen dieses Modell bereits auf Ihrem LLM-Server heruntergeladen und geladen haben. Agent schlägt einige beliebte Optionen vor, einschließlich:
  • Qwen VL-Modelle (hohe Leistung)
  • Gemma 4 (gutes Größenspektrum)
  • Llama 3.2 Vision (Meta)
  • Mistral Small 3.1
  • moondream (sehr klein, gut für Niedrigend-Hardware, nur Ollama)
• Temperature: Steuert Kreativität versus Genauigkeit bei Antworten (0,0-1,0). Niedrigere Werte (0,3-0,4) erzeugen sachlichere, konsistentere Beschreibungen. Höhere Werte (0,6-0,8) erzeugen mehr Variationen und kreativere Antworten. Empfohlen: 0,4 für die Analyse von Sicherheitskameras.
• Max Tokens: Maximale Anzahl von Wörtern/Tokens in der Antwort der KI. Höhere Werte ermöglichen ausführlichere Beschreibungen, benötigen aber länger zum Generieren. Empfohlen: 300-500 für detaillierte Bildanalyse, 150-250 für kurze Beschreibungen.
• top_p: Steuert die Antwortvielfalt durch Begrenzung der Wortschatzauswahl (0,0-1,0). Niedrigere Werte verwenden häufigere Wörter, höhere Werte ermöglichen mehr Wortschatzvielfalt. Empfohlen: 0,9 für gutes Gleichgewicht zwischen Genauigkeit und natürlicher Sprache.
• top_k: Begrenzt das Modell auf die Auswahl aus den K wahrscheinlichsten nächsten Wörtern. Niedrigere Werte (20-40) erzeugen fokussiertere Antworten, höhere Werte (80-100) ermöglichen mehr Vielfalt. Empfohlen: 50 für zuverlässige Bildbeschreibungen.

• URL: Geben Sie die URL des Dienstes ein. Standardmäßig ist "https://api.platerecognizer.com/v1/plate-reader/" oder verwenden Sie Ihren eigenen Server, wenn Sie eine eigene Instanz hosten.
• Token: Nach der Anmeldung bei Plate Recognizer besuchen Sie die Kontoseite und kopieren Sie den API-Token.
• Regionen: Lassen Sie dieses Feld leer für die Standardeinstellung oder geben Sie eine CSV-Liste von Regionen ein.
• Konfiguration: Geben Sie bei Bedarf zusätzliche Konfigurationswerte aus der Dokumentation ein.

DoubleTake ist eine Open-Source-Plattform, die eine einheitliche API für die Verarbeitung der Gesichtserkennung mit folgenden Optionen bereitstellt:

• CompreFace
• Amazon Rekognition
• DeepStack
• CodeProject.AI Server
• Facebox

Sie müssen DoubleTake installieren und mit Ihren bevorzugten Gesichtserkennungsoptionen konfigurieren.

Nachdem DoubleTake eingerichtet ist, öffnen Sie Agent DVR und gehen Sie zu Server-Einstellungen - KI-Einstellungen und klicken Sie auf die Schaltfläche Konfigurieren neben DoubleTake.

Geben Sie die URL zu Ihrem DoubleTake-Server ein (z. B. http://localhost:3000/) und Ihr Passwort, falls gesetzt.

Klicken Sie auf OK, bearbeiten Sie dann eine Kamera und gehen Sie zu Gesichtserkennung. Stellen Sie die Option AI Server auf DoubleTake ein und konfigurieren Sie die Gesichtserkennung nach Bedarf.