AI: Servidores

Agent DVR se integra completamente con servidores de IA como DeepStack AI, CodeProject AI, PlateRecognizer.com, Claude, Gemini, OpenAI (ChatGPT) y LLMs locales como Ollama, vLLM y LM Studio para añadir filtrado inteligente de alertas, reconocimiento de objetos, reconocimiento de escenas y control de eventos inteligente.

Además de DeepStack y CodeProject AI, también puede usar otros servidores de IA que admitan la misma API:

Reconocimiento de objetos y visión por computadora

• https://codeproject.github.io/ - Servidor de procesamiento de IA basado en GPU/CPU multiplataforma
• https://docs.platerecognizer.com/ - Servidor de reconocimiento de placas de matrícula (API basada en web)
• https://github.com/runningman84/docker-coral-rest-server - Modelos Tensorflow-lite en RPi (o Linux/Mac) con aceleración desde el stick USB Coral
• https://github.com/robmarkcole/coral-pi-rest-server/ - Modelos Tensorflow-lite en un acelerador USB Coral a través de una aplicación Flask
• https://xnorpx.github.io/blue-onyx/ - Servicio de detección de objetos Blue Onyx

Servicios de IA en la nube

• https://platform.openai.com/ - API de OpenAI (ChatGPT, GPT-4 Vision) para análisis de imágenes y chat
• https://console.anthropic.com/ - API de Claude de Anthropic para razonamiento avanzado y comprensión de imágenes
• https://ai.google.dev/ - API de Google Gemini para capacidades de IA multimodal
• https://docs.anthropic.com/ - Documentación de la API de Claude
• https://platform.openai.com/docs/ - Documentación de la API de OpenAI
• https://ai.google.dev/gemini-api/docs - Documentación de la API de Gemini

Servidores de IA locales (LLMs)

• https://ollama.com/ - Ollama: Correr modelos de lenguaje grandes localmente
• https://docs.vllm.ai/ - vLLM: Inferencia y servicio de LLM de alto rendimiento
• https://lmstudio.ai/ - LM Studio: Aplicación de escritorio fácil de usar para LLMs locales
• https://github.com/ollama/ollama - Repositorio de Ollama en GitHub
• https://github.com/vllm-project/vllm - Repositorio de vLLM en GitHub

Los modelos de IA personalizados le permiten extender la detección de objetos de Agent DVR más allá de las opciones integradas, por ejemplo para reconocer vida silvestre, vehículos de entrega o cualquier otra cosa que un modelo entrenado pueda encontrar. Para agregar sus propios archivos de modelo en Agent DVR, vaya a Configuración del servidor > Ajustes de IA y haga clic en Reconocimiento de objetos bajo Modelos de IA. Agent viene con dos modelos pre-construidos que han sido optimizados de rendimiento para Agent DVR.

Antes de configurar un modelo, deberá agregarlo a la carpeta Modelos de Agent DVR (consulte construcción de modelos de IA). Esta se encuentra generalmente en Agent/Multimedia/Modelos/ONNX (la ruta puede variar según el sistema operativo). La ruta completa se muestra en la página Agregar modelo si no está seguro. Agent utiliza modelos .onnx. Puede convertir otros formatos de modelo de IA a ONNX utilizando herramientas de Python.

Una vez que haya construido y copiado el modelo, agregarlo a Agent es fácil - haga clic para agregar un modelo:

• Nombre: Asigne un nombre a su modelo - puede ser cualquier cosa que desee.
• Descripción: Una descripción opcional de lo que hace el modelo.
• Archivo de modelo: Seleccione el nombre de archivo del modelo que copió en la carpeta.
• Etiquetas: Ingrese una lista de etiquetas (o "clases") que su modelo busca en formato CSV sin comillas (los espacios se recortan automáticamente).
• Diseño: Seleccione si su modelo es NCHW o NHWC. La mayoría de los modelos son NCHW si no está seguro.
• Orden de canales: Seleccione si su modelo desea imágenes en RGB o BGR. La mayoría de los modelos utilizan RGB. Si su modelo es de canal único (escala de grises), esto será ignorado.
• Normalizar: Seleccione cómo se deben normalizar los datos antes de usarlos en su modelo. La mayoría de los modelos utilizan Cambio de escala (0-1), que divide los valores de píxel por 255.
• Rellenar imagen: Esto controla si la imagen debe estirarse a las dimensiones de entrada o rellenarse con barras negras. Generalmente es mejor rellenar imágenes para mayor precisión.
• Tiene NMS: Marque esto si su modelo ya realiza la Supresión de no máximos internamente. De lo contrario, Agent realizará NMS por sí solo. NMS controla cómo se filtran los rectángulos de resultado.
• NMS predeterminado: Establezca el limitador de superposición para NMS (el valor predeterminado es 45% de superposición).

Una vez que haya agregado su modelo, estará disponible para usar en la pestaña Reconocimiento de objetos de su dispositivo. Si tiene problemas, puede volver a la configuración del modelo y realizar cambios. Agent también admite recargar el archivo de modelo, por lo que puede copiarlo con una nueva versión mientras se está ejecutando.

Para configurar los Servidores de IA, haga clic en el icono en la esquina superior derecha de la interfaz principal de Agent DVR. A continuación, haga clic en Ajustes bajo Configuración, seleccione Ajustes de IA del menú desplegable y haga clic en Servidores de IA.

Agent DVR se integra con CodeProject.AI para varias funciones de IA, incluyendo reconocimiento de objetos, reconocimiento facial, ALPR (Reconocimiento automático de matrículas) y superresolución (mejorar). PlateRecognizer.com también se admite como proveedor de ALPR. CodeProject.AI es código abierto, gratuito y compatible con la mayoría de las plataformas.

Para empezar, instale un servidor de IA para su plataforma y conecte Agent DVR a él haciendo clic en Servidores de IA y luego en Agregar.

Puede agregar tantos servidores de IA a Agent DVR como sea necesario. Las cámaras en Agent DVR se pueden configurar para usar diferentes servidores de IA para cada función, o puede usar un servidor de IA para todas las tareas.

Configuración del servidor

• Nombre: Asigne un nombre al servidor, p. ej., Cazador de gatos.
• URL del servidor de IA: Introduzca la URL de su servidor de IA, p. ej., http://localhost:32168/
• Clave API: Introduzca su clave si está configurada (opcional).
• Tiempo de espera: El tiempo de espera en segundos para las solicitudes del servidor.
• Retraso de reintento: El tiempo en segundos antes de reintentar una solicitud fallida a este servidor.

Haga clic en Aceptar para guardar sus ajustes.

Para configurar OpenAI ("ChatGPT") y que responda preguntas sobre lo que está sucediendo en tu transmisión de vídeo, ve a Configuración del servidor - Ajustes de IA y selecciona "OpenAI" en Preguntar a la IA.

• URL: Introduce la URL del servicio. El valor predeterminado es "https://api.openai.com/v1/responses".
• Clave API de OpenAI: Después de registrarte en OpenAI, ve a la página de claves API y genera una clave secreta nueva. Copia y pega esta clave en el campo especificado.
• Modelo: Especifica el modelo a utilizar. El valor predeterminado es gpt-5.4-mini. OpenAI puede eliminar o cambiar esto en el futuro.
• Tokens máx.: Define el uso máximo de tokens por solicitud. Si encuentras problemas, consulta los registros en /logs.html ya que podría estar relacionado con el uso de tokens.

Una vez que OpenAI esté configurado, consulta Preguntar a la IA para obtener instrucciones sobre cómo usarlo para responder preguntas generales sobre lo que está sucediendo en tu transmisión de cámara.

Para configurar Claude AI para responder preguntas sobre lo que está sucediendo en tu flujo de vídeo, ve a Configuración del servidor - Ajustes de IA y selecciona "Claude" en Preguntar a la IA.

• URL: Introduce la URL del servicio. El predeterminado es "https://api.anthropic.com/v1/messages".
• Clave API de Claude: Después de registrarte en Claude, visita la página de claves API y crea una nueva clave secreta. Copia y pega esta clave en el campo.
• Versión: Especifica la versión de API a usar. El predeterminado es 2023-06-01. Anthropic podría eliminar o cambiar esto en algún momento.
• Modelo: Especifica el modelo a usar. El predeterminado en el momento de escritura es claude-sonnet-4-6 (Claude Sonnet 4.6).
• Tokens máx.: Esto controla el gasto máximo de tokens por solicitud. Comprueba los registros en /logs.html si tienes problemas, ya que podría estar relacionado con el gasto de tokens.

Una vez que Claude esté configurado, consulta Preguntar a la IA para saber cómo usarlo para reconocer escenarios generales en tu flujo de cámara.

Para configurar Gemini para responder preguntas sobre lo que está sucediendo en su transmisión de vídeo, vaya a Configuración del servidor - Ajustes de IA y seleccione "Gemini" en Preguntar a la IA.

• URL: Introduzca la URL del servicio. El predeterminado es "https://generativelanguage.googleapis.com".
• Clave API de Gemini: Después de registrarse en Gemini, visite la página de claves API y cree una nueva clave secreta. Copie y pegue esta clave en el campo.
• Versión: Especifique la versión de la API que desea usar. El predeterminado es v1beta. Es posible que Google la elimine o la cambie en algún momento.
• Modelo: Especifique el modelo que desea usar. El predeterminado en el momento de la escritura es gemini-2.5-flash. Una vez que haya introducido una clave API, Agent mostrará los modelos de visión disponibles para su cuenta.
• Tokens máx.: Esto controla el gasto máximo de tokens por solicitud. Comprueba los registros en /logs.html si tienes problemas, ya que podría estar relacionado con el gasto de tokens.

Una vez que Gemini esté configurado, consulte Preguntar a la IA para obtener instrucciones sobre cómo usarlo para reconocer escenarios generales en su transmisión de cámara.

Puede utilizar sus propios servidores LLM locales (como vLLM, Ollama y LM Studio) para describir las imágenes que Agent DVR captura de sus cámaras en eventos de Alertas y responder preguntas sobre lo que sucede en sus flujos de vídeo. Consulte Describir y Preguntar a la IA.

Para configurar un servidor de IA local, vaya a Configuración del servidor - Ajustes de IA y haga clic en el botón Configurar junto al LLM que desea utilizar (Ollama, vLLM o LM Studio).

• URL: Especifique el punto de acceso donde se ejecuta su servidor LLM. Las URLs predeterminadas son:
  • Ollama:

    http://localhost:11434/api/chat

  • vLLM:

    http://localhost:8000/v1/chat/completions

  • LM Studio:

    http://localhost:1234/v1/chat/completions

• Clave API: Si su servidor LLM requiere autenticación, ingrese la clave API aquí. La mayoría de los servidores locales no requieren esto a menos que estén configurados específicamente.
• Modelo: Seleccione el modelo compatible con visión a utilizar para el análisis de imágenes. Ya debe haber descargado y cargado este modelo en su servidor LLM. Agent sugiere algunas opciones populares, incluyendo:
  • Modelos Qwen VL (alto rendimiento)
  • Gemma 4 (buena variedad de tamaños)
  • Llama 3.2 Vision (Meta)
  • Mistral Small 3.1
  • moondream (muy pequeño, bueno para hardware de gama baja, solo Ollama)
• Temperatura: Controla la creatividad frente a la precisión en las respuestas (0,0-1,0). Los valores más bajos (0,3-0,4) producen descripciones más objetivas y consistentes. Los valores más altos (0,6-0,8) generan respuestas más variadas y creativas. Recomendado: 0,4 para análisis de cámaras de seguridad.
• Tokens máx.: Número máximo de palabras/tokens en la respuesta de la IA. Los valores más altos permiten descripciones más detalladas pero tardan más en generarse. Recomendado: 300-500 para análisis de imágenes detallado, 150-250 para descripciones breves.
• top_p: Controla la diversidad de respuestas limitando la selección de vocabulario (0,0-1,0). Los valores más bajos utilizan palabras más comunes, los valores más altos permiten un vocabulario más variado. Recomendado: 0,9 para un buen equilibrio entre precisión y lenguaje natural.
• top_k: Limita el modelo a elegir entre las K palabras siguientes más probables. Los valores más bajos (20-40) producen respuestas más enfocadas, los valores más altos (80-100) permiten más variedad. Recomendado: 50 para descripciones de imágenes confiables.

Para configurar LPR (ANPR o Reconocimiento de Placa de Matrícula) en Agent DVR, ve a Configuración del servidor - Ajustes de IA e introduce los detalles bajo Plate Recognizer. Regístrate para una Prueba Gratuita en Plate Recognizer. No se requiere tarjeta de crédito.

• URL: Introduce la URL del servicio. El valor predeterminado es "https://api.platerecognizer.com/v1/plate-reader/", o utiliza tu propio servidor si alojasuna instancia propia.
• Token: Después de registrarte en Plate Recognizer, visita la Página de Cuenta y copia el Token de API.
• Regiones: Deja en blanco para el valor predeterminado o introduce una lista CSV de regiones.
• Configuración: Introduce valores de configuración adicionales de la documentación si es necesario.

DoubleTake es una plataforma de código abierto que proporciona una API unificada para procesar reconocimiento facial mediante:

• CompreFace
• Amazon Rekognition
• DeepStack
• CodeProject.AI Server
• Facebox

Deberá instalar y configurar DoubleTake con sus opciones de reconocimiento facial preferidas.

Una vez que DoubleTake esté configurado, abra Agent DVR y vaya a Configuración del servidor - Ajustes de IA y haga clic en el botón Configurar junto a DoubleTake.

Introduzca la URL de su servidor de DoubleTake (por ejemplo, http://localhost:3000/) y su contraseña si la tiene configurada.

Haga clic en Aceptar, luego edite una cámara y vaya a Reconocimiento facial. Establezca la opción Servidor de IA en DoubleTake y configure el reconocimiento facial según sea necesario.