AI: Servidores

Agent DVR se integra completamente con servidores de IA como DeepStack AI, CodeProject AI, PlateRecognizer.com, Claude, Gemini, OpenAI (ChatGPT) y LLMs locales como Ollama, vLLM y LM Studio para añadir filtrado inteligente de alertas, reconocimiento de objetos, reconocimiento de escenas y control inteligente de eventos.

Además de DeepStack y CodeProject AI, también puedes usar otros servidores de IA que soporten la misma API:

Reconocimiento de Objetos y Visión por Computadora

• https://codeproject.github.io/ - Servidor de Procesamiento de IA basado en GPU/CPU multiplataforma
• https://docs.platerecognizer.com/ - Servidor de Reconocimiento de Matrículas (API basada en la web)
• https://github.com/runningman84/docker-coral-rest-server - Modelos Tensorflow-lite en un RPi (o Linux/Mac) con aceleración de un stick USB Coral
• https://github.com/robmarkcole/coral-pi-rest-server/ - Modelos Tensorflow-lite en un acelerador USB Coral a través de una aplicación Flask
• https://github.com/xnorpx/blue-candle - Servidor de reconocimiento de objetos super pequeño

Servicios de IA en la Nube

• https://platform.openai.com/ - API de OpenAI (ChatGPT, GPT-4 Vision) para análisis de imágenes y chat
• https://console.anthropic.com/ - API de Anthropic Claude para razonamiento avanzado y comprensión de imágenes
• https://ai.google.dev/ - API de Google Gemini para capacidades de IA multimodal
• https://docs.anthropic.com/ - Documentación de la API de Claude
• https://platform.openai.com/docs/ - Documentación de la API de OpenAI
• https://ai.google.dev/gemini-api/docs - Documentación de la API de Gemini

Servidores de IA Locales (LLMs)

• https://ollama.com/ - Ollama: Ejecuta modelos de lenguaje grande localmente
• https://docs.vllm.ai/ - vLLM: Inferencia y servicio de LLM de alto rendimiento
• https://lmstudio.ai/ - LM Studio: Aplicación de escritorio fácil de usar para LLMs locales
• https://github.com/ollama/ollama - Repositorio de GitHub de Ollama
• https://github.com/vllm-project/vllm - Repositorio de GitHub de vLLM

Para agregar tus propios archivos de modelo en Agent DVR, ve a Configuración del Servidor > Configuración de IA y haz clic en Configurar bajo Modelos de IA. Agent viene con dos modelos preconstruidos que han sido ajustados para el rendimiento en Agent DVR.

Antes de configurar un modelo, necesitarás agregarlo a la carpeta de Modelos de Agent DVR. Esto generalmente se encuentra en Agent/Media/Models/ONNX (la ruta puede variar según el sistema operativo). La ruta completa se muestra en la página Agregar Modelo si no estás seguro. Agent utiliza modelos .onnx. Puedes convertir otros formatos de modelos de IA a ONNX utilizando herramientas de Python.

Una vez que hayas construido y copiado el modelo, agregarlo a Agent es fácil: haz clic para agregar un modelo:

• Nombre: Dale un nombre a tu modelo; esto puede ser cualquier cosa que desees.
• Archivo del Modelo: Selecciona el nombre del archivo del modelo que copiaste en la carpeta.
• Etiquetas: Ingresa una lista de etiquetas (o "clases") que tu modelo busca en formato CSV sin comillas (los espacios se eliminan automáticamente).
• Diseño: Selecciona si tu modelo es NCHW o NHWC. La mayoría de los modelos son NCHW si no estás seguro.
• Orden de Canal: Selecciona si tu modelo quiere imágenes en RGB o BGR. La mayoría de los modelos utilizan RGB. Si tu modelo es de un solo canal (escala de grises), esto será ignorado.
• Normalizar: Selecciona cómo se deben normalizar los datos antes de ser utilizados en tu modelo. La mayoría de los modelos utilizan normalización 0-1 (dividir los valores de los píxeles por 255).
• Rellenar Imagen: Esto controla si la imagen debe ser estirada a las dimensiones de entrada o rellenada con barras negras. Generalmente es mejor rellenar imágenes para mayor precisión.
• ¿Tiene NMS? Marca esto si tu modelo ya realiza Supresión de No Máximos internamente. De lo contrario, Agent realizará NMS por sí mismo. NMS controla cómo se filtran los rectángulos de resultado.
• NMS Predeterminado: Establece el limitador de superposición para NMS (el valor predeterminado es 45% de superposición).

Una vez que hayas agregado tu modelo, estará disponible para su uso en la pestaña de Reconocimiento de Objetos de tu dispositivo. Si tienes problemas, puedes volver a la configuración del modelo y hacer cambios. Agent también admite recargar el archivo del modelo, por lo que puedes sobrescribirlo con una nueva versión mientras está en funcionamiento.

Para configurar OpenAI ("Chat GPT") para responder preguntas sobre lo que está sucediendo en su transmisión de video, vaya a Configuración del Servidor - Servidores de IA y seleccione "Open AI" en Preguntar a la IA.

• URL: Ingrese la URL del servicio. El valor predeterminado es "https://api.openai.com/v1/chat/completions".
• Clave de API de OpenAI: Después de registrarse en OpenAI, vaya a la Página de Claves API y genere una nueva clave secreta. Copie y pegue esta clave en el campo especificado.
• Modelo: Especifique el modelo a utilizar. El valor predeterminado es gpt-4o. OpenAI puede eliminar o cambiar esto en un momento posterior.
• Máximo de Tokens: Esto establece el uso máximo de tokens por solicitud. Si encuentra problemas, verifique los registros en /logs.html, ya que podría estar relacionado con el uso de tokens.

Una vez configurado OpenAI, consulte Preguntar a la IA para obtener instrucciones sobre cómo utilizarlo para responder preguntas generales sobre lo que está sucediendo en la transmisión de su cámara.

Para configurar Claude AI para responder preguntas sobre lo que está sucediendo en su transmisión de video, vaya a Configuración del Servidor - Servidores de IA y seleccione "Claude" en Preguntar a la IA.

• URL: Ingrese la URL del servicio. El valor predeterminado es "https://api.anthropic.com/v1/messages".
• Clave de API de Claude: Después de registrarse en Claude, visite la Página de Claves de API y cree una nueva clave secreta. Copie y pegue esta clave en el campo.
• Versión: Especifique la versión a utilizar. El valor predeterminado es 2023-06-01. Esto puede ser eliminado o cambiado en algún momento por Anthropic.
• Modelo: Especifique el modelo a utilizar. El valor predeterminado en el momento de la escritura es claude-3-sonnet-20240229.
• Máximo de Tokens: Esto controla el gasto máximo de tokens por solicitud. Revise los registros en /logs.html si tiene problemas, ya que podría estar relacionado con el gasto de tokens.

Una vez que Claude esté configurado, consulte Preguntar a la IA para ver cómo usarlo para reconocer escenarios generales en la transmisión de su cámara.

Para configurar Gemini para responder preguntas sobre lo que está sucediendo en su transmisión de video, vaya a Configuración del servidor - Servidores de IA y seleccione "Gemini" en Preguntar a la IA.

• URL: Ingrese la URL del servicio. El valor predeterminado es "https://generativelanguage.googleapis.com".
• Clave de API de Gemini: Después de registrarse en Gemini, visite la Página de claves API y cree una nueva clave secreta. Copie y pegue esta clave en el campo.
• Versión: Especifique la versión a utilizar. El valor predeterminado es v1beta. Esto puede ser eliminado o cambiado en algún momento por Google.
• Modelo: Especifique el modelo a utilizar. El valor predeterminado en el momento de la escritura es gemini-1.5-flash.
• Máximo de tokens: Esto controla el gasto máximo de tokens por solicitud. Revise los registros en /logs.html si tiene problemas, ya que podría estar relacionado con el gasto de tokens.

Una vez que Gemini esté configurado, consulte Preguntar a la IA para saber cómo usarlo para reconocer escenarios generales en la transmisión de su cámara.

Desde v6.5.3.0+ puedes usar tus propios servidores LLM locales (como vLLM, Ollama y LM Studio) para describir las imágenes que Agent DVR captura de tus cámaras en eventos de alerta y responder preguntas sobre lo que está sucediendo en tus transmisiones de video. Consulta AI Describe y Ask AI.

Para configurar un servidor de IA local, ve a Configuración del Servidor - Servidores de IA y haz clic en el botón Configurar junto al LLM que deseas usar (Ollama, vLLM o LM Studio).

• URL: Especifica el punto final donde se está ejecutando tu servidor LLM. Las URLs predeterminadas son:
  • Ollama:

    http://localhost:11434/api/chat

  • vLLM:

    http://localhost:8000/v1/chat/completions

  • LM Studio:

    http://localhost:1234/v1/chat/completions

• API Key: Si tu servidor LLM requiere autenticación, ingresa la clave API aquí. La mayoría de los servidores locales no requieren esto a menos que se configuren específicamente.
• Modelo: Selecciona el modelo capaz de visión para usar en el análisis de imágenes. Debes haber descargado y cargado este modelo en tu servidor LLM. Las opciones populares incluyen:
  • Modelos LLaVA (visión de propósito general)
  • Qwen2-VL (alto rendimiento)
  • Llama 3.2 Vision (el más reciente de Meta)
• Temperatura: Controla la creatividad frente a la precisión en las respuestas (0.0-1.0). Valores más bajos (0.3-0.4) producen descripciones más fácticas y consistentes. Valores más altos (0.6-0.8) generan respuestas más variadas y creativas. Recomendado: 0.4 para el análisis de cámaras de seguridad.
• Max Tokens: Número máximo de palabras/tokens en la respuesta de la IA. Valores más altos permiten descripciones más detalladas pero tardan más en generarse. Recomendado: 300-500 para análisis de imágenes detallados, 150-250 para descripciones breves.
• top_p: Controla la diversidad de la respuesta limitando la selección de vocabulario (0.0-1.0). Valores más bajos utilizan palabras más comunes, valores más altos permiten un vocabulario más variado. Recomendado: 0.9 para un buen equilibrio entre precisión y lenguaje natural.
• top_k: Limita al modelo a elegir entre las K palabras siguientes más probables. Valores más bajos (20-40) producen respuestas más enfocadas, valores más altos (80-100) permiten más variedad. Recomendado: 50 para descripciones de imágenes confiables.

• URL: Ingrese la URL del servicio. La predeterminada es "https://api.platerecognizer.com/v1/plate-reader/", o use su propio servidor si aloja su propia instancia.
• Token: Después de registrarse en Plate Recognizer, visite la Página de Cuenta y copie el Token de API.
• Regiones: Deje en blanco para usar la predeterminada o ingrese una lista CSV de regiones.
• Config: Ingrese valores de configuración adicionales de la documentación si es necesario.

DoubleTake es una plataforma de código abierto que proporciona una API unificada para procesar el reconocimiento facial utilizando:

• CompreFace
• Amazon Rekognition
• DeepStack
• CodeProject.AI Server
• Facebox

Necesitarás instalar y configurar DoubleTake con tus opciones de reconocimiento facial preferidas.

Una vez que DoubleTake esté configurado, abre Agent DVR y ve a Configuración del Servidor - Servidores de IA y haz clic en el botón Configurar junto a DoubleTake.

Ingresa la URL de tu servidor doubletake (por ejemplo, http://localhost:3000/) y tu contraseña si está configurada.

Haz clic en Aceptar, luego edita una cámara y ve a Reconocimiento Facial. Establece la opción del Servidor de IA en DoubleTake y configura el reconocimiento facial según sea necesario.