IA: Servidores

O Agent DVR integra-se completamente com servidores de IA como DeepStack AI, CodeProject AI, PlateRecognizer.com, Claude, Gemini, OpenAI (ChatGPT) e LLMs locais como Ollama, vLLM e LM Studio para adicionar filtragem inteligente de alertas, reconhecimento de objetos, reconhecimento de cenas e controle inteligente de eventos.

Além de DeepStack e CodeProject AI, você também pode usar outros servidores de IA que suportam a mesma API:

Reconhecimento de objetos e visão computacional

• https://codeproject.github.io/ - Servidor de processamento de IA baseado em GPU/CPU multiplataforma
• https://docs.platerecognizer.com/ - Servidor de reconhecimento de placas de licença (API baseada na web)
• https://github.com/runningman84/docker-coral-rest-server - Modelos Tensorflow-lite em um RPi (ou Linux/Mac) com aceleração do stick USB Coral
• https://github.com/robmarkcole/coral-pi-rest-server/ - Modelos Tensorflow-lite em um acelerador USB Coral via aplicativo Flask
• https://xnorpx.github.io/blue-onyx/ - Serviço de detecção de objetos Blue Onyx

Serviços de IA em nuvem

• https://platform.openai.com/ - API OpenAI (ChatGPT, GPT-4 Vision) para análise de imagens e bate-papo
• https://console.anthropic.com/ - API Anthropic Claude para raciocínio avançado e compreensão de imagens
• https://ai.google.dev/ - API Google Gemini para capacidades de IA multimodal
• https://docs.anthropic.com/ - Documentação da API Claude
• https://platform.openai.com/docs/ - Documentação da API OpenAI
• https://ai.google.dev/gemini-api/docs - Documentação da API Gemini

Servidores de IA locais (LLMs)

• https://ollama.com/ - Ollama: Correr modelos de linguagem grandes localmente
• https://docs.vllm.ai/ - vLLM: Inferência e disponibilização de LLM de alto throughput
• https://lmstudio.ai/ - LM Studio: Aplicativo de desktop fácil de usar para LLMs locais
• https://github.com/ollama/ollama - Repositório GitHub Ollama
• https://github.com/vllm-project/vllm - Repositório GitHub vLLM

Os modelos de IA personalizados permitem estender a detecção de objetos do Agent DVR além das opções integradas, por exemplo para reconhecer vida selvagem, veículos de entrega ou qualquer outra coisa que um modelo treinado possa encontrar. Para adicionar seus próprios arquivos de modelo ao Agent DVR, vá para Configurações do servidor > Configurações de IA e clique em Reconhecimento de objetos em Modelos de IA. Agent vem com dois modelos pré-construídos que foram ajustados para desempenho no Agent DVR.

Antes de configurar um modelo, você precisará adicioná-lo à pasta Modelos do Agent DVR (consulte construção de modelos de IA). Geralmente encontra-se em Agent/Media/Models/ONNX (o caminho pode variar conforme o SO). O caminho completo é exibido na página Adicionar modelo se você tiver dúvidas. Agent usa modelos .onnx. Você pode converter outros formatos de modelo de IA para ONNX usando ferramentas Python.

Após construir e copiar o modelo, adicioná-lo ao Agent é fácil - clique para adicionar um modelo:

• Nome: Dê um nome ao seu modelo - pode ser qualquer coisa que você desejar.
• Descrição: Uma descrição opcional do que o modelo faz.
• Arquivo do modelo: Selecione o nome do arquivo do modelo que você copiou para a pasta.
• Rótulos: Digite uma lista de rótulos (ou "classes") que seu modelo procura em formato CSV sem aspas (espaços são aparados automaticamente).
• Layout: Selecione se seu modelo é NCHW ou NHWC. A maioria dos modelos é NCHW se você tiver dúvidas.
• Ordem dos canais: Selecione se seu modelo quer imagens em RGB ou BGR. A maioria dos modelos usa RGB. Se seu modelo for de canal único (escala de cinza), isso será ignorado.
• Normalizar: Selecione como os dados devem ser normalizados antes de serem usados em seu modelo. A maioria dos modelos usa Redimensionamento (0-1), que divide os valores de pixel por 255.
• Preencher imagem: Isso controla se a imagem deve ser esticada para as dimensões de entrada ou preenchida com barras pretas. Geralmente é melhor preencher imagens para maior precisão.
• Possui NMS: Marque esta opção se seu modelo já executa Supressão de Máximo Não-máximo internamente. Caso contrário, Agent executará NMS. NMS controla como os retângulos de resultado são filtrados.
• NMS padrão: Defina o limitador de sobreposição para NMS (o padrão é 45% de sobreposição).

Após adicionar seu modelo, ele estará disponível para uso na aba Reconhecimento de objetos do seu dispositivo. Se tiver problemas, você pode voltar à configuração do modelo e fazer alterações. Agent também suporta recarregar o arquivo do modelo, para que você possa sobrescrevê-lo com uma nova versão enquanto está em execução.

Para configurar os Servidores de IA, clique no ícone no canto superior direito da interface principal do Agent DVR. Em seguida, clique em Configurações em Configuração, selecione Configurações de IA no menu suspenso e clique em Servidores de IA.

O Agent DVR se integra com CodeProject.AI para vários recursos de IA, incluindo reconhecimento de objetos, reconhecimento facial, ALPR (Reconhecimento Automático de Placa de Licença) e super resolução (aprimoramento). PlateRecognizer.com também é suportado como um provedor de ALPR. CodeProject.AI é de código aberto, gratuito e compatível com a maioria das plataformas.

Para começar, instale um servidor de IA para sua plataforma e conecte o Agent DVR a ele clicando em Servidores de IA e depois em Adicionar.

Você pode adicionar quantos servidores de IA forem necessários ao Agent DVR. As câmeras no Agent DVR podem ser configuradas para usar diferentes servidores de IA para cada função, ou você pode usar um servidor de IA para todas as tarefas.

Configurando seu servidor

• Nome: Nomeie seu servidor, por exemplo, Apanhador de Gatos.
• URL do servidor de IA: Digite a URL do seu servidor de IA, por exemplo, http://localhost:32168/
• Chave API: Digite sua chave se configurada (opcional).
• Tempo limite: O tempo limite em segundos para solicitações de servidor.
• Atraso de nova tentativa: O tempo em segundos antes de tentar novamente uma solicitação falhada para este servidor.

Clique em OK para salvar suas configurações.

Para configurar OpenAI ("ChatGPT") para responder perguntas sobre o que está acontecendo em seu fluxo de vídeo, navegue até Configurações do servidor - Configurações de IA e selecione "OpenAI" em Perguntar à IA.

• URL: Digite a URL do serviço. O padrão é "https://api.openai.com/v1/responses".
• Chave API da OpenAI: Após se registrar com a OpenAI, acesse a página de chaves API e gere uma nova chave secreta. Copie e cole essa chave no campo especificado.
• Modelo: Especifique o modelo a ser usado. O padrão é gpt-5.4-mini. A OpenAI pode remover ou alterar isso posteriormente.
• Tokens máximos: Isto define o uso máximo de tokens por solicitação. Se encontrar problemas, verifique os registros em /logs.html, pois pode estar relacionado ao uso de tokens.

Uma vez que a OpenAI esteja configurada, consulte Perguntar à IA para instruções sobre como usá-la para responder a perguntas gerais sobre o que está acontecendo em seu fluxo de câmera.

Para configurar Claude AI para responder perguntas sobre o que está acontecendo no seu fluxo de vídeo, navegue até Configurações do servidor - Configurações de IA e selecione "Claude" em Perguntar à IA.

• URL: Insira a URL do serviço. O padrão é "https://api.anthropic.com/v1/messages".
• Chave API do Claude: Após se inscrever no Claude, visite a página de Chaves API e crie uma nova chave secreta. Copie e cole essa chave no campo.
• Versão: Especifique a versão da API a usar. O padrão é 2023-06-01. Isso pode ser removido ou alterado em algum momento pela Anthropic.
• Modelo: Especifique o modelo a usar. O padrão no momento da escrita é claude-sonnet-4-6 (Claude Sonnet 4.6).
• Tokens máximos: Isso controla o gasto máximo de tokens por solicitação. Verifique os registros em /logs.html se tiver problemas, pois pode estar relacionado ao gasto de tokens.

Após configurar Claude, consulte Perguntar à IA para saber como usá-lo para reconhecer cenários gerais no seu fluxo de câmera.

Para configurar o Gemini para responder perguntas sobre o que está acontecendo em seu fluxo de vídeo, navegue até Configurações do servidor - Configurações de IA e selecione "Gemini" em Perguntar à IA.

• URL: Digite a URL para o serviço. O padrão é "https://generativelanguage.googleapis.com".
• Chave API do Gemini: Após se inscrever no Gemini, visite a Página de Chaves API e crie uma nova chave secreta. Copie e cole essa chave no campo.
• Versão: Especifique a versão da API a usar. O padrão é v1beta. Isso pode ser removido ou alterado em algum momento pelo Google.
• Modelo: Especifique o modelo a usar. O padrão no momento da escrita é gemini-2.5-flash. Depois de inserir uma chave API, o Agent listará os modelos de visão disponíveis para sua conta.
• Tokens máximos: Isso controla o gasto máximo de tokens por solicitação. Verifique os registros em /logs.html se tiver problemas, pois pode estar relacionado ao gasto de tokens.

Depois que o Gemini estiver configurado, consulte Perguntar à IA para saber como usá-lo para reconhecer cenários gerais em seu fluxo de câmera.

Você pode usar seus próprios servidores LLM locais (como vLLM, Ollama e LM Studio) para descrever as imagens que o Agent DVR captura de suas câmeras em eventos de Alerta e responder perguntas sobre o que está acontecendo em seus fluxos de vídeo. Consulte Descrever e Perguntar à IA.

Para configurar um servidor de IA local, vá para Configurações do servidor - Configurações de IA e clique no botão Configurar ao lado do LLM que deseja usar (Ollama, vLLM ou LM Studio).

• URL: Especifique o ponto de extremidade onde seu servidor LLM está em execução. As URLs padrão são:
  • Ollama:

    http://localhost:11434/api/chat

  • vLLM:

    http://localhost:8000/v1/chat/completions

  • LM Studio:

    http://localhost:1234/v1/chat/completions

• Chave API: Se seu servidor LLM exigir autenticação, insira a chave API aqui. A maioria dos servidores locais não exige isso, a menos que seja especificamente configurada.
• Modelo: Selecione o modelo com capacidade de visão a usar para análise de imagem. Você já deve ter baixado e carregado este modelo em seu servidor LLM. O Agent sugere algumas opções populares, incluindo:
  • Modelos Qwen VL (alto desempenho)
  • Gemma 4 (boa variedade de tamanhos)
  • Llama 3.2 Vision (Meta)
  • Mistral Small 3.1
  • moondream (muito pequeno, bom para hardware de baixo desempenho, apenas Ollama)
• Temperatura: Controla a criatividade versus precisão nas respostas (0,0-1,0). Valores menores (0,3-0,4) produzem descrições mais factuais e consistentes. Valores maiores (0,6-0,8) geram respostas mais variadas e criativas. Recomendado: 0,4 para análise de câmera de segurança.
• Tokens máximos: Número máximo de palavras/tokens na resposta da IA. Valores maiores permitem descrições mais detalhadas, mas levam mais tempo para gerar. Recomendado: 300-500 para análise de imagem detalhada, 150-250 para descrições breves.
• top_p: Controla a diversidade de resposta limitando a seleção de vocabulário (0,0-1,0). Valores menores usam palavras mais comuns, valores maiores permitem vocabulário mais variado. Recomendado: 0,9 para um bom equilíbrio entre precisão e linguagem natural.
• top_k: Limita o modelo a escolher entre as K palavras subsequentes mais prováveis. Valores menores (20-40) produzem respostas mais focadas, valores maiores (80-100) permitem mais variedade. Recomendado: 50 para descrições de imagem confiáveis.

Para configurar LPR (ANPR ou License Plate Recognition) no Agent DVR, vá para Configurações do servidor - Configurações de IA e insira os detalhes em Plate Recognizer. Inscreva-se para uma Avaliação Gratuita em Plate Recognizer. Nenhum cartão de crédito necessário.

• URL: Insira o URL para o serviço. O padrão é "https://api.platerecognizer.com/v1/plate-reader/", ou use seu próprio servidor se estiver hospedando sua própria instância.
• Token: Depois de se inscrever no Plate Recognizer, visite a Página de Conta e copie o API Token.
• Regiões: Deixe em branco para usar o padrão ou insira uma lista CSV de regiões.
• Configuração: Insira valores de configuração adicionais da documentação se necessário.

DoubleTake é uma plataforma de código aberto que fornece uma API unificada para processar reconhecimento facial usando:

• CompreFace
• Amazon Rekognition
• DeepStack
• CodeProject.AI Server
• Facebox

Você precisará instalar e configurar DoubleTake com suas opções de reconhecimento facial preferidas.

Após DoubleTake estar configurado, abra Agent DVR e vá para Configurações do servidor - Configurações de IA e clique no botão Configurar ao lado de DoubleTake.

Digite a URL do seu servidor doubletake (por exemplo http://localhost:3000/) e sua senha se foi configurada.

Clique OK, então edite uma câmera e vá para Reconhecimento Facial. Defina a opção Servidor de IA como DoubleTake e configure o reconhecimento facial conforme necessário.