IA: Servidores

Agent DVR integra-se totalmente com servidores de IA como DeepStack AI, CodeProject AI, PlateRecognizer.com, Claude, Gemini, OpenAI (ChatGPT) e LLMs locais como Ollama, vLLM e LM Studio para adicionar filtragem inteligente de alertas, reconhecimento de objetos, reconhecimento de cenas e controle inteligente de eventos.

Além do DeepStack e do CodeProject AI, você também pode usar outros servidores de IA que suportam a mesma API:

Reconhecimento de Objetos & Visão Computacional

• https://codeproject.github.io/ - Servidor de Processamento de IA baseado em GPU/CPU multiplataforma
• https://docs.platerecognizer.com/ - Servidor de Reconhecimento de Placas (API baseada na web)
• https://github.com/runningman84/docker-coral-rest-server - Modelos Tensorflow-lite em um RPi (ou Linux/Mac) com aceleração de stick USB Coral
• https://github.com/robmarkcole/coral-pi-rest-server/ - Modelos Tensorflow-lite em um acelerador USB Coral via um aplicativo Flask
• https://github.com/xnorpx/blue-candle - Servidor de reconhecimento de objetos super pequeno

Serviços de IA na Nuvem

• https://platform.openai.com/ - API OpenAI (ChatGPT, GPT-4 Vision) para análise de imagens e chat
• https://console.anthropic.com/ - API Anthropic Claude para raciocínio avançado e compreensão de imagens
• https://ai.google.dev/ - API Google Gemini para capacidades de IA multimodal
• https://docs.anthropic.com/ - Documentação da API Claude
• https://platform.openai.com/docs/ - Documentação da API OpenAI
• https://ai.google.dev/gemini-api/docs - Documentação da API Gemini

Servidores de IA Locais (LLMs)

• https://ollama.com/ - Ollama: Execute grandes modelos de linguagem localmente
• https://docs.vllm.ai/ - vLLM: Inferência e serviço de LLM de alta capacidade
• https://lmstudio.ai/ - LM Studio: Aplicativo de desktop fácil de usar para LLMs locais
• https://github.com/ollama/ollama - Repositório GitHub do Ollama
• https://github.com/vllm-project/vllm - Repositório GitHub do vLLM

Modelos de IA personalizados permitem estender a detecção de objetos do Agent DVR além das opções integradas, por exemplo, para reconhecer vida selvagem, veículos de entrega ou qualquer outra coisa que um modelo treinado possa encontrar. Para adicionar seus próprios arquivos de modelo ao Agent DVR, vá para Server Settings > AI Settings e clique em Object Recognition sob AI Models. O Agent vem com dois modelos pré-construídos que foram otimizados em desempenho para Agent DVR.

Antes de configurar um modelo, você precisará adicioná-lo à pasta Models do Agent DVR (veja building AI models). Geralmente é encontrada em Agent/Media/Models/ONNX (o caminho pode variar por SO). O caminho completo é exibido na página Add Model se você tiver dúvidas. O Agent usa modelos .onnx. Você pode converter outros formatos de modelo de IA para ONNX usando ferramentas Python.

Depois de construir e copiar o modelo, adicioná-lo ao Agent é fácil - clique para adicionar um modelo:

• Name: Dê ao seu modelo um nome - pode ser qualquer coisa que desejar.
• Description: Uma descrição opcional do que o modelo faz.
• Model File: Selecione o nome do arquivo de modelo que você copiou para a pasta.
• Labels: Digite uma lista de rótulos (ou "classes") que seu modelo procura em formato CSV sem aspas (espaços são automaticamente aparados).
• Layout: Selecione se seu modelo é NCHW ou NHWC. A maioria dos modelos é NCHW se você não tiver certeza.
• Channel Order: Selecione se seu modelo quer imagens em RGB ou BGR. A maioria dos modelos usa RGB. Se seu modelo é de canal único (escala de cinza), isso será ignorado.
• Normalize: Selecione como os dados devem ser normalizados antes de serem usados em seu modelo. A maioria dos modelos usa Rescaling (0-1), que divide os valores dos pixels por 255.
• Pad Image: Isso controla se a imagem deve ser esticada para as dimensões de entrada ou preenchida com barras pretas. Geralmente é melhor preencher imagens para maior precisão.
• Has NMS: Marque isso se seu modelo já executa Non-Maximum Suppression internamente. Caso contrário, o Agent executará NMS por si só. NMS controla como os retângulos de resultado são filtrados.
• Default NMS: Defina o limitador de sobreposição para NMS (o padrão é 45% de sobreposição).

Depois de adicionar seu modelo, ele estará disponível para uso na aba Object Recognition do seu dispositivo. Se você tiver problemas, pode voltar à configuração do modelo e fazer alterações. O Agent também suporta recarregar o arquivo do modelo, então você pode copiá-lo com uma nova versão enquanto está em execução.

Para configurar Servidores de IA, clique no ícone no canto superior direito da interface principal do Agent DVR. Em seguida, clique em Settings em Configuration, selecione AI Settings no menu suspenso e clique em AI Servers.

Agent DVR se integra com CodeProject.AI para vários recursos de IA, incluindo reconhecimento de objetos, reconhecimento facial, ALPR (Reconhecimento Automático de Placas), e super resolução (aprimorar). PlateRecognizer.com também é suportado como provedor de ALPR. CodeProject.AI é de código aberto, gratuito e compatível com a maioria das plataformas.

Para começar, instale um servidor de IA para sua plataforma e conecte o Agent DVR a ele clicando em AI Servers e depois em Add.

Você pode adicionar quantos servidores de IA forem necessários ao Agent DVR. As câmeras no Agent DVR podem ser configuradas para usar diferentes servidores de IA para cada função, ou você pode usar um servidor de IA para todas as tarefas.

Configurando seu Servidor

• Name: Nomeie seu servidor, por ex., Cat Catcher.
• AI Server URL: Insira a URL do seu servidor de IA, por ex., http://localhost:32168/
• API Key: Insira sua chave se configurada (opcional).
• Timeout: O tempo limite em segundos para solicitações do servidor.
• Retry delay: O tempo em segundos antes de tentar novamente uma solicitação com falha para este servidor.

Clique em OK para salvar suas configurações.

Para configurar OpenAI ("ChatGPT") para responder perguntas sobre o que está acontecendo em seu feed de vídeo, navegue até Configurações do Servidor - Configurações de IA e selecione "OpenAI" em Perguntar à IA.

• URL: Digite a URL do serviço. O padrão é "https://api.openai.com/v1/responses".
• Chave da API OpenAI: Após se registrar na OpenAI, acesse a Página de Chaves da API e gere uma nova chave secreta. Copie e cole esta chave no campo especificado.
• Model: Especifique o modelo a ser usado. O padrão é gpt-5.4-mini. OpenAI pode remover ou alterar isso em uma data posterior.
• Máximo de Tokens: Isso define o uso máximo de tokens por solicitação. Se encontrar problemas, verifique os logs em /logs.html, pois pode estar relacionado ao uso de tokens.

Depois de configurar o OpenAI, consulte Perguntar à IA para obter instruções sobre como usá-lo para responder a perguntas gerais sobre o que está acontecendo em sua transmissão de câmera.

Para configurar Claude AI para responder perguntas sobre o que está acontecendo no seu feed de vídeo, navegue até Configurações do Servidor - Configurações de IA e selecione "Claude" em Perguntar à IA.

• URL: Digite a URL para o serviço. O padrão é "https://api.anthropic.com/v1/messages".
• Chave da API Claude: Após se inscrever no Claude, visite a Página de Chaves da API e crie uma nova chave secreta. Copie e cole esta chave no campo.
• Versão: Especifique a versão da API a usar. O padrão é 2023-06-01. Isso pode ser removido ou alterado em algum momento pela Anthropic.
• Modelo: Especifique o modelo a usar. O padrão no momento da redação é claude-sonnet-4-6 (Claude Sonnet 4.6).
• Tokens Máximos: Isso controla o gasto máximo de tokens por solicitação. Verifique os logs em /logs.html se tiver problemas, pois pode estar relacionado ao gasto de tokens.

Depois que Claude estiver configurado, consulte Perguntar à IA para saber como usá-lo para reconhecer cenários gerais no seu feed da câmera.

Para configurar o Gemini para responder perguntas sobre o que está acontecendo no seu feed de vídeo, navegue até Configurações do Servidor - Configurações de IA e selecione "Gemini" em Perguntar à IA.

• URL: Insira a URL do serviço. O padrão é "https://generativelanguage.googleapis.com".
• Chave de API Gemini: Após se inscrever no Gemini, visite a Página de Chaves de API e crie uma nova chave secreta. Copie e cole essa chave no campo.
• Versão: Especifique a versão da API a usar. O padrão é v1beta. Isto pode ser removido ou alterado em algum momento pelo Google.
• Modelo: Especifique o modelo a usar. O padrão no momento da redação é gemini-2.5-flash. Depois que você inserir uma chave de API, o Agent listará os modelos de visão disponíveis para sua conta.
• Tokens Máximos: Isso controla o gasto máximo de tokens por solicitação. Verifique os logs em /logs.html se tiver problemas, pois pode estar relacionado ao gasto de tokens.

Depois que o Gemini estiver configurado, veja Perguntar à IA para saber como usá-lo para reconhecer cenários gerais no seu feed de câmera.

Você pode usar seus próprios servidores LLM locais (como vLLM, Ollama e LM Studio) para descrever as imagens que o Agent DVR captura de suas câmeras em eventos de Alerta e responder perguntas sobre o que está acontecendo em seus fluxos de vídeo. Veja Descrever Alertas e Perguntar à IA.

Para configurar um servidor AI local, vá para Configurações do Servidor - Configurações de AI e clique no botão Configurar ao lado do LLM que deseja usar (Ollama, vLLM ou LM Studio).

• URL: Especifique o endpoint onde seu servidor LLM está executando. As URLs padrão são:
  • Ollama:

    http://localhost:11434/api/chat

  • vLLM:

    http://localhost:8000/v1/chat/completions

  • LM Studio:

    http://localhost:1234/v1/chat/completions

• API Key: Se seu servidor LLM requer autenticação, insira a chave API aqui. A maioria dos servidores locais não requer isto a menos que especificamente configurado.
• Model: Selecione o modelo com capacidade de visão a usar para análise de imagem. Você já deve ter baixado e carregado este modelo em seu servidor LLM. Agent sugere algumas opções populares, incluindo:
  • Modelos Qwen VL (alto desempenho)
  • Gemma 4 (boa variedade de tamanhos)
  • Llama 3.2 Vision (Meta)
  • Mistral Small 3.1
  • moondream (muito pequeno, bom para hardware de baixo desempenho, apenas Ollama)
• Temperature: Controla criatividade vs. precisão nas respostas (0.0-1.0). Valores mais baixos (0.3-0.4) produzem descrições mais factuais e consistentes. Valores mais altos (0.6-0.8) geram respostas mais variadas e criativas. Recomendado: 0.4 para análise de câmera de segurança.
• Max Tokens: Número máximo de palavras/tokens na resposta da IA. Valores mais altos permitem descrições mais detalhadas mas levam mais tempo para gerar. Recomendado: 300-500 para análise de imagem detalhada, 150-250 para descrições breves.
• top_p: Controla a diversidade da resposta limitando a seleção de vocabulário (0.0-1.0). Valores mais baixos usam palavras mais comuns, valores mais altos permitem vocabulário mais variado. Recomendado: 0.9 para bom equilíbrio entre precisão e linguagem natural.
• top_k: Limita o modelo a escolher entre as K palavras seguintes mais prováveis. Valores mais baixos (20-40) produzem respostas mais focadas, valores mais altos (80-100) permitem mais variedade. Recomendado: 50 para descrições de imagem confiáveis.

Para configurar o LPR (ANPR ou Reconhecimento de Placas de Licença) no Agent DVR, vá para Configurações do Servidor - Configurações de IA e insira os detalhes em Plate Recognizer. Inscreva-se para um teste gratuito em Plate Recognizer. Não é necessário cartão de crédito.

• URL: Insira a URL do serviço. O padrão é "https://api.platerecognizer.com/v1/plate-reader/", ou use seu próprio servidor se estiver hospedando sua própria instância.
• Token: Após se inscrever no Plate Recognizer, visite a Página da Conta e copie o Token da API.
• Regiões: Deixe em branco para o padrão ou insira uma lista CSV de regiões.
• Configuração: Insira valores de configuração adicionais dos documentos se necessário.

DoubleTake é uma plataforma de código aberto que fornece uma API unificada para processamento de reconhecimento facial usando:

• CompreFace
• Amazon Rekognition
• DeepStack
• CodeProject.AI Server
• Facebox

Você precisará instalar e configurar DoubleTake com suas opções de reconhecimento facial preferidas.

Depois que DoubleTake estiver configurado, abra Agent DVR e vá para Configurações do Servidor - Configurações de IA e clique no botão Configurar ao lado de DoubleTake.

Digite a URL do seu servidor doubletake (ex: http://localhost:3000/) e sua senha se configurada.

Clique OK, edite uma câmera e vá para Reconhecimento Facial. Defina a opção Servidor de IA como DoubleTake e configure o reconhecimento facial conforme necessário.