IA: Configuração

Agent DVR suporta reconhecimento de objetos em tempo real ao vivo usando arquivos de modelo AI (.onnx). Esta detecção de objetos AI local é executada inteiramente no seu próprio hardware (nenhum serviço em nuvem necessário), para que você possa ser alertado apenas quando algo importante aparecer, como uma pessoa ou um carro, em vez de toda vez que uma árvore se move. Você precisará de uma licença (ou assinatura ativa) para usar este recurso. Veja Servidores AI para configurar o Agent para usar servidores AI externos.

Para começar, edite sua câmera e vá para a aba Reconhecimento de Objetos. Escolha seu servidor AI no topo. O padrão é Interno, que é o AI integrado do Agent DVR. Se você deseja usar um servidor AI, adicione-o em Configurações do Servidor - Configurações de AI - Servidores AI e selecione-o aqui.

Os detalhes a seguir são para configurar Agent DVR com seu AI integrado rápido. Você também pode adicionar qualquer outro modelo que desejar, por exemplo modelos Ultralytics YOLO.

• Modelo: Selecione o modelo de AI que deseja usar. Agent baixará automaticamente modelos integrados conforme necessário. O modelo Pequeno é bom para hardware de baixo desempenho ou muitas câmeras. O modelo Médio é bom para melhor precisão, mas usa mais poder de processamento.
• Modo: Selecione quando você deseja que o AI processe quadros de seu vídeo. Se você selecionar Intervalo, Agent usará o campo Taxa de Processamento abaixo para analisar continuamente seu feed de vídeo.
• Configurar Sobreposição: Configure desenhar resultados em tempo real no vídeo ao vivo: ative a sobreposição, mostre rótulos e confiança, defina largura de linha e cores, ou desfoque objetos reconhecidos (por exemplo, pessoas). A sobreposição é ótima para ajustar o limite de confiança.
• Usar GPU: Marque isto para usar seu GPU em vez de CPU.
• Dispositivo: Selecione o dispositivo para executar o modelo.
• Taxa de Processamento: Isto é usado apenas quando Modo é Intervalo - controla a taxa na qual os quadros são enviados para o modelo. Digite 1 para 1 quadro por segundo, 20 para 20 quadros por segundo ou 0.1 para 1 quadro a cada 10 segundos.
• Confiança: Isto filtra os resultados do modelo. Ajuste isto mais alto para reduzir falsos positivos, mas observe que também pode perder objetos.
• Verificar Cantos: Consulte Verificando Cantos para mais detalhes.
• Encontrar: Especifique objetos para o AI detectar. A lista de opções aqui vem da configuração do modelo.
• Objetos Estáticos: Escolha como filtrar objetos que não estão se movendo. Ignorar Objetos Estáticos ignora objetos detectados repetidamente na mesma posição (como carros estacionados); eles ainda alertam a primeira vez que aparecem. Apenas Movimento apenas relata objetos onde o detector de movimento atualmente vê movimento, para que objetos imóveis nunca alertem (sem efeito com detectores no lado da câmera como ONVIF, Reolink, Hikvision ou MQTT).
• Tolerância de Movimento: Movimento permitido entre detecções ao verificar objetos estáticos. Valores baixos raramente correspondem; valores altos suprimem mais. Recomendado: 40-60.
• Aprender com Feedback: Deixe Agent aprender com você. Com isto ativado você pode confirmar ou rejeitar detecções no visualizador de alertas e Agent aprenderá a suprimir alertas falsos semelhantes nesta câmera. Veja Aprendendo com Feedback.

Modelos Personalizados

Para adicionar seus próprios modelos ao AI, copie o arquivo de modelo (.onnx) para a pasta Models do Agent e veja Adicionando Modelos.

Ações

Reconhecimento de Objetos gera eventos AI: Objeto Encontrado e AI: Objeto Não Encontrado para uso em Ações.

Fotos

Para informações sobre fotos, veja Fotos.

O Agent DVR pode aprender com seu feedback para reduzir alertas falsos, câmera por câmera. Quando uma detecção está errada - um arbusto que parece uma pessoa à noite, uma bandeira que a IA continua chamando de pássaro - você pode informar ao Agent e ele aprenderá a suprimir detecções semelhantes naquela câmera no futuro. Tudo funciona 100% localmente: nenhuma imagem ou dado sai da sua máquina, e o modelo de detecção em si nunca é modificado, então isso é sempre seguro de usar e fácil de redefinir.

Ativando

Edite sua câmera, vá para a aba Reconhecimento de Objetos e ative Aprender com Feedback. O Agent fará o download automático de um pequeno modelo de incorporação na primeira vez que for necessário.

Dando Feedback

Com o feedback ativado, os alertas gerados pelo reconhecimento de objetos armazenam os resultados da detecção junto com a imagem do alerta. Abra um alerta no painel de Alertas e você verá caixas desenhadas sobre cada detecção com um prompt "Nós acertamos isso?":

• Correto: Confirma a detecção. Exemplos confirmados protegem detecções semelhantes de serem suprimidas.
• Incorreto: Rejeita a detecção. O Agent aprende a aparência de detecções rejeitadas para aquela câmera e tipo de objeto. Após algumas rejeições de detecções com aparência semelhante (pelo menos 3), o Agent começa a suprimir automaticamente alertas falsos correspondentes.

Você pode alterar ou remover um veredicto a qualquer momento clicando no botão novamente.

O painel "Nós acertamos isso?" se recolhe - clique no cabeçalho para ocultar ou mostrar os prompts e sobreposições de detecção. O Agent lembra sua escolha (por navegador), então, uma vez que você esteja satisfeito com o desempenho de uma câmera, pode recolher o painel e ver apenas imagens de alerta limpas. Recolher o painel nunca interrompe o aprendizado - a supressão continua funcionando. Para parar o aprendizado completamente, desative Aprender com Feedback na câmera em vez disso (note que isso também interrompe a supressão).

Alertas Suprimidos

A supressão é deliberadamente conservadora - uma detecção só é suprimida quando corresponde claramente aos seus exemplos rejeitados e não corresponde a nenhum exemplo confirmado. Quando o Agent suprime o que de outra forma teria sido um alerta, ele armazena um alerta suprimido em vez disso, para que nada desapareça silenciosamente. Clique no ícone no cabeçalho do painel de Alertas para mostrar ou ocultar esses alertas (o ícone só aparece quando existem alertas suprimidos; eles são mantidos separadamente e não contam contra seus alertas normais).

Se o Agent suprimiu algo que não deveria, abra o alerta suprimido e marque a detecção como Correta - isso remove a supressão para detecções semelhantes imediatamente.

Como Funciona

O Agent usa um modelo de visão de propósito geral para criar uma "impressão digital" matemática compacta de cada detecção. Seus veredictos arquivam essas impressões digitais como exemplos confirmados ou rejeitados por câmera e tipo de objeto. Detecções futuras são comparadas com seus exemplos por similaridade - a mesma abordagem usada pelo Reconhecimento Facial. Seu modelo de detecção escolhido e suas classes permanecem intactos.

Redefinindo

O feedback aprendido é armazenado em FeedbackDB.json na pasta XML do Agent. Para recomeçar, chame o comando da API clearfeedback (opcionalmente com os parâmetros cameraid e label) ou pare o Agent e exclua o arquivo.

Agent DVR suporta arquivos de modelo ONNX para reconhecimento de objetos. Você pode baixar modelos pré-treinados e convertê-los para o formato ONNX em poucas etapas.

O exemplo abaixo usa o modelo YOLO26s via Ultralytics. YOLO26s é um modelo menor e de propósito geral com uma boa relação velocidade/precisão.

Pré-requisitos

• Python 3.10 ou mais recente
• pip disponível em PATH
• Conexão com a Internet
• ~1-2 GB de espaço em disco livre

Etapa 1 - Instalar Ultralytics

pip install ultralytics

Etapa 2 - Baixar o Modelo YOLO26s

Ultralytics baixa automaticamente os pesos pré-treinados quando usado pela primeira vez:

yolo detect predict model=yolo26s.pt source=https://ultralytics.com/images/bus.jpg

Etapa 3 - Converter para ONNX

Após o download, exporte o modelo para o formato ONNX:

yolo export model=yolo26s.pt format=onnx opset=12 simplify=True

Alternativa em Python

from ultralytics import YOLO

model = YOLO("yolo26s.pt")
model.export(format="onnx", opset=12, simplify=True)

Etapa 4 - Localizar o Arquivo ONNX

O arquivo yolo26s.onnx exportado será criado em seu diretório de trabalho ou na pasta

runs/export

Etapa 5 - Copiar para Agent DVR

Mova o arquivo ONNX para sua pasta de modelos ONNX do Agent DVR (no servidor Agent), por exemplo:

Agent\Media\Models\ONNX\

Etapa 6 - Adicionar o Modelo no Agent DVR

1. Vá para Server Settings > AI Settings > AI Models.
2. Clique em Object Recognition e adicione um novo modelo.
3. Digite um nome, por exemplo, yolo26s e selecione o arquivo .onnx no menu suspenso.
4. Deixe as opções restantes com seus padrões e clique em OK.
5. Edite sua câmera, abra a aba Object Recognition, defina Server como Internal e escolha seu novo modelo.

Agent DVR suporta reconhecimento facial em tempo real ao vivo usando IA, executado localmente em seu próprio hardware. Use-o para saber quem está na porta e acionne ações diferentes para rostos reconhecidos e desconhecidos. Você precisará de uma licença (ou assinatura ativa) para usar este recurso. Consulte AI Servers para configurar Agent para usar servidores IA externos.

Para começar, edite sua câmera e acesse a aba Facial Recognition. Escolha seu servidor IA no topo. O padrão é Internal, que é a IA integrada do Agent DVR. Se você quiser usar um servidor IA, adicione-o em Server Settings - AI Settings - AI Servers e selecione-o aqui.

Os detalhes a seguir são para configurar Agent DVR com sua IA integrada rápida.

• Modo: Selecione quando você deseja que o AI processe quadros de seu vídeo. Se você selecionar Intervalo, Agent usará o campo Taxa de Processamento abaixo para analisar continuamente seu feed de vídeo.
• Configure Overlay: Configure o desenho de resultados em tempo real no vídeo ao vivo: ative a sobreposição, mostre rótulos e confiança, defina largura e cores da linha, ou desfoque rostos. A sobreposição é ótima para ajustar o limite de confiança.
• Usar GPU: Marque isto para usar seu GPU em vez de CPU.
• Dispositivo: Selecione o dispositivo para executar o modelo.
• Taxa de Processamento: Isto é usado apenas quando Modo é Intervalo - controla a taxa na qual os quadros são enviados para o modelo. Digite 1 para 1 quadro por segundo, 20 para 20 quadros por segundo ou 0.1 para 1 quadro a cada 10 segundos.
• Confidence: Isto filtra os resultados do modelo. Ajuste isto mais alto para reduzir falsos positivos, mas observe que também pode perder pessoas.
• Verificar Cantos: Consulte Verificando Cantos para mais detalhes.

Você pode escolher qual modelo de reconhecimento facial Agent usa em Server Settings - AI Settings - AI Models - Face Recognition.

Faces to Recognize

Clique em Edit Faces para carregar fotos de pessoas que você deseja reconhecer. Você pode carregar várias fotos da mesma pessoa para melhorar os resultados. Você pode carregar imagens do seu sistema de arquivos ou usar uma webcam integrada para capturar fotos (requer SSL ou localhost).

Ações

Facial Recognition gera eventos AI: Face Recognized e AI: Face Not Recognized para uso em Actions.

Fotos

Para informações sobre fotos, veja Fotos.

Agent DVR suporta reconhecimento de placa de licença em tempo real em tempo real, executado localmente no seu próprio hardware. Use-o para registrar todos os veículos entrando em uma garagem ou estacionamento e acione ações, como abrir um portão, quando uma placa conhecida for reconhecida. Você precisará de uma licença (ou assinatura ativa) para usar este recurso. Consulte AI Servers para configurar o Agent para usar servidores de IA externos.

Para começar, edite sua câmera e acesse a aba LPR. Escolha seu servidor de IA na parte superior. O padrão é Internal, que é a IA integrada do Agent DVR. Se quiser usar um servidor de IA, adicione-o em Server Settings - AI Settings - AI Servers e depois selecione-o aqui.

Os detalhes a seguir são para configurar o Agent DVR com sua IA integrada rápida.

• Modo: Selecione quando você deseja que o AI processe quadros de seu vídeo. Se você selecionar Intervalo, Agent usará o campo Taxa de Processamento abaixo para analisar continuamente seu feed de vídeo.
• Configure Overlay: Configure o desenho dos resultados em tempo real no vídeo ao vivo: ative a sobreposição, mostre rótulos e confiança, defina largura de linha e cores, ou desfoque as placas de licença detectadas. A sobreposição é ótima para ajustar o limite de confiança.
• Use GPU: Marque esta opção para usar sua GPU em vez de CPU. Observe que isso atualmente funciona apenas no Windows ou macOS devido ao suporte de driver de GPU e runtime. Linux atualmente retorna para CPU.
• Dispositivo: Selecione o dispositivo para executar o modelo.
• Taxa de Processamento: Isto é usado apenas quando Modo é Intervalo - controla a taxa na qual os quadros são enviados para o modelo. Digite 1 para 1 quadro por segundo, 20 para 20 quadros por segundo ou 0.1 para 1 quadro a cada 10 segundos.
• Confiança: Isto filtra os resultados do modelo. Ajuste isto mais alto para reduzir falsos positivos, mas observe que também pode perder objetos.
• Verificar Cantos: Consulte Verificando Cantos para mais detalhes.

Placas de Licença para Procurar

• License Plates: Digite uma lista de placas separadas por vírgula ou uma URL para um arquivo CSV contendo placas. Agent DVR gerará eventos License Plate Recognized e License Plate Not Recognized para essas placas, que podem disparar ações.
• Reload Interval: Defina a frequência para recarregar a lista de placas da URL.
• Normalize: Ajuste as placas comumente identificadas incorretamente para melhorar a correspondência.

Ações

LPR gera eventos AI: License Plate Recognized e AI: License Plate Not Recognized para uso em Actions.

Fotos

Para informações sobre fotos, veja Fotos.

A filtragem de alertas combina detecção de movimento com IA para que você receba alertas apenas quando algo importante for detectado, como uma pessoa na varanda, em vez de ramos se movendo ou faróis passando. É a maneira mais eficaz de reduzir alarmes falsos. Para configurar a filtragem de alertas no Agent DVR, siga estas etapas:

• Configure e ative um Detector de Movimento. Para uso mínimo de CPU, use o detector Simples. Certifique-se de que pelo menos uma zona está definida para cobrir a área que deseja monitorar.
• Na aba Alertas, defina o Modo como Apenas Ações e ative os Alertas.
• Na aba de gravação, defina o Modo como Alertas (se deseja gravações)
• Ative o Reconhecimento de Objetos na aba Reconhecimento de Objetos. Defina o modo como Movimento Detectado, selecione um modelo e clique em Localizar para escolher objetos para detecção, como Pessoa, Cachorro, Carro, etc.
• Vá para Ações no menu de abas e adicione uma Ação para o evento IA: Objeto Encontrado.

  Selecione zonas para especificar onde detectar objetos, como diferentes zonas para sua entrada de carro e a rua. Por exemplo, selecionar a zona de entrada de carro acionará um alerta apenas se um carro for detectado lá.

  Em Tarefas, clique em Adicionar para criar uma tarefa de Alerta. Clique em OK duas vezes para confirmar.

O Agent DVR processará o reconhecimento de objetos de IA mediante detecção de movimento. Se detectar um objeto especificado em uma zona escolhida, acionará uma ação para gerar um alerta. A ausência de seleção de zona acionará alertas para qualquer zona.

Configure filtros de alerta de forma semelhante para Reconhecimento de LPR, Reconhecimento Facial ou Reconhecimento de Áudio.

Para reconhecimento constante de objetos de IA sem acionamento de detecção de movimento, defina o Modo em Reconhecimento de Objetos como Intervalo. Monitore o impacto nos recursos de seu hardware e ajuste conforme necessário.

Você pode configurar múltiplas ações para diferentes objetos em várias zonas. Use a tag {AI} em ações para fazer referência ao objeto detectado.

Se a IA não estiver filtrando efetivamente suas gravações, considere o seguinte:

• Verifique se a configuração Encontrar corresponde a uma das opções disponíveis.
• Verifique se a chave de alerta mestre no canto superior esquerdo do Agent mostra um cadeado fechado, indicando alertas ativos.
• Confirme se o modo de gravação está definido como Alerta e não Detecção.
• Verifique se o modo de alerta está definido como Apenas Ações.
• Tente diminuir o nível de confiança em Reconhecimento de Objetos.
• Verifique /logs.html em busca de mensagens de erro, possivelmente indicando problemas no servidor ou bloqueios de rede.
• Monitore o desempenho do servidor de IA e verifique se não está causando sobrecarga ou tempo limite do sistema.
• Se a IA detectar todas as classes de objetos, isso pode indicar problemas com a GPU. Verifique os drivers da GPU ou mude para um módulo de IA baseado em CPU.

Agent DVR usa servidores de IA (OpenAI/ Claude/ Gemini/ LLMs locais como Ollama, LM Studio, vLLM etc) para responder perguntas legíveis a questões sobre as imagens das suas câmeras. Isso pode gerar eventos, disparar alertas ou atuar como um filtro em alertas de movimento. Você precisará concluir as configurações em Configurações do Servidor - Configurações de IA - Ask AI.

Você pode verificar os Logs em /logs.html no servidor local para ver quando as solicitações são enviadas. Defina Configurações do Servidor - Logging - Nível de Log como Info.

• Habilitado: Alterne para ativar ou desativar o processo de IA.
• Provedor: Escolha qual provedor de IA você deseja usar para processar imagens. O provedor precisará ser configurado nas configurações do servidor - Configurações de IA. Se você selecionar Padrão, o primeiro provedor configurado será usado.
• Modo: Escolha o acionador para o processo de IA. Acione apenas via API definindo como Nenhum e chamando triggerAskAI
• Passagem de Movimento: Se o servidor de IA estiver inativo e filtrando alertas, isso permite que os alertas passem sem filtragem.
• Usar URI de Snapshot: Use um frame de alta resolução da sua câmera em vez do frame de transmissão ao vivo atual.
• Modo de Redimensionamento: Redimensione as imagens antes de enviá-las ao servidor de IA para reduzir a carga e melhorar os tempos de resposta.
• Configurar Sobreposição: Configure o desenho dos resultados de IA no fluxo de vídeo ao vivo.
• Intervalo de Solicitação: Defina o tempo mínimo entre solicitações do servidor.
• Modo de Detalhe: Escolha Baixo ou Alto detalhe de imagem. Baixo é mais barato de usar que Alto e é adequado para a maioria dos cenários.
• Usar Vídeo: Envie um clipe de vídeo curto em vez de uma imagem (apenas Gemini). Defina a Duração em segundos e marque Incluir Áudio para enviar som junto com o vídeo.

Mensagens de IA

• Mensagem: Digite sua pergunta para a IA aqui. Alguns exemplos:
  • Se você ver fogo nesta imagem responda com FIRE. Se você ver um cachorro sentado em um sofá, responda com DOG. Se a porta está aberta responda com DOOR. Se várias condições forem atendidas, separe-as com uma ,
  • Se a luz da máquina no banco estiver vermelha responda com ALERT
  • Se um carro de polícia estiver estacionado na entrada responda com POLICE
  • Se houver correspondência ou pacotes no chão responda com MAIL
  • Se parecer que alguém arrombou minha casa responda com BREAKIN
• Encontrar: Digite as tags que você instruiu a IA a responder. Por exemplo FIRE, DOG, DOOR
• Sem Repetições: Ignore tags que foram retornadas na última chamada para IA

Conforme observado acima, você pode solicitar que várias condições sejam atendidas na mensagem e configurar ações para lidar com cada resultado.

Ações

Ask AI gera eventos AI: Resultado Positivo Ask AI para uso em Ações.

Fotos

Para informações sobre fotos, consulte fotos. Observe que a IA ainda não retorna dados espaciais sobre onde as coisas estão na imagem, portanto corte e detecção estática não estão funcionando no momento.

LPR (License Plate Recognition, também conhecida como ALPR/ANPR) utiliza um servidor de IA para reconhecer e ler placas de licença de carros em seus feeds de vídeo. Gera eventos, dispara alertas ou atua como filtro em alertas de movimento.

• Habilitado: Alterne para ativar ou desativar o processo de IA.
• AI Server: Escolha entre seus servidores configurados ou use a opção padrão. Agent DVR suporta LPR via CodeProject.AI, PlateRecognizer.com, Gemini ou qualquer LLM de visão compatível com OpenAI (como vLLM, Ollama e LM Studio).
• Mode: Escolha o disparador para o processo de IA. Dispare via API apenas definindo como None e chamando triggerLPR.
• Use Snapshot URI: Opte por um frame de alta resolução de sua câmera em vez do frame de transmissão ao vivo atual.
• Modo de Redimensionamento: Redimensione as imagens antes de enviá-las ao servidor de IA para reduzir a carga e melhorar os tempos de resposta.
• Configurar Sobreposição: Configure o desenho dos resultados de IA no fluxo de vídeo ao vivo.
• Request Interval: Defina o tempo mínimo entre requisições do servidor para reduzir carga.
• Confidence: Defina o nível mínimo de confiança para reconhecer uma placa de licença.
• Verificar Cantos: Consulte Verificando Cantos para mais detalhes.
• License Plates: Digite uma lista de placas separadas por vírgula ou uma URL para um arquivo CSV contendo placas. Agent DVR gerará eventos License Plate Recognized e License Plate Not Recognized para essas placas, que podem disparar ações.
• Reload Interval: Defina a frequência para recarregar a lista de placas da URL.
• Normalize: Ajuste as placas comumente identificadas incorretamente para melhorar a correspondência.
• Make, Model, and Color: Ative apenas se usar um plano pago no PlateRecognizer.com que suporta esses recursos. Não está incluído no plano gratuito. Os detalhes serão incluídos em {AIJSON} em Agent DVR Actions.

Ações

LPR gera eventos AI: License Plate Recognized e AI: License Plate Not Recognized para uso em Actions.

Fotos

Para informações sobre fotos, consulte fotos.

Usando ALPR-Database

Você pode configurar uma integração com ALPR-Database.com para armazenar suas placas de licença. Consulte Agent DVR with ALPR-Database para obter instruções.

O Face Recognition utiliza um servidor de IA (recomendado: CodeProject.AI) para reconhecer faces específicas em feeds de vídeo. Pode gerar eventos, disparar alertas ou atuar como um filtro em alertas de movimento. As faces podem ser adicionadas, editadas ou removidas usando sua câmera ou carregando imagens. Veja Edit Faces nesta aba para mais detalhes.

• Habilitado: Alterne para ativar ou desativar o processo de IA.
• AI Server: Selecione entre seus servidores configurados, ou use a opção padrão.
• Mode: Escolha o gatilho para o processo de IA. Dispare via API apenas definindo isso como None e chamando triggerFace
• Use Snapshot URI: Opte por um frame de alta resolução de sua câmera em vez do frame de transmissão ao vivo atual.
• Modo de Redimensionamento: Redimensione as imagens antes de enviá-las ao servidor de IA para reduzir a carga e melhorar os tempos de resposta.
• Configurar Sobreposição: Configure o desenho dos resultados de IA no fluxo de vídeo ao vivo.
• Request Interval: Defina o tempo mínimo entre requisições do servidor para reduzir carga.
• Confidence: Defina o nível mínimo de confiança para reconhecer uma face.
• Verificar Cantos: Consulte Verificando Cantos para mais detalhes.
• Edit Faces: Carregue imagens no banco de dados do servidor para reconhecimento. Certifique-se de que apenas uma face está visível e claramente definida em cada imagem.

Ações

O Face Recognition gera eventos AI: Face Recognized e AI: Face Not Recognized para uso em Actions.

Fotos

Para informações sobre fotos, consulte fotos.

Para alterar o idioma usado para rótulos e marcação em sobreposições de imagem, vá para Server Menu - Settings - General - Default Language.

Agent DVR gera eventos através de processos de IA, que podem disparar Ações. Por exemplo, Reconhecimento de Objeto gera eventos "Objeto Encontrado" e "Objeto Não Encontrado". Cada sistema de IA em Agent DVR produz eventos únicos.

Esses eventos podem disparar várias ações, como gerar alertas, chamar URLs com rótulos de objeto, executar programas ou publicar mensagens em servidores MQTT. Use as tags {AI} para rótulos ou {AIJSON} para a resposta JSON completa do servidor de IA em ações.