IA: Configuração

Reconhecimento de objetos local

Agent DVR suporta reconhecimento de objetos em tempo real usando arquivos de modelo de IA (.onnx). Esta detecção de objetos de IA local é executada inteiramente no seu próprio hardware (nenhum serviço em nuvem necessário), para que você possa ser alertado apenas quando algo que importa aparecer, como uma pessoa ou um carro, em vez de toda vez que uma árvore se move. Você precisará de uma licença (ou assinatura ativa) para usar este recurso. Consulte Servidores de IA para configurar Agent para usar servidores de IA externos.

Para começar, edite sua câmera e vá para a guia Reconhecimento de objetos. Escolha seu servidor de IA no topo. O padrão é Interno, que é a IA integrada do Agent DVR. Se você deseja usar um servidor de IA, adicione-o em Configurações do servidor - Configurações de IA - Servidores de IA e depois selecione-o aqui.

Os detalhes a seguir são para configurar Agent DVR com sua IA integrada rápida. Você também pode adicionar qualquer outro modelo que desejar, por exemplo modelos Ultralytics YOLO.

  • Modelo: Selecione o modelo de IA que você deseja usar. Agent baixará automaticamente modelos integrados conforme necessário. O modelo Pequeno é bom para hardware de baixo desempenho ou muitas câmeras. O modelo Médio é bom para melhor precisão, mas usa mais poder de processamento.
  • Modo: Selecione quando você deseja que a IA processe frames do seu vídeo. Se você selecionar Intervalo, Agent usará o campo Taxa de processamento abaixo para analisar continuamente seu feed de vídeo.
  • Configurar sobreposição: Configure o desenho de resultados em tempo real no vídeo ao vivo: ativar a sobreposição, mostrar rótulos e confiança, definir largura e cores da linha, ou desfocar objetos reconhecidos (por exemplo, pessoas). A sobreposição é ótima para ajustar o limite de confiança.
  • Usar GPU: Marque isto para usar sua GPU em vez de CPU.
  • Dispositivo: Selecione o dispositivo para executar o modelo.
  • Taxa de processamento: Isto é usado apenas quando Modo é Intervalo - controla a taxa na qual frames são enviados para o modelo. Digite 1 para 1 frame por segundo, 20 para 20 frames por segundo ou 0,1 para 1 frame a cada 10 segundos.
  • Confiança: Isto filtra os resultados do modelo. Ajuste isto mais alto para reduzir falsos positivos, mas observe que também pode perder objetos.
  • Verificar cantos: Consulte Verificar cantos para mais detalhes.
  • Localizar: Especifique objetos para a IA detectar. A lista de opções aqui vem da configuração do modelo.
  • Objetos Estáticos: Escolha como filtrar objetos que não estão se movendo. Ignorar objetos estáticos ignora objetos detectados repetidamente na mesma posição (como carros estacionados); eles ainda alertam na primeira vez que aparecem. Somente Movimento apenas relata objetos onde o detector de movimento atualmente vê movimento, portanto objetos imóveis nunca alertam (nenhum efeito com detectores do lado da câmera como ONVIF, Reolink, Hikvision ou MQTT).
  • Tolerância de Movimento: Movimento permitido entre detecções ao verificar objetos estáticos. Valores baixos raramente correspondem; valores altos suprimem mais. Recomendado: 40-60.
  • Aprender com o feedback: Deixe Agent aprender com você. Com isto ativado, você pode confirmar ou rejeitar detecções no visualizador de alertas e Agent aprenderá a suprimir alertas falsos semelhantes nesta câmera. Consulte Aprender com o feedback.

Modelos personalizados

Para adicionar seus próprios modelos à IA, copie o arquivo do modelo (.onnx) para a pasta Modelos do Agent e consulte Adicionar modelos.

Ações

Reconhecimento de objetos gera eventos IA: Objeto encontrado e IA: Objeto não encontrado para uso em Ações.

Fotos

Para informações sobre fotos, consulte Fotos.

Aprendizado Com Base em Feedback

O Agent DVR pode aprender com seu feedback para reduzir alertas falsos, câmera por câmera. Quando uma detecção erra - um arbusto que parece uma pessoa à noite, uma bandeira que a IA continua chamando de pássaro - você pode avisar ao Agent e ele aprenderá a suprimir detecções semelhantes naquela câmera no futuro. Tudo funciona 100% localmente: nenhuma imagem ou dado sai da sua máquina, e o modelo de detecção em si nunca é modificado, portanto isso é sempre seguro de usar e fácil de redefinir.

Ativação

Edite sua câmera, acesse a aba Reconhecimento de objetos e ative Aprender com o feedback. O Agent baixará automaticamente um pequeno modelo de incorporação na primeira vez que for necessário.

Fornecendo Feedback

Com o feedback ativado, os alertas gerados pelo reconhecimento de objetos armazenam os resultados de detecção junto com a imagem do alerta. Abra um alerta no painel Alertas e você verá caixas desenhadas sobre cada detecção com um prompt "Acertamos isso?":

  • Correto: Confirma a detecção. Exemplos confirmados protegem detecções semelhantes de serem suprimidas.
  • Incorreto: Rejeita a detecção. O Agent aprende a aparência das detecções rejeitadas para aquela câmera e tipo de objeto. Após algumas rejeições de detecções de aparência semelhante (pelo menos 3), o Agent começa a suprimir automaticamente os alertas falsos correspondentes.

Você pode alterar ou remover um voto a qualquer momento clicando no botão novamente.

O painel "Acertamos isso?" se contrai - clique em seu cabeçalho para ocultar ou mostrar os prompts e as sobreposições de detecção. O Agent se lembra de sua escolha (por navegador), portanto quando estiver satisfeito com o desempenho de uma câmera, você pode contrair o painel e ver apenas imagens de alerta limpas. Contrair o painel nunca interrompe o aprendizado - a supressão continua funcionando. Para interromper o aprendizado completamente, desative Aprender com o feedback na câmera (note que isso também interrompe a supressão).

Alertas suprimidos

A supressão é deliberadamente conservadora - uma detecção é suprimida apenas quando corresponde claramente aos seus exemplos rejeitados e não corresponde a nenhum confirmado. Quando o Agent suprime o que teria sido um alerta, ele armazena um alerta suprimido em vez disso, portanto nada desaparece silenciosamente. Clique no ícone no cabeçalho do painel Alertas para mostrar ou ocultar (o ícone aparece apenas quando alertas suprimidos existem; eles são mantidos separadamente e não contam contra seus alertas normais).

Se o Agent suprimiu algo que não deveria ter, abra o alerta suprimido e marque a detecção como Correto - isso levanta a supressão para detecções semelhantes imediatamente.

Como Funciona

O Agent usa um modelo de visão de uso geral para criar uma "impressão digital" matemática compacta de cada detecção. Seus votos arquivam essas impressões digitais como exemplos confirmados ou rejeitados por câmera e tipo de objeto. Detecções futuras são comparadas com seus exemplos por similaridade - a mesma abordagem usada pelo Reconhecimento Facial. Seu modelo de detecção escolhido e suas classes não são tocados.

Redefinição

Para remover tudo o que uma câmera aprendeu, clique em Limpar aprendizado na aba Reconhecimento de objetos da câmera e confirme - os alertas suprimidos começarão a alertar novamente. O feedback aprendido é armazenado em FeedbackDB.json na pasta XML do Agent; o comando de API clearfeedback também está disponível (opcionalmente com parâmetros cameraid e label). O feedback aprendido (e rostos aprendidos) estão inclusos na exportação/importação de configuração do servidor, portanto seu treinamento se move com suas configurações para um novo computador.

Copiando Aprendizado Entre Câmeras

Você pode copiar o feedback aprendido de uma câmera para outras câmeras com Copiar configurações - marque Aprendizado (sob Reconhecimento de objetos) na lista de seções. Isso substitui o aprendizado das câmeras de destino por uma cópia da câmera de origem. É mais útil para câmeras que cobrem a mesma cena ou semelhante - exemplos aprendidos são baseados em aparência, portanto o feedback sobre um arbusto em uma câmera só ajuda outra câmera que pode ver algo parecido com esse arbusto.

Convertendo Modelos Ultralytics YOLO para ONNX

Agent DVR suporta arquivos de modelo ONNX para reconhecimento de objetos. Você pode baixar modelos pré-treinados e convertê-los para o formato ONNX em algumas etapas.

O exemplo abaixo usa o modelo YOLO26s via Ultralytics. YOLO26s é um modelo de propósito geral menor com uma boa compensação entre velocidade e precisão.

Pré-requisitos

  • Python 3.10 ou mais recente
  • pip disponível no PATH
  • Conexão com a internet
  • ~1-2 GB de espaço livre em disco

Etapa 1 - Instalar Ultralytics

pip install ultralytics

Etapa 2 - Baixar o Modelo YOLO26s

Ultralytics baixa automaticamente os pesos pré-treinados quando usados pela primeira vez:

yolo detect predict model=yolo26s.pt source=https://ultralytics.com/images/bus.jpg

Etapa 3 - Converter para ONNX

Após o download, exporte o modelo para o formato ONNX:

yolo export model=yolo26s.pt format=onnx opset=12 simplify=True

Alternativa em Python

from ultralytics import YOLO

model = YOLO("yolo26s.pt")
model.export(format="onnx", opset=12, simplify=True)

Etapa 4 - Localizar o Arquivo ONNX

O arquivo yolo26s.onnx exportado será criado no seu diretório de trabalho ou na pasta

runs/export
.

Etapa 5 - Copiar para Agent DVR

Mova o arquivo ONNX para sua pasta de modelos ONNX do Agent DVR (no servidor Agent), por exemplo:

Agent\Media\Models\ONNX\

Etapa 6 - Adicionar o Modelo em Agent DVR

  1. Vá para Configurações do servidor > Configurações de IA > Modelos de IA.
  2. Clique em Reconhecimento de objetos e adicione um novo modelo.
  3. Insira um nome, p.ex. yolo26s e selecione o arquivo .onnx na lista suspensa.
  4. Deixe as opções restantes com seus valores padrão e clique em OK.
  5. Edite sua câmera, abra a guia Reconhecimento de objetos, defina Servidor como Interno e escolha seu novo modelo.

Reconhecimento facial local

Agent DVR suporta reconhecimento facial em tempo real usando IA, executado localmente no seu próprio hardware. Use para saber quem está na porta e acionar diferentes ações para rostos reconhecidos e desconhecidos. Você precisará de uma licença (ou assinatura ativa) para usar este recurso. Consulte Servidores de IA para configurar Agent para usar servidores de IA externos.

Para começar, edite sua câmera e vá para a guia Reconhecimento facial. Escolha seu servidor de IA no topo. O padrão é Interno, que é a IA integrada do Agent DVR. Se você quiser usar um servidor de IA, adicione-o em Configurações do servidor - Configurações de IA - Servidores de IA e selecione-o aqui.

Os detalhes a seguir servem para configurar Agent DVR com sua rápida IA integrada.

  • Modo: Selecione quando você deseja que a IA processe frames do seu vídeo. Se você selecionar Intervalo, Agent usará o campo Taxa de processamento abaixo para analisar continuamente seu feed de vídeo.
  • Configurar sobreposição: Configure o desenho de resultados em tempo real no vídeo ao vivo: ative a sobreposição, mostre rótulos e confiança, defina largura da linha e cores, ou desfoque rostos. A sobreposição é ótima para ajustar o limite de confiança.
  • Usar GPU: Marque isto para usar sua GPU em vez de CPU.
  • Dispositivo: Selecione o dispositivo para executar o modelo.
  • Taxa de processamento: Isto é usado apenas quando Modo é Intervalo - controla a taxa na qual frames são enviados para o modelo. Digite 1 para 1 frame por segundo, 20 para 20 frames por segundo ou 0,1 para 1 frame a cada 10 segundos.
  • Confiança: Isso filtra os resultados do modelo. Ajuste isso para um valor mais alto para reduzir falsos positivos, mas observe que também pode perder pessoas.
  • Verificar cantos: Consulte Verificar cantos para mais detalhes.

Você pode escolher qual modelo de reconhecimento facial Agent usa em Configurações do servidor - Configurações de IA - Modelos - Reconhecimento facial.

Rostos para reconhecer

Clique em Editar rostos para enviar fotos de pessoas que você deseja reconhecer. Você pode enviar múltiplas fotos da mesma pessoa para melhorar os resultados. Você pode enviar imagens do seu sistema de arquivos ou usar uma câmera integrada para capturar fotos (requer SSL ou localhost).

Ações

Reconhecimento facial gera eventos IA: Rosto reconhecido e IA: Rosto não reconhecido para uso em Ações.

Fotos

Para informações sobre fotos, consulte Fotos.

Reconhecimento Local de Placas Veiculares

Agent DVR suporta reconhecimento de placas de veículos em Tempo Real ao vivo, executado localmente no seu próprio hardware. Use-o para registrar cada veículo entrando em uma garagem ou estacionamento e dispare ações, como abrir um portão, quando uma placa conhecida for reconhecida. Você precisará de uma Licença (ou assinatura ativa) para usar este recurso. Consulte Servidores de IA para configurar Agent para usar servidores de IA externos.

Para começar, edite sua câmera e vá para a aba LPR. Escolha seu servidor de IA na parte superior. O padrão é Interno, que é a IA integrada do Agent DVR. Se você quiser usar um servidor de IA, adicione-o em Configurações do servidor - Configurações de IA - Servidores de IA e selecione-o aqui.

Os detalhes a seguir referem-se à configuração do Agent DVR com sua IA integrada rápida.

  • Modo: Selecione quando você deseja que a IA processe frames do seu vídeo. Se você selecionar Intervalo, Agent usará o campo Taxa de processamento abaixo para analisar continuamente seu feed de vídeo.
  • Configurar sobreposição: Configure o desenho de resultados em Tempo Real no vídeo ao vivo: ative a sobreposição, mostre rótulos e confiança, defina a largura da linha e cores, ou desfoque as placas de veículos detectadas. A sobreposição é ótima para ajustar o limite de confiança.
  • Usar GPU: Marque isto para usar sua GPU em vez de CPU. Observe que isto atualmente funciona apenas no Windows ou macOS devido ao suporte de driver de GPU e tempo de execução. Linux atualmente volta a usar CPU.
  • Dispositivo: Selecione o dispositivo para executar o modelo.
  • Taxa de processamento: Isto é usado apenas quando Modo é Intervalo - controla a taxa na qual frames são enviados para o modelo. Digite 1 para 1 frame por segundo, 20 para 20 frames por segundo ou 0,1 para 1 frame a cada 10 segundos.
  • Confiança: Isto filtra os resultados do modelo. Ajuste isto mais alto para reduzir falsos positivos, mas observe que também pode perder objetos.
  • Verificar cantos: Consulte Verificar cantos para mais detalhes.

Placas de veículos para procurar

  • Placas de veículos: Digite uma lista de placas separadas por vírgula ou uma URL para um arquivo CSV contendo placas. Agent DVR irá gerar eventos IA: Placa reconhecida e IA: Placa não reconhecida para estas placas, que podem disparar ações.
  • Intervalo de recarregamento: Defina a frequência para recarregar a lista de placas da URL.
  • Normalizar: Ajuste placas comumente identificadas incorretamente para melhorar a correspondência.

Ações

LPR gera eventos IA: Placa reconhecida e IA: Placa não reconhecida para uso em Ações.

Fotos

Para informações sobre fotos, consulte Fotos.

Filtragem de Alerta de IA

A filtragem de alertas combina detecção de movimento com IA para que você receba alertas apenas quando algo que importa é detectado, como uma pessoa no pórtico, e não galhos se movendo ou faróis passando. É a forma mais eficaz de reduzir alarmes falsos. Para configurar a filtragem de alertas no Agent DVR, siga estas etapas:

  • Configure e ative um Detector de movimento. Para uso mínimo de CPU, use o detector simples. Certifique-se de que pelo menos uma zona está definida para cobrir a área que deseja monitorar.
  • Na guia Alertas, defina o Modo como Apenas ações e ative Alertas.
  • Na guia gravação, defina o Modo como Alertas (se desejar gravações)
  • Ative o Reconhecimento de objetos na guia Reconhecimento de objetos. Defina o modo como Movimento detectado, selecione um modelo e clique em Localizar para escolher objetos para detecção, como Pessoa, Cachorro, Carro, etc.
  • Vá para Ações no menu de guias e adicione uma Ação para o evento IA: Objeto encontrado.

    Selecione zonas para especificar onde detectar objetos, como diferentes zonas para sua entrada de garagem e a rua. Por exemplo, selecionar a zona da entrada de garagem acionará um alerta apenas se um carro for detectado lá.

    Em Tarefas, clique em Adicionar para criar uma tarefa de Alerta. Clique em OK duas vezes para confirmar.

O Agent DVR processará o reconhecimento de objetos de IA após detecção de movimento. Se detectar um objeto especificado em uma zona escolhida, acionará uma ação para gerar um alerta. A ausência de seleção de zona acionará alertas para qualquer zona.

Configure filtros de alerta de forma similar para Reconhecimento LPR, Reconhecimento facial, ou Reconhecimento de áudio.

Para reconhecimento constante de objetos de IA sem um acionador de detecção de movimento, defina o Modo em Reconhecimento de objetos como Intervalo. Monitore o impacto nos recursos do seu hardware e ajuste conforme necessário.

Você pode configurar múltiplas ações para diferentes objetos em várias zonas. Use a tag {AI} em ações para referenciar o objeto detectado.

Se o seu Servidor de IA não estiver respondendo e você estiver usando-o para filtrar Alertas de detecção de movimento, o Agent DVR tratará todos os eventos como alertas válidos até que o servidor seja retomado. Este comportamento pode ser alternado com a chave Passagem de movimento em Reconhecimento de objetos.
Utilize filtros em suas ações para executar diferentes respostas com base nas detecções do Agent DVR. Por exemplo, você poderia configurar um alerta verbal "intruso detectado" para uma pessoa em uma porta de entrada, ou reproduzir um som de latido se um gato for detectado no seu sofá.

Resolução de Problemas do Filtro de IA

Se a IA não estiver filtrando efetivamente suas gravações, considere o seguinte:

  • Certifique-se de que a configuração Buscar corresponde a uma das opções Disponível.
  • Verifique se o interruptor de alerta principal no Canto superior esquerdo do Agent DVR exibe um cadeado fechado, indicando Alertas ativos.
  • Confirme que o modo de gravação está definido como Alerta e não Detectar.
  • Certifique-se de que o modo de alerta está definido como Apenas ações.
  • Tente reduzir o nível de Confiança em Reconhecimento de objetos.
  • Verifique /logs.html para mensagens de Erro, possivelmente indicando problemas no Servidor ou bloqueios de rede.
  • Monitore o Desempenho do Servidor de IA e certifique-se de que não está causando sobrecarga do Sistema ou tempos limite.
  • Se a IA detectar todas as Classes de objetos, pode indicar problemas de GPU. Verifique os drivers de GPU ou mude para um módulo de IA baseado em CPU.

Reconhecimento de objetos com IA

Configurações de Reconhecimento de Objetos de IA

O Reconhecimento de objetos no Agent DVR usa o reconhecimento local de IA ou um servidor de IA (CodeProject.AI recomendado) para reconhecer objetos específicos em feeds de vídeo e pode gerar eventos, acionar alertas ou atuar como um filtro em alertas de movimento.

  • Ativado: Alternar para ativar ou desativar o processo de IA.
  • Servidor de IA: Selecione entre seus servidores configurados ou use a opção padrão.
  • Modo: Escolha o acionador para o processo de IA. Acione apenas via API definindo isto como Nenhum e chamando triggerObject.
  • Passagem de movimento: Se o servidor de IA estiver inativo e filtrando alertas, isto permite que alertas passem sem filtragem.
  • Usar URI de snapshot: Use um quadro de alta resolução da sua câmera em vez do quadro do stream ao vivo atual.
  • Modo de redimensionamento: Redimensione imagens antes de enviá-las ao servidor de IA para reduzir a carga e melhorar os tempos de resposta.
  • Configurar sobreposição: Configure o desenho dos resultados da IA no stream de vídeo ao vivo, incluindo rótulos, confiança, largura da linha, cores e desfoque.
  • Intervalo de solicitação: Define o tempo mínimo entre solicitações do servidor.
  • Confiança: Define o nível mínimo de confiança para reconhecer um objeto.
  • Verificar cantos: Consulte Verificação de cantos para mais detalhes.

Modelos

  • Descobrir: Recupere modelos instalados do seu servidor (específico para CodeProject.AI).
  • Ponto de extremidade de IA: Escolha entre modelos disponíveis ou use o ponto de extremidade padrão.
  • Classes de objetos de IA: Preenchidas automaticamente com classes relevantes ou inseridas manualmente.
  • Localizar: Especifique objetos para a IA detectar.
  • Objetos estáticos: Filtre objetos que não estão se movendo. Ignorar objetos estáticos ignora objetos detectados repetidamente na mesma posição; Somente movimento relata apenas objetos onde o detector de movimento vê movimento atualmente.
  • Tolerância de movimento: Movimento permitido entre detecções ao verificar objetos estáticos.

Modelos personalizados

Para adicionar modelos personalizados ao CodeProject.AI, copie o arquivo do modelo para o diretório especificado. Acesse-o através do botão Descobrir, mas adicione manualmente a lista de objetos em Classes de objetos.

Altere o diretório para armazenamento de modelos editando as configurações do módulo Reconhecimento de objetos.

Ações

O Reconhecimento de objetos gera eventos IA: Objeto encontrado e IA: Objeto não encontrado para uso em Ações.

Fotos

Para informações sobre fotos, consulte fotos.

Perguntar à IA

Agent DVR usa servidores de IA (OpenAI/ Claude/ Gemini/ LLMs locais como Ollama, LM Studio, vLLM etc) para responder a perguntas legíveis para humanos sobre as imagens das suas câmeras. Isso pode gerar eventos, disparar alertas ou atuar como um filtro em alertas de movimento. Você precisará completar as configurações em Configurações do servidor - Configurações de IA - Ask AI.

Pode haver um custo de terceiros associado ao uso da API do provedor de IA selecionado, portanto certifique-se de que sua configuração está enviando solicitações apenas quando necessário. Google oferece uma camada de uso gratuito para chaves da API Gemini em contas Google pessoais; verifique os preços atuais do Google para os limites.

Você pode verificar os Logs em /logs.html no servidor local para ver quando as solicitações são enviadas. Defina Configurações do servidor - Registro de logs - Nível de Log como Info.

  • Ativado: Alterne para ativar ou desativar o processo de IA.
  • Provedor: Escolha qual provedor de IA você deseja usar para processar imagens. O provedor precisará ser configurado nas configurações do servidor - Configurações de IA. Se você selecionar Padrão, o primeiro provedor configurado será usado.
  • Modo: Escolha o acionador para o processo de IA. Acione via API apenas definindo isso como Nenhum e chamando triggerAskAI
  • Passagem de movimento: Se o servidor de IA está inativo e filtrando alertas, isso permite que os alertas passem sem filtragem.
  • Usar URI de snapshot: Use um quadro de alta resolução da sua câmera em vez do quadro de transmissão ao vivo atual.
  • Modo de redimensionamento: Redimensione as imagens antes de enviá-las ao servidor de IA para reduzir a carga e melhorar os tempos de resposta.
  • Configurar sobreposição: Configure o desenho dos resultados de IA no fluxo de vídeo ao vivo.
  • Intervalo de solicitação: Defina o tempo mínimo entre as solicitações do servidor.
  • Modo detalhado: Escolha Baixo ou Alto detalhe de imagem. Baixo é mais barato de usar do que Alto e adequado para a maioria dos cenários.
  • Usar vídeo: Envie um clipe de vídeo curto em vez de uma imagem (apenas Gemini). Defina a Duração em segundos e marque Incluir áudio para enviar som junto com o vídeo.

Mensagens de IA

  • Mensagem: Digite sua pergunta para a IA aqui. Alguns exemplos:
    • Se você vir fogo nesta imagem responda com FIRE. Se você vir um cachorro sentado em um sofá, responda com DOG. Se a porta estiver aberta responda com DOOR. Se múltiplas condições forem atendidas separe-as com uma ,
    • Se a luz na máquina do banco está vermelha responda com ALERT
    • Se um carro da polícia está estacionado na garagem responda com POLICE
    • Se houver alguma correspondência ou pacotes no chão responda com MAIL
    • Se parece que alguém invadiu minha casa responda com BREAKIN
  • Localizar: Digite as tags que você instruiu a IA a responder. Por exemplo FIRE, DOG, DOOR
  • Sem repetições: Ignore tags que foram retornadas na última chamada à IA

Conforme observado acima, você pode solicitar que múltiplas condições sejam atendidas na mensagem e configurar ações para lidar com cada resultado.

Dica! Você pode adicionar a tag especial [TIME] às suas mensagens para passar a hora local atual para a IA - o que permite que você execute verificações com base na hora do dia. Por exemplo, "A hora atual é [TIME] se isso for depois das 20h e a porta da garagem estiver aberta responda apenas com GARAGE"

Ações

Ask AI gera eventos IA: Resultado positivo do Ask AI para uso em Ações.

AI Actions

Fotos

Para obter informações sobre fotos, consulte fotos. Observe que a IA ainda não retorna nenhum dado espacial sobre onde as coisas estão na imagem, então o corte e detecção estática não estão funcionando no momento.

Fotos de IA

Configuração de Fotos de IA

Os processos de IA podem capturar fotos quando objetos são reconhecidos, oferecendo opções para salvar, cortar, fazer upload por FTP e muito mais.

Para configurar isso, acesse a opção Fotos na parte inferior de cada aba de configuração de IA ao editar uma câmera. Ative Fotos e clique para configurar.

  • Rótulo: Agent DVR sobrepõe caixas na imagem e rotula os objetos detectados.
  • Cortar: Agent DVR corta a imagem para cada área detectada e salva múltiplas imagens, uma para cada região.
  • FTP: Faz upload das imagens salvas para o servidor FTP configurado da câmera.
  • Impedir repetição: Agent DVR evita salvar múltiplas cópias do mesmo objeto até que ele saia da zona de movimento.
  • Intervalo mínimo: Defina o tempo mínimo entre fotos, em segundos.
Tenha cuidado com as configurações de fotos de IA, pois configurações incorretas podem levar a um número excessivo de imagens sendo salvas. Monitore a frequência de imagens salvas após a configuração.

LPR ou ALPR

Versões mais recentes do Agent DVR têm IA integrada, permitindo processamento muito mais rápido e menor sobrecarga. Use a IA local que pode responder em Tempo Real em vez de servidores de IA mais lentos.
AI LPR Configuration

LPR (License Plate Recognition, também conhecida como ALPR/ ANPR) utiliza um Servidor de IA para reconhecer e ler Placas de veículos de carros em seus feeds de vídeo. Ela gera eventos, dispara Alertas ou atua como um Filtro em Alertas de Movimento.

  • Ativado: Alterne para ativar ou desativar o processo de IA.
  • Servidor de IA: Escolha entre seus Servidores configurados ou use a opção Padrão. Agent DVR suporta LPR via CodeProject.AI, PlateRecognizer.com, Gemini ou qualquer LLM de visão compatível com OpenAI (como vLLM, Ollama e LM Studio).
  • Modo: Escolha o gatilho para o processo de IA. Dispare apenas via API definindo isso como Nenhum e chamando triggerLPR.
  • Usar URI de snapshot: Opte por um quadro de alta resolução de sua câmera em vez do quadro de transmissão ao vivo atual.
  • Modo de redimensionamento: Redimensione as imagens antes de enviá-las ao servidor de IA para reduzir a carga e melhorar os tempos de resposta.
  • Configurar sobreposição: Configure o desenho dos resultados de IA no fluxo de vídeo ao vivo.
  • Intervalo de solicitação: Defina o tempo mínimo entre solicitações do servidor para Reduzir a carga.
  • Confiança: Defina o nível de Confiança mínima para reconhecer uma Placa de veículo.
  • Verificar cantos: Consulte Verificar cantos para mais detalhes.
  • Placas de veículos: Digite uma lista de placas separadas por vírgula ou uma URL para um arquivo CSV contendo placas. Agent DVR irá gerar eventos IA: Placa reconhecida e IA: Placa não reconhecida para estas placas, que podem disparar ações.
  • Intervalo de recarregamento: Defina a frequência para recarregar a lista de placas da URL.
  • Normalizar: Ajuste placas comumente identificadas incorretamente para melhorar a correspondência.
  • Fabricante, Modelo e Cor: Ative isso apenas se estiver usando um plano pago no PlateRecognizer.com que suporte esses recursos. Não está Incluído no plano gratuito. Os Detalhes serão Incluídos em {AIJSON} em Ações do Agent DVR.

Ações

LPR gera eventos IA: Placa reconhecida e IA: Placa não reconhecida para uso em Ações.

Fotos

Para Informações sobre Fotos, consulte Fotos.

Usando ALPR-Database

Você pode configurar uma Integração com ALPR-Database.com para armazenar suas Placas de veículos. Consulte Agent DVR com ALPR-Database para as Instruções.

Reconhecimento facial com IA

As versões mais recentes do Agent DVR possuem IA integrada, permitindo processamento muito mais rápido e menor sobrecarga. Use a IA local que pode responder em tempo real em vez de servidores de IA mais lentos.
AI Face Recognition Settings

O Reconhecimento facial utiliza um Servidor de IA (recomendado: CodeProject.AI) para reconhecer rostos específicos nos fluxos de vídeo. Pode gerar eventos, disparar alertas ou atuar como um filtro em alertas de movimento. Os rostos podem ser adicionados, editados ou excluídos usando sua câmera ou enviando imagens. Consulte Editar rostos nesta aba para mais detalhes.

  • Ativado: Alterne para ativar ou desativar o processo de IA.
  • Servidor de IA: Selecione entre seus servidores configurados ou use a opção padrão.
  • Modo: Escolha o gatilho para o processo de IA. Dispare via API apenas configurando isto como Nenhum e chamando triggerFace
  • Usar URI de snapshot: Opte por um quadro de alta resolução de sua câmera em vez do quadro de transmissão ao vivo atual.
  • Modo de redimensionamento: Redimensione as imagens antes de enviá-las ao servidor de IA para reduzir a carga e melhorar os tempos de resposta.
  • Configurar sobreposição: Configure o desenho dos resultados de IA no fluxo de vídeo ao vivo.
  • Intervalo de solicitação: Defina o tempo mínimo entre solicitações do servidor para Reduzir a carga.
  • Confiança: Defina o nível mínimo de confiança para reconhecer um rosto.
  • Verificar cantos: Consulte Verificar cantos para mais detalhes.
  • Editar rostos: Envie imagens para o banco de dados do servidor para reconhecimento. Certifique-se de que apenas um rosto está visível e claramente definido em cada imagem.

Ações

O Reconhecimento facial gera eventos IA: Rosto reconhecido e IA: Rosto não reconhecido para uso em Ações.

Fotos

Para Informações sobre Fotos, consulte Fotos.

Reconhecimento de áudio por IA

Configurações de Reconhecimento de áudio por IA Etiquetas de Reconhecimento de áudio por IA

O reconhecimento de áudio baseado em IA no Agent DVR responde aos sons reconhecidos de microfones ou fluxos de áudio.

Você precisará editar as configurações do Microfone para configurar o reconhecimento de áudio. Se você tiver uma câmera com um riacho de áudio, poderá acessar as configurações de áudio editando a câmera, selecionando a aba Áudio e clicando em "Configurar".

  • Ativado: Ative ou desative o processo de IA.
  • Modo: Escolha o gatilho para o processo de IA.
  • Confiança: Defina o nível mínimo de confiança para o reconhecimento de som.
  • Sons a detectar: Selecione sons específicos para a IA detectar.
  • Sobreposição: Exibe sons reconhecidos na visualização de áudio ao vivo. Apenas os sons que você escolheu em Sons a detectar são mostrados, portanto, o que aparece na tela corresponde ao que gera alertas.
  • Sobrepor Todos os Sons: Exiba também os sons que você não está ouvindo, para que a sobreposição mostre tudo que o modelo reconhece. Útil para descobrir por que um som não está sendo detectado.
  • Usar GPU: Marque esta opção para usar sua GPU em vez da CPU.
  • Dispositivo: Selecione o dispositivo para executar o modelo.

Clicar em Sons a detectar mostra os sons disponíveis para detecção. Selecione os sons conforme necessário.

Se um som não está sendo detectado, ative Sobreposição e Sobrepor Todos os Sons, depois reproduza o som e observe a visualização de áudio. A sobreposição lista cada som reconhecido com sua confiança, para que você possa ver se o modelo não ouviu nada, ouviu o som mas abaixo de sua configuração de Confiança, ou o classificou como outra coisa - nesse caso, adicione esse som a Sons a detectar. Desative Sobrepor Todos os Sons quando terminar, para que a sobreposição mostre apenas os sons que realmente geram alertas.

Use a Ação IA: Som reconhecido para executar tarefas quando um som for identificado.

O reconhecimento de áudio também pode ser usado para filtrar alertas, semelhante às câmeras.

Idioma de IA

Para alterar o idioma usado para rótulos e etiquetagem nas sobreposições de imagem, aceda a Menu do Servidor - Configurações - Geral - Idioma padrão.

Adicionando Ações a Eventos de IA

Agent DVR gera eventos através de processos de IA, que podem disparar Ações. Por exemplo, Reconhecimento de objetos gera eventos "Objeto encontrado" e "Objeto não encontrado". Cada sistema de IA no Agent DVR produz eventos exclusivos.

Esses eventos podem disparar várias ações, como gerar Alertas, chamar URLs com Rótulos de objetos, executar programas ou publicar mensagens em servidores MQTT. Use etiquetas {AI} para Rótulos ou {AIJSON} para a resposta JSON completa do Servidor de IA em ações.