AI: Konfiguracja

Lokalne rozpoznawanie obiektów

Agent DVR obsługuje live'owe rozpoznawanie obiektów w czasie rzeczywistym przy użyciu plików modeli AI (.onnx). Ta lokalna detekcja obiektów AI działa całkowicie na Twoim własnym sprzęcie (nie jest wymagana usługa w chmurze), dzięki czemu możesz otrzymywać powiadomienia tylko wtedy, gdy pojawi się coś ważnego, takiego jak osoba lub samochód, zamiast za każdym razem, gdy porusza się drzewo. Do korzystania z tej funkcji będziesz potrzebować licencji (lub aktywnej subskrypcji). Zapoznaj się z Serwery AI, aby uzyskać informacje na temat konfigurowania Agent do korzystania z zewnętrznych serwerów AI.

Aby rozpocząć, edytuj kamerę i przejdź do karty Rozpoznawanie obiektów. Wybierz serwer AI na górze. Domyślnie jest Wewnętrzny, czyli wbudowany AI Agent DVR. Jeśli chcesz korzystać z serwera AI, dodaj go w Ustawienia serwera - Ustawienia AI - Serwery AI, a następnie wybierz go tutaj.

Poniższe szczegóły dotyczą konfigurowania Agent DVR przy użyciu jego szybkiego wbudowanego AI. Możesz również dodać dowolne inne modele, na przykład modele Ultralytics YOLO.

  • Model: Wybierz model AI, który chcesz używać. Agent automatycznie pobierze wbudowane modele w razie potrzeby. Model Small jest dobry dla sprzętu niskiej klasy lub wielu kamer. Model Medium jest dobry dla lepszej dokładności, ale zużywa więcej mocy obliczeniowej.
  • Tryb: Wybierz, kiedy chcesz, aby AI przetwarzało klatki z Twojego wideo. Jeśli wybierzesz Interwał, Agent będzie używać pola Częstotliwość przetwarzania poniżej, aby kontinuacyjnie analizować Twój kanał wideo.
  • Konfiguruj nakładkę: Skonfiguruj rysowanie wyników w czasie rzeczywistym na wideo na żywo: włącz nakładkę, pokaż etykiety i pewność, ustaw grubość linii i kolory, lub rozmyj rozpoznane obiekty (na przykład osoby). Nakładka jest świetna do dostrojenia limitu pewności.
  • Użyj GPU: Zaznacz to, aby używać Twojej karty graficznej zamiast procesora.
  • Urządzenie: Wybierz urządzenie, na którym chcesz uruchomić model.
  • Częstotliwość przetwarzania: Jest to używane tylko wtedy, gdy Tryb to Interwał - kontroluje szybkość, z jaką klatki są wysyłane do modelu. Wpisz 1 dla 1 klatki na sekundę, 20 dla 20 klatek na sekundę lub 0,1 dla 1 klatki co 10 sekund.
  • Pewność: To filtruje wyniki z modelu. Zwiększ to, aby zmniejszyć fałszywe alarmy, ale pamiętaj, że może to również pominąć obiekty.
  • Sprawdzaj narożniki: Zapoznaj się z Sprawdzanie narożników, aby uzyskać więcej szczegółów.
  • Znajdź: Określ obiekty, które AI ma wykrywać. Lista opcji tutaj pochodzi z konfiguracji modelu.
  • Obiekty statyczne: Wybierz sposób filtrowania obiektów, które się nie poruszają. Ignoruj obiekty statyczne ignoruje obiekty wykryte wielokrotnie w tej samej pozycji (jak zaparkowane samochody); nadal powiadamiają za pierwszym razem, gdy się pojawią. Tylko ruchome raportuje tylko obiekty, gdzie detektor ruchu aktualnie widzi ruch, więc obiekty statyczne nigdy nie powiadamiają (brak efektu z detektorami po stronie kamery, takimi jak ONVIF, Reolink, Hikvision czy MQTT).
  • Tolerancja ruchu: Dozwolony ruch między detekcjami podczas sprawdzania obiektów statycznych. Niskie wartości rzadko się pasują; wysokie wartości tłumią więcej. Zalecane: 40-60.
  • Ucz się na podstawie informacji zwrotnych: Pozwól Agent uczyć się od Ciebie. Jeśli to włączysz, możesz potwierdzić lub odrzucić detekcje w przeglądarce alertów i Agent nauczy się tłumić podobne fałszywe alarmy na tej kamerze. Zapoznaj się z Uczenie się na podstawie informacji zwrotnych.

Modele niestandardowe

Aby dodać swoje własne modele do AI, skopiuj plik modelu (.onnx) do folderu Models Agent i zapoznaj się z Dodawanie modeli.

Akcje

Rozpoznawanie obiektów generuje zdarzenia AI: Obiekt znaleziony i AI: Nie znaleziono obiektu do użytku w Akcjach.

Zdjęcia

Aby uzyskać informacje o zdjęciach, zapoznaj się z Zdjęcia.

Uczenie się z opinii

Agent DVR może uczyć się na podstawie twoich opinii, aby zmniejszyć fałszywe alerty, dla każdej kamery oddzielnie. Gdy detekcja się myli - krzak, który nocą wygląda jak osoba, flaga, którą AI wciąż nazywa ptakiem - możesz powiedzieć Agent, a on będzie się uczyć, aby w przyszłości tłumić podobne detekcje na tej kamerze. Wszystko działa 100% lokalnie: żadne obrazy ani dane nigdy nie opuszczają twojego komputera, a sam model detekcji nigdy się nie zmienia, więc jest to zawsze bezpieczne w użyciu i łatwe do resetowania.

Włączanie

Edytuj kamerę, przejdź na kartę Rozpoznawanie obiektów i włącz Ucz się na podstawie informacji zwrotnych. Agent automatycznie pobierze mały model osadzania przy pierwszym użyciu.

Przekazywanie opinii

Gdy informacje zwrotne są włączone, alerty generowane przez rozpoznawanie obiektów przechowują wyniki detekcji wraz z obrazem alertu. Otwórz alert w panelu Alerty, a zobaczysz pola narysowane na każdej detekcji z poleceniem "Czy wszystko się zgadza?":

  • Poprawnie: Potwierdza detekcję. Potwierdzone przykłady chronią podobne detekcje przed kiedykolwiek tłumieniem.
  • Niepoprawnie: Odrzuca detekcję. Agent uczy się wyglądu odrzuconych detekcji dla tej kamery i typu obiektu. Po kilku odrzuceniach podobnie wyglądających detekcji (co najmniej 3) Agent zaczyna automatycznie tłumić pasujące fałszywe alerty.

W każdej chwili możesz zmienić lub usunąć werdykt, klikając przycisk ponownie.

Panel "Czy wszystko się zgadza?" się zwija - kliknij jego nagłówek, aby ukryć lub pokazać polecenia i nakładki detekcji. Agent pamięta twój wybór (dla każdej przeglądarki), więc gdy już będziesz zadowolony z wydajności kamery, możesz zwinąć panel i po prostu widzieć czyste obrazy alertów. Zwinięcie panelu nigdy nie zatrzymuje uczenia - tłumienie nadal działa. Aby całkowicie zatrzymać uczenie, zamiast tego wyłącz Ucz się na podstawie informacji zwrotnych na kamerze (pamiętaj, że to również zatrzymuje tłumienie).

Zablokowane alerty

Tłumienie jest celowo konserwatywne - detekcja jest tłumiana tylko wtedy, gdy wyraźnie pasuje do twoich odrzuconych przykładów i nie pasuje do żadnych potwierdzonych. Gdy Agent tłumi to, co w innym przypadku byłoby alertem, przechowuje zablokowany alert, aby nic nigdy nie zniknęło po cichu. Kliknij ikonę w nagłówku panelu Alerty, aby je pokazać lub ukryć (ikona pojawia się tylko gdy istnieją zablokowane alerty; są przechowywane oddzielnie i nie liczą się do normalnych alertów).

Jeśli Agent zablokował coś, czego nie powinien był, otwórz zablokowany alert i oznacz detekcję jako Poprawnie - to natychmiast podnosi blokadę podobnych detekcji.

Jak to działa

Agent używa ogólnego modelu widzenia, aby utworzyć kompaktowy matematyczny "odcisk palca" każdej detekcji. Twoje werdykty archiwizują te odciski jako potwierdzone lub odrzucone przykłady dla każdej kamery i typu obiektu. Przyszłe detekcje są porównywane z twoimi przykładami pod względem podobieństwa - to samo podejście, które jest używane przez Rozpoznawanie twarzy. Wybrany model detekcji i jego klasy pozostają nienaruszone.

Resetowanie

Aby usunąć wszystko, czego nauczyła się kamera, kliknij Wyczyść naukę na karcie Rozpoznawanie obiektów kamery i potwierdź - zablokowane alerty będą ponownie alertować. Uczona informacja zwrotna jest przechowywana w pliku FeedbackDB.json w folderze XML programu Agent; dostępne jest również polecenie API clearfeedback (opcjonalnie z parametrami cameraid i label). Uczona informacja zwrotna (i poznane twarze) są uwzględnione w eksporcie/imporcie konfiguracji serwera, więc twoje szkolenie przenosi się razem z ustawieniami na nowy komputer.

Kopiowanie uczenia między kamerami

Możesz skopiować uczoną informację zwrotną kamery na inne kamery za pomocą Kopiuj ustawienia - zaznacz Uczenie (w sekcji Rozpoznawanie obiektów) na liście sekcji. To zastępuje uczenie docelowych kamer kopią źródła. Jest to najczęściej przydatne dla kamer obserwujących tę samą lub podobną scenę - uczone przykłady są oparte na wyglądzie, więc informacja zwrotna o krzaku na jednej kamerze pomaga innej kamerze, która widzi coś podobnego do tego krzaka.

Konwertowanie modeli Ultralytics YOLO do formatu ONNX

Agent DVR obsługuje pliki modeli ONNX do rozpoznawania obiektów. Możesz pobrać wstępnie przeszkolone modele i przekonwertować je do formatu ONNX w kilku krokach.

Poniższy przykład używa modelu YOLO26s za pośrednictwem Ultralytics. YOLO26s to mniejszy, uniwersalny model z dobrym kompromisem między prędkością a dokładnością.

Wymagania wstępne

  • Python 3.10 lub nowszy
  • pip dostępny w PATH
  • Połączenie internetowe
  • ~1-2 GB wolnego miejsca na dysku

Krok 1 - Instalacja Ultralytics

pip install ultralytics

Krok 2 - Pobieranie modelu YOLO26s

Ultralytics automatycznie pobiera wstępnie przeszkolone wagi przy pierwszym użyciu:

yolo detect predict model=yolo26s.pt source=https://ultralytics.com/images/bus.jpg

Krok 3 - Konwersja do formatu ONNX

Po pobraniu wyeksportuj model do formatu ONNX:

yolo export model=yolo26s.pt format=onnx opset=12 simplify=True

Alternatywa w Pythonie

from ultralytics import YOLO

model = YOLO("yolo26s.pt")
model.export(format="onnx", opset=12, simplify=True)

Krok 4 - Lokalizacja pliku ONNX

Wyeksportowany plik yolo26s.onnx zostanie utworzony w katalogu roboczym lub w folderze

runs/export
.

Krok 5 - Kopiowanie do Agent DVR

Przenieś plik ONNX do folderu modeli ONNX Agent DVR (na serwerze Agent DVR), na przykład:

Agent\Media\Models\ONNX\

Krok 6 - Dodawanie modelu w Agent DVR

  1. Przejdź do Ustawienia serwera > Ustawienia AI > Modele AI.
  2. Kliknij Rozpoznawanie obiektów i dodaj nowy model.
  3. Wprowadź nazwę, np. yolo26s i wybierz plik .onnx z menu rozwijanego.
  4. Pozostaw pozostałe opcje w stanie domyślnym i kliknij OK.
  5. Edytuj swoją kamerę, otwórz kartę Rozpoznawanie obiektów, ustaw Serwer na Wewnętrzny i wybierz swój nowy model.

Lokalne Rozpoznawanie twarzy

Agent DVR obsługuje na żywo w czasie rzeczywistym rozpoznawanie twarzy przy użyciu sztucznej inteligencji, działające lokalnie na twoim własnym sprzęcie. Użyj tego, aby wiedzieć, kto jest u drzwi i uruchomić różne akcje dla rozpoznanych i nieznanych twarzy. Będziesz potrzebować licencji (lub aktywnej subskrypcji), aby użyć tej funkcji. Aby skonfigurować Agent do korzystania z zewnętrznych serwerów AI, zobacz Serwery AI.

Aby rozpocząć, edytuj swoją kamerę i przejdź do karty Rozpoznawanie twarzy. Wybierz swój serwer AI u góry. Domyślnie jest to Wewnętrzny, czyli wbudowana sztuczna inteligencja Agent DVR. Jeśli chcesz użyć serwera AI, dodaj go w Ustawienia serwera - Ustawienia AI - Serwery AI, a następnie wybierz go tutaj.

Poniższe szczegóły dotyczą konfiguracji Agent DVR z jego szybką wbudowaną sztuczną inteligencją.

  • Tryb: Wybierz, kiedy chcesz, aby AI przetwarzało klatki z Twojego wideo. Jeśli wybierzesz Interwał, Agent będzie używać pola Częstotliwość przetwarzania poniżej, aby kontinuacyjnie analizować Twój kanał wideo.
  • Konfiguruj nakładkę: Skonfiguruj rysowanie wyników w czasie rzeczywistym na wideo na żywo: włącz nakładkę, wyświetl etykiety i pewność, ustaw grubość linii i kolory, lub rozmyj twarze. Nakładka jest świetna do strojenia limitu pewności.
  • Użyj GPU: Zaznacz to, aby używać Twojej karty graficznej zamiast procesora.
  • Urządzenie: Wybierz urządzenie, na którym chcesz uruchomić model.
  • Częstotliwość przetwarzania: Jest to używane tylko wtedy, gdy Tryb to Interwał - kontroluje szybkość, z jaką klatki są wysyłane do modelu. Wpisz 1 dla 1 klatki na sekundę, 20 dla 20 klatek na sekundę lub 0,1 dla 1 klatki co 10 sekund.
  • Pewność: To filtruje wyniki z modelu. Podnieś to wyżej, aby zmniejszyć fałszywe alarmy, ale pamiętaj, że może również pominąć ludzi.
  • Sprawdzaj narożniki: Zapoznaj się z Sprawdzanie narożników, aby uzyskać więcej szczegółów.

Możesz wybrać, który model rozpoznawania twarzy wykorzystuje Agent w Ustawienia serwera - Ustawienia AI - Modele - Rozpoznawanie twarzy.

Twarze do rozpoznania

Kliknij Edytuj twarze, aby przesłać zdjęcia ludzi, których chcesz rozpoznawać. Możesz przesłać wiele zdjęć tej samej osoby, aby poprawić wyniki. Możesz przesłać obrazy z systemu plików lub użyć wbudowanej kamery internetowej do zrobienia zdjęć (wymaga SSL lub localhost).

Akcje

Rozpoznawanie twarzy generuje zdarzenia AI: Twarz rozpoznana i AI: Twarz nie została rozpoznana do użytku w Akcjach.

Zdjęcia

Aby uzyskać informacje o zdjęciach, zapoznaj się z Zdjęcia.

Lokalne rozpoznawanie tablic rejestracyjnych

Agent DVR obsługuje rozpoznawanie tablic rejestracyjnych w czasie rzeczywistym na żywo, działające lokalnie na twoim sprzęcie. Używaj go do rejestrowania każdego pojazdu wjeżdżającego na podjazd lub parking i uruchamiania akcji, takich jak otwarcie bramy, gdy znany numer rejestracyjny zostanie rozpoznany. Aby korzystać z tej funkcji, będziesz potrzebować licencji (lub aktywnej subskrypcji). Więcej informacji w sekcji Serwery AI dotyczącej konfigurowania agenta do korzystania z zewnętrznych serwerów AI.

Aby rozpocząć, edytuj swoją kamerę i przejdź do karty LPR. Wybierz swój serwer AI u góry. Domyślnie ustawiony jest Wewnętrzny, czyli wbudowana sztuczna inteligencja Agent DVR. Jeśli chcesz korzystać z serwera AI, dodaj go w Ustawienia serwera - Ustawienia AI - Serwery AI, a następnie wybierz go tutaj.

Poniższe szczegóły dotyczą konfigurowania Agent DVR z jego szybką wbudowaną sztuczną inteligencją.

  • Tryb: Wybierz, kiedy chcesz, aby AI przetwarzało klatki z Twojego wideo. Jeśli wybierzesz Interwał, Agent będzie używać pola Częstotliwość przetwarzania poniżej, aby kontinuacyjnie analizować Twój kanał wideo.
  • Konfiguruj nakładkę: Skonfiguruj rysowanie wyników w czasie rzeczywistym na wideo na żywo: włącz nakładkę, wyświetlaj etykiety i pewność, ustaw grubość linii i kolory albo rozmaż wykryte tablice rejestracyjne. Nakładka jest doskonała do strojenia limitu pewności.
  • Użyj GPU: Zaznacz to, aby używać GPU zamiast CPU. Zauważ, że obecnie działa to tylko na Windows lub macOS ze względu na obsługę sterowników GPU i środowiska uruchomieniowego. Linux obecnie wraca do CPU.
  • Urządzenie: Wybierz urządzenie, na którym chcesz uruchomić model.
  • Częstotliwość przetwarzania: Jest to używane tylko wtedy, gdy Tryb to Interwał - kontroluje szybkość, z jaką klatki są wysyłane do modelu. Wpisz 1 dla 1 klatki na sekundę, 20 dla 20 klatek na sekundę lub 0,1 dla 1 klatki co 10 sekund.
  • Pewność: To filtruje wyniki z modelu. Zwiększ to, aby zmniejszyć fałszywe alarmy, ale pamiętaj, że może to również pominąć obiekty.
  • Sprawdzaj narożniki: Zapoznaj się z Sprawdzanie narożników, aby uzyskać więcej szczegółów.

Tablice rejestracyjne do wyszukania

  • Tablice rejestracyjne: Wprowadź oddzieloną przecinkami listę tablic lub adres URL pliku CSV zawierającego tablice. Agent DVR będzie generować zdarzenia AI: Numer rejestracyjny rozpoznany i AI: Numer rejestracyjny nie rozpoznany dla tych tablic, które mogą uruchamiać akcje.
  • Interwał przeładowywania: Ustaw częstotliwość przeładowywania listy tablic z adresu URL.
  • Normalizuj: Dostosuj często błędnie identyfikowane tablice, aby poprawić dopasowanie.

Akcje

LPR generuje zdarzenia AI: Numer rejestracyjny rozpoznany i AI: Numer rejestracyjny nie rozpoznany do użytku w Akcjach.

Zdjęcia

Aby uzyskać informacje o zdjęciach, zapoznaj się z Zdjęcia.

Filtrowanie alertów AI

Filtrowanie alertów łączy detekcję ruchu ze sztuczną inteligencją, dzięki czemu otrzymujesz alerty tylko wtedy, gdy zostanie wykryty coś ważnego, na przykład osoba na werandzie, a nie poruszające się gałęzie lub mijające światła samochodów. Jest to najskuteczniejszy sposób, aby zmniejszyć fałszywe alarmy. Aby skonfigurować filtrowanie alertów w Agent DVR, wykonaj następujące kroki:

  • Skonfiguruj i włącz Detektor ruchu. Aby zminimalizować użycie procesora, użyj Prostego detektora. Upewnij się, że zdefiniowana jest co najmniej jedna strefa obejmująca obszar, który chcesz monitorować.
  • Na karcie Alerty ustaw Tryb na Tylko akcje i włącz Alerty.
  • Na karcie nagrywania ustaw Tryb na Alerty (jeśli chcesz nagrania)
  • Włącz Rozpoznawanie obiektów na karcie Rozpoznawanie obiektów. Ustaw tryb na Wykryto ruch, wybierz model i kliknij Znajdź, aby wybrać obiekty do wykrywania, takie jak Osoba, Pies, Samochód itp.
  • Przejdź do Akcji w menu karty i dodaj akcję dla zdarzenia AI: Obiekt znaleziony.

    Wybierz strefy, aby określić, gdzie wykrywać obiekty, na przykład różne strefy dla Twojego podjazdu i drogi. Na przykład wybranie strefy podjazdu będzie wyzwalać alert tylko jeśli samochód zostanie tam wykryty.

    W sekcji Zadania kliknij Dodaj, aby utworzyć zadanie Alert. Kliknij OK dwa razy, aby potwierdzić.

Agent DVR będzie przetwarzać rozpoznawanie obiektów AI po wykryciu ruchu. Jeśli wykryje określony obiekt w wybranej strefie, wyzwoli akcję, aby podnieść alert. Brak wyboru strefy spowoduje wyzwolenie alertów dla dowolnej strefy.

Skonfiguruj filtry alertów w podobny sposób dla Rozpoznawania numerów rejestracyjnych, Rozpoznawania twarzy lub Rozpoznawania audio.

Aby uzyskać ciągłe rozpoznawanie obiektów AI bez wyzwalacza detekcji ruchu, ustaw Tryb w Rozpoznawaniu obiektów na Interwał. Monitoruj wpływ na zasoby sprzętowe i dostosowywaj w razie potrzeby.

Możesz skonfigurować wiele akcji dla różnych obiektów w różnych strefach. Użyj znacznika {AI} w akcjach, aby odnieść się do wykrytego obiektu.

Jeśli Twój Serwer AI nie odpowiada i używasz go do filtrowania alertów Detektor ruchu, Agent DVR będzie traktować wszystkie zdarzenia jako ważne alerty do czasu wznowienia pracy serwera. To zachowanie można przełączać za pomocą przełącznika Przekazywanie ruchu w Rozpoznawaniu obiektów.
Wykorzystaj filtry w swoich akcjach, aby wykonywać różne odpowiedzi na podstawie detekcji Agent DVR. Na przykład możesz skonfigurować alert słowny „wykryto intruza" dla osoby przy drzwiach wejściowych lub odtwarzać dźwięk szczekającego psa, jeśli kot zostanie wykryty na Twojej kanapie.

Rozwiązywanie problemów z Filtrem sztucznej inteligencji

Jeśli sztuczna inteligencja nie filtruje skutecznie twoich nagrań, rozważ poniższe kwestie:

  • Upewnij się, że ustawienie Szukaj odpowiada jednemu z dostępnych opcji.
  • Sprawdź, czy główny przełącznik alertów w górnym lewym rogu Agent DVR pokazuje zamkniętą kłódkę, wskazującą na aktywne alerty.
  • Potwierdź, że tryb nagrywania jest ustawiony na Alert, a nie na Wykrywaj.
  • Upewnij się, że tryb alertu jest ustawiony na Tylko akcje.
  • Spróbuj obniżyć poziom Pewności w sekcji Rozpoznawanie obiektów.
  • Sprawdź /logs.html w poszukiwaniu komunikatów błędów, które mogą wskazywać na problemy z serwerem lub blokady sieciowe.
  • Monitoruj wydajność serwera AI i upewnij się, że nie powoduje przeciążenia systemu ani limitów czasu.
  • Jeśli sztuczna inteligencja wykrywa wszystkie klasy obiektów, może to wskazywać na problemy z GPU. Sprawdź sterowniki GPU lub przełącz się na moduł AI oparty na CPU.

Rozpoznawanie obiektów sztucznej inteligencji

Ustawienia Rozpoznawania Obiektów AI

Funkcja Rozpoznawanie obiektów w Agent DVR wykorzystuje nasze lokalne AI lub serwer AI (rekomendowany CodeProject.AI) do rozpoznawania określonych obiektów w strumieniach wideo i może generować zdarzenia, wywoływać alerty lub działać jako filtr alertów ruchu.

  • Włączone: Przełącz, aby włączyć lub wyłączyć proces AI.
  • Serwer AI: Wybierz z skonfigurowanych serwerów lub użyj opcji domyślnej.
  • Tryb: Wybierz wyzwalacz dla procesu AI. Wyzwól tylko za pośrednictwem API, ustawiając to na Brak i wywoławszy triggerObject.
  • Przekazywanie ruchu: Jeśli serwer AI nie działa i filtruje alerty, pozwala alertom przejść bez filtrowania.
  • Użyj adresu URI migawki: Użyj klatki w wysokiej rozdzielczości z aparatu zamiast bieżącej klatki strumienia na żywo.
  • Tryb zmiany rozmiaru: Zmień rozmiar obrazów przed wysłaniem ich do serwera AI, aby zmniejszyć obciążenie i poprawić czasy odpowiedzi.
  • Konfiguruj nakładkę: Skonfiguruj rysowanie wyników AI w strumieniu wideo na żywo, w tym etykiety, pewność, grubość linii, kolory i rozmywanie.
  • Interwał żądania: Ustaw minimalny czas między żądaniami serwera.
  • Pewność: Ustaw minimalny poziom pewności do rozpoznania obiektu.
  • Sprawdzaj narożniki: Zapoznaj się z Sprawdzaniem narożników, aby uzyskać więcej szczegółów.

Modele

  • Wyszukaj: Pobierz zainstalowane modele z serwera (specyficzne dla CodeProject.AI).
  • Punkt końcowy AI: Wybierz z dostępnych modeli lub użyj domyślnego punktu końcowego.
  • Klasy obiektów AI: Wypełniane automatycznie odpowiednimi klasami lub wprowadzane ręcznie.
  • Znajdź: Określ obiekty, które AI ma wykrywać.
  • Obiekty statyczne: Filtruj obiekty, które się nie poruszają. Ignoruj obiekty statyczne ignoruje obiekty wykrywane wielokrotnie w tej samej pozycji; Tylko ruchome raportuje tylko obiekty, na których detektor ruchu aktualnie widzi ruch.
  • Tolerancja ruchu: Dozwolony ruch między wykryciami podczas sprawdzania obiektów statycznych.

Modele niestandardowe

Aby dodać modele niestandardowe do CodeProject.AI, skopiuj plik modelu do określonego katalogu. Uzyskaj dostęp za pośrednictwem przycisku Wyszukaj, ale ręcznie dodaj listę obiektów do Klasy obiektów.

Zmień katalog przechowywania modeli, edytując ustawienia modułu Rozpoznawania obiektów.

Akcje

Rozpoznawanie obiektów generuje zdarzenia AI: Obiekt znaleziony i AI: Nie znaleziono obiektu do użytku w Akcjach.

Zdjęcia

Informacje o zdjęciach znajdują się w sekcji zdjęcia.

Zapytaj AI

Agent DVR używa serwerów AI (OpenAI/ Claude/ Gemini/ lokalnych LLM takich jak Ollama, LM Studio, vLLM itp.) do odpowiadania na pytania zrozumiałe dla człowieka dotyczące obrazów z Twoich kamer. Może to następnie generować zdarzenia, wywoływać alerty lub działać jako filtr alertów ruchu. Musisz uzupełnić ustawienia w Ustawienia serwera - Ustawienia AI - Zapytaj AI.

Korzystanie z interfejsu API wybranego dostawcy AI może być związane z kosztami stron trzecich, dlatego upewnij się, że Twoja konfiguracja wysyła żądania tylko wtedy, gdy jest to konieczne. Google oferuje bezpłatny poziom użytkowania dla kluczy API Gemini na osobistych kontach Google; sprawdź aktualną taryfikację Google w celu poznania limitów.

Możesz sprawdzić dzienniki na /logs.html na serwerze lokalnym, aby zobaczyć, kiedy wysyłane są żądania. Ustaw Ustawienia serwera - Logowanie - Poziom logowania na Info.

  • Włączone: Przełącz, aby włączyć lub wyłączyć proces AI.
  • Dostawca: Wybierz, którego dostawcę AI chcesz użyć do przetwarzania obrazów. Dostawca musi być skonfigurowany w ustawieniach serwera - Ustawienia AI. Jeśli wybierzesz Domyślne, zostanie użyty pierwszy skonfigurowany dostawca.
  • Tryb: Wybierz wyzwalacz procesu AI. Wyzwól tylko przez interfejs API, ustawiając to na Brak i wywołując triggerAskAI
  • Przekazywanie ruchu: Jeśli serwer AI jest wyłączony i filtruje alerty, pozwala alertom przejść bez filtrowania.
  • Użyj adresu URI migawki: Użyj wysokorozdzielczej klatki z Twojej kamery zamiast bieżącej klatki transmisji na żywo.
  • Tryb zmiany rozmiaru: Zmień rozmiar obrazów przed wysłaniem ich do serwera AI, aby zmniejszyć obciążenie i skrócić czasy odpowiedzi.
  • Konfiguruj nakładkę: Ustaw rysowanie wyników AI na transmisji wideo na żywo.
  • Interwał żądań: Ustaw minimalny czas między żądaniami serwera.
  • Tryb szczegółowości: Wybierz Niski lub Wysoki poziom szczegółowości obrazu. Niski jest tańszy do użycia niż Wysoki i wystarczający dla większości scenariuszy.
  • Użyj wideo: Wyślij krótki klip wideo zamiast obrazu (tylko Gemini). Ustaw Czas trwania w sekundach i zaznacz Dołącz dźwięk, aby wysłać dźwięk wraz z wideo.

Komunikacja AI

  • Komunikat: Wpisz tutaj swoje pytanie dla AI. Kilka przykładów:
    • Jeśli widzisz ogień na tym obrazie, odpowiedz FIRE. Jeśli widzisz psa siedzącego na kanapie, odpowiedz DOG. Jeśli drzwi są otwarte, odpowiedz DOOR. Jeśli spełnionych jest wiele warunków, oddziel je przecinkami
    • Jeśli światło na urządzeniu na ławce jest czerwone, odpowiedz ALERT
    • Jeśli samochód policyjny jest zaparkowany na podjeździe, odpowiedz POLICE
    • Jeśli na podłodze znajduje się poczta lub paczki, odpowiedz MAIL
    • Jeśli wygląda na to, że ktoś włamał się do mojego domu, odpowiedz BREAKIN
  • Znajdź: Wpisz znaczniki, na które poinstruowałeś AI, aby odpowiadał. Na przykład FIRE, DOG, DOOR
  • Bez powtórzeń: Ignoruj znaczniki, które zostały zwrócone w ostatnim wywołaniu AI

Jak wspomniano powyżej, możesz poprosić o spełnienie wielu warunków w komunikacie i skonfigurować akcje do obsługi każdego wyniku.

Wskazówka! Możesz dodać specjalny znacznik [TIME] do swoich komunikatów, aby przekazać aktualny czas lokalny do AI - co pozwala na wykonywanie sprawdzeń na podstawie pory dnia. Na przykład: "Aktualny czas to [TIME] jeśli jest to później niż 20:00 i brama garażowa jest otwarta, odpowiedz tylko GARAGE"

Akcje

Zapytaj AI generuje zdarzenia AI: Wynik pozytywny Zapytaj AI do użycia w Akcjach.

AI Actions

Zdjęcia

Aby uzyskać informacje na temat zdjęć, zobacz zdjęcia. Należy zauważyć, że AI nie zwraca jeszcze żadnych danych przestrzennych dotyczących lokalizacji rzeczy na obrazie, dlatego kadrowanie i statyczne wykrywanie nie działają obecnie.

Zdjęcia AI

Konfiguracja zdjęć AI

Procesy AI mogą przechwytywać zdjęcia, gdy obiekty są rozpoznawane, oferując opcje zapisywania, przycinania, przesyłania przez FTP i inne.

Aby to skonfigurować, przejdź do opcji Zdjęcia na dole każdej karty konfiguracji AI podczas edycji kamery. Włącz zdjęcia i kliknij, aby skonfigurować.

  • Etykieta: Agent DVR nakłada pola na obraz i oznacza etykietami wykryte obiekty.
  • Przytnij: Agent DVR przytnaje obraz do każdego wykrytego obszaru i zapisuje wiele obrazów, po jednym dla każdego regionu.
  • FTP: Przesyła zapisane obrazy na serwer FTP skonfigurowany dla kamery.
  • Zapobiegaj powtarzaniu: Agent DVR unika zapisywania wielu kopii tego samego obiektu, dopóki nie opuści strefy ruchu.
  • Minimalny interwał: Ustaw minimalny czas między zdjęciami, w sekundach.
Zachowaj ostrożność przy ustawieniach zdjęć AI, ponieważ nieprawidłowe konfiguracje mogą prowadzić do zapisania nadmiernej liczby obrazów. Monitoruj częstotliwość zapisywanych obrazów po skonfigurowaniu.

LPR lub ALPR

Nowsze wersje Agent DVR mają wbudowaną sztuczną inteligencję umożliwiającą znacznie szybsze przetwarzanie i mniejsze obciążenie. Użyj lokalnej sztucznej inteligencji, która może odpowiadać w czasie rzeczywistym zamiast wolniejszych serwerów AI.
AI LPR Configuration

Rozpoznawanie tablic rejestracyjnych (LPR, znane również jako ALPR/ANPR) wykorzystuje serwer AI do rozpoznawania i odczytywania tablic rejestracyjnych z samochodów w twoich transmisji wideo. Generuje zdarzenia, zgłasza alerty lub działa jako filtr alertów ruchu.

  • Włączone: Przełącz, aby włączyć lub wyłączyć proces AI.
  • Serwer AI: Wybierz spośród skonfigurowanych serwerów lub użyj opcji domyślnej. Agent DVR obsługuje rozpoznawanie tablic rejestracyjnych poprzez CodeProject.AI, PlateRecognizer.com, Gemini lub dowolny model wizji LLM kompatybilny z OpenAI (taki jak vLLM, Ollama i LM Studio).
  • Tryb: Wybierz wyzwalacz dla procesu AI. Wyzwól poprzez API tylko ustawiając to na None i wywołując triggerLPR.
  • Użyj adresu URI migawki: Wybierz ramkę o wysokiej rozdzielczości z kamery zamiast bieżącej ramki strumienia na żywo.
  • Tryb zmiany rozmiaru: Zmień rozmiar obrazów przed wysłaniem ich do serwera AI, aby zmniejszyć obciążenie i skrócić czasy odpowiedzi.
  • Konfiguruj nakładkę: Ustaw rysowanie wyników AI na transmisji wideo na żywo.
  • Interwał żądania: Ustaw minimalny czas między żądaniami serwera, aby zmniejszyć obciążenie.
  • Pewność: Określ minimalny poziom pewności do rozpoznania tablicy rejestracyjnej.
  • Sprawdzaj narożniki: Zapoznaj się z Sprawdzanie narożników, aby uzyskać więcej szczegółów.
  • Tablice rejestracyjne: Wprowadź oddzieloną przecinkami listę tablic lub adres URL pliku CSV zawierającego tablice. Agent DVR będzie generować zdarzenia AI: Numer rejestracyjny rozpoznany i AI: Numer rejestracyjny nie rozpoznany dla tych tablic, które mogą uruchamiać akcje.
  • Interwał przeładowywania: Ustaw częstotliwość przeładowywania listy tablic z adresu URL.
  • Normalizuj: Dostosuj często błędnie identyfikowane tablice, aby poprawić dopasowanie.
  • Marka, model i kolor: Włącz to tylko jeśli używasz płatnego planu na PlateRecognizer.com, który obsługuje te funkcje. Nie jest to uwzględnione w planie bezpłatnym. Szczegóły będą uwzględnione w {AIJSON} w Akcjach Agent DVR.

Akcje

LPR generuje zdarzenia AI: Numer rejestracyjny rozpoznany i AI: Numer rejestracyjny nie rozpoznany do użytku w Akcjach.

Zdjęcia

Aby uzyskać informacje na temat zdjęć, zobacz zdjęcia.

Korzystanie z ALPR-Database

Możesz skonfigurować integrację z ALPR-Database.com, aby przechowywać swoje tablice rejestracyjne. Zapoznaj się z Agent DVR z ALPR-Database, aby uzyskać instrukcje.

Rozpoznawanie twarzy AI

Nowsze wersje Agent DVR mają wbudowaną sztuczną inteligencję, co umożliwia znacznie szybsze przetwarzanie i mniejsze obciążenie systemu. Użyj lokalnej AI, która może odpowiadać w czasie rzeczywistym zamiast wolniejszych serwerów AI.
AI Face Recognition Settings

Rozpoznawanie twarzy wykorzystuje serwer AI (zalecany: CodeProject.AI) do rozpoznawania określonych twarzy w transmisji wideo. Może generować zdarzenia, podnosić alerty lub działać jako filtr alertów ruchu. Twarze można dodawać, edytować lub usuwać za pomocą kamery lub przesyłając obrazy. Aby uzyskać więcej informacji, zobacz Edytuj twarze na tej karcie.

  • Włączone: Przełącz, aby włączyć lub wyłączyć proces AI.
  • Serwer AI: Wybierz spośród skonfigurowanych serwerów lub użyj opcji domyślnej.
  • Tryb: Wybierz wyzwalacz procesu AI. Wyzwól poprzez API tylko, ustawiając to na Brak i wywoływując triggerFace
  • Użyj adresu URI migawki: Wybierz ramkę o wysokiej rozdzielczości z kamery zamiast bieżącej ramki strumienia na żywo.
  • Tryb zmiany rozmiaru: Zmień rozmiar obrazów przed wysłaniem ich do serwera AI, aby zmniejszyć obciążenie i skrócić czasy odpowiedzi.
  • Konfiguruj nakładkę: Ustaw rysowanie wyników AI na transmisji wideo na żywo.
  • Interwał żądania: Ustaw minimalny czas między żądaniami serwera, aby zmniejszyć obciążenie.
  • Pewność: Zdefiniuj minimalny poziom pewności do rozpoznania twarzy.
  • Sprawdzaj narożniki: Zapoznaj się z Sprawdzanie narożników, aby uzyskać więcej szczegółów.
  • Edytuj twarze: Prześlij obrazy do bazy danych serwera w celu rozpoznania. Upewnij się, że na każdym obrazie widoczna jest tylko jedna twarz i jest wyraźnie zdefiniowana.

Akcje

Rozpoznawanie twarzy generuje zdarzenia AI: Twarz rozpoznana i AI: Twarz nie została rozpoznana do użytku w Akcjach.

Zdjęcia

Aby uzyskać informacje na temat zdjęć, zobacz zdjęcia.

Rozpoznawanie dźwięku AI

Ustawienia rozpoznawania dźwięku AI Tagi rozpoznawania dźwięku AI

Rozpoznawanie dźwięku oparte na sztucznej inteligencji w Agent DVR reaguje na rozpoznane dźwięki z mikrofonów lub strumieni audio.

Musisz edytować ustawienia mikrofonu, aby skonfigurować rozpoznawanie dźwięku. Jeśli masz kamerę ze strumieniem audio, możesz uzyskać dostęp do ustawień audio, edytując kamerę, wybierając kartę Audio i klikając „Konfiguruj".

  • Włączone: Przełącz, aby włączyć lub wyłączyć proces AI.
  • Tryb: Wybierz wyzwalacz dla procesu AI.
  • Pewność: Ustaw minimalny poziom pewności dla rozpoznawania dźwięku.
  • Dźwięki do wykrycia: Wybierz określone dźwięki do wykrycia przez AI.
  • Nakładka: Wyświetla rozpoznane dźwięki na wizualizacji audio na żywo. Wyświetlane są tylko dźwięki wybrane w sekcji Dźwięki do wykrycia, więc to, co pojawia się na ekranie, odpowiada sytuacjom, które powodują alerty.
  • Nałóż wszystkie dźwięki: Wyświetl również dźwięki, których nie słuchasz, aby nakładka pokazywała wszystko, co rozpoznaje model. Przydatne do ustalenia, dlaczego dźwięk nie jest wykrywany.
  • Użyj GPU: Zaznacz tę opcję, aby używać GPU zamiast CPU.
  • Urządzenie: Wybierz urządzenie do uruchomienia modelu.

Kliknięcie opcji Dźwięki do wykrycia pokazuje dostępne dźwięki do wykrycia. Wybierz dźwięki, jeśli to konieczne.

Jeśli dźwięk nie jest wykrywany, włącz Nakładkę i Nałóż wszystkie dźwięki, następnie odtwórz dźwięk i obserwuj wizualizację audio. Nakładka wyświetla każdy rozpoznany dźwięk z jego pewnością, dzięki czemu możesz sprawdzić, czy model nic nie słyszał, słyszał dźwięk, ale poniżej ustawienia Pewność, czy klasyfikował go jako coś innego - w takim przypadku dodaj ten dźwięk do Dźwięki do wykrycia. Wyłącz Nałóż wszystkie dźwięki, gdy skończysz, aby nakładka wyświetlała tylko dźwięki, które faktycznie powodują alerty.

Użyj Akcji AI: Rozpoznano dźwięk, aby wykonać zadania po rozpoznaniu dźwięku.

Rozpoznawanie audio może być również używane do filtrowania alertów, podobnie jak w przypadku kamer.

Język sztucznej inteligencji

Aby zmienić język używany dla etykiet i tagowania w nakładkach obrazu, przejdź do Menu serwera - Ustawienia - Ogólne - Domyślny język.

Dodawanie akcji do zdarzeń AI

Agent DVR generuje zdarzenia za pośrednictwem procesów AI, które mogą wyzwalać Akcje. Na przykład, Rozpoznawanie obiektów generuje zdarzenia "Obiekt znaleziony" i "Obiekt nie został znaleziony". Każdy system AI w Agent DVR tworzy unikalne zdarzenia.

Te zdarzenia mogą wyzwalać różne akcje, takie jak podnoszenie alertów, wywoływanie adresów URL z etykietami obiektów, wykonywanie programów lub publikowanie wiadomości na serwerach MQTT. Użyj tagów {AI} dla etykiet lub {AIJSON} dla pełnej odpowiedzi JSON z serwera AI w akcjach.