Trí tuệ nhân tạo: Cấu hình

Nhận dạng đối tượng cục bộ

Agent DVR hỗ trợ nhận dạng đối tượng thời gian thực trực tiếp bằng cách sử dụng các tệp mô hình AI (.onnx). Phát hiện đối tượng AI cục bộ này chạy hoàn toàn trên phần cứng của riêng bạn (không cần dịch vụ đám mây), vì vậy bạn chỉ nhận được cảnh báo khi xuất hiện những thứ quan trọng, như một người hoặc một chiếc xe, thay vì mỗi lần cây di chuyển. Bạn sẽ cần một giấy phép (hoặc đăng ký hoạt động) để sử dụng tính năng này. Xem Các máy chủ AI để cấu hình Agent sử dụng các máy chủ AI bên ngoài.

Để bắt đầu, chỉnh sửa camera của bạn và đi đến tab Nhận dạng đối tượng. Chọn máy chủ AI của bạn ở đầu trang. Mặc định là Nội bộ, đó là AI tích hợp của Agent DVR. Nếu bạn muốn sử dụng máy chủ AI, hãy thêm nó trong Cài đặt máy chủ - Cài đặt AI - Các máy chủ AI rồi chọn nó ở đây.

Các chi tiết sau đây dành cho cấu hình Agent DVR với AI tích hợp nhanh của nó. Bạn cũng có thể thêm bất kỳ mô hình nào khác mà bạn thích, ví dụ như các mô hình Ultralytics YOLO.

  • Mô hình: Chọn mô hình AI mà bạn muốn sử dụng. Agent sẽ tự động tải xuống các mô hình tích hợp khi cần thiết. Mô hình Nhỏ rất tốt cho phần cứng cấp thấp hoặc nhiều camera. Mô hình Trung bình rất tốt để có độ chính xác tốt hơn nhưng sử dụng nhiều sức xử lý hơn.
  • Chế độ: Chọn thời điểm bạn muốn AI xử lý các khung từ video của bạn. Nếu bạn chọn Khoảng thời gian, Agent sẽ sử dụng trường Tốc độ xử lý bên dưới để liên tục phân tích luồng video của bạn.
  • Cấu hình lớp phủ: Thiết lập vẽ kết quả thời gian thực trên video trực tiếp: bật lớp phủ, hiển thị nhãn và độ tin cậy, đặt độ dày đường kẻ và màu sắc, hoặc làm mờ các đối tượng được nhận dạng (ví dụ, người). Lớp phủ rất tốt để điều chỉnh giới hạn độ tin cậy.
  • Sử dụng GPU: Chọn cái này để sử dụng GPU của bạn thay vì CPU.
  • Thiết bị: Chọn thiết bị để chạy mô hình trên.
  • Tốc độ xử lý: Điều này chỉ được sử dụng khi Chế độKhoảng thời gian - nó kiểm soát tốc độ mà các khung được gửi đến mô hình. Nhập 1 cho 1 khung trên giây, 20 cho 20 khung trên giây hoặc 0.1 cho 1 khung mỗi 10 giây.
  • Độ tin cậy: Điều này lọc các kết quả từ mô hình. Điều chỉnh cái này cao hơn để giảm dương tính giả, nhưng lưu ý rằng nó cũng có thể bỏ lỡ các đối tượng.
  • Kiểm tra các góc: Tham khảo Kiểm tra các góc để biết thêm chi tiết.
  • Tìm: Chỉ định các đối tượng để AI phát hiện. Danh sách các tùy chọn ở đây đến từ cấu hình mô hình.
  • Đối tượng tĩnh: Chọn cách lọc các đối tượng không di chuyển. Bỏ qua các đối tượng tĩnh bỏ qua các đối tượng được phát hiện lặp đi lặp lại ở cùng một vị trí (như những chiếc xe được đỗ); chúng vẫn cảnh báo lần đầu tiên chúng xuất hiện. Chỉ di chuyển chỉ báo cáo các đối tượng nơi bộ dò phát hiện chuyển động hiện đang nhìn thấy chuyển động, vì vậy các đối tượng tĩnh không bao giờ cảnh báo (không có tác dụng với các bộ dò phía máy ảnh như ONVIF, Reolink, Hikvision hoặc MQTT).
  • Độ dung sai chuyển động: Sự di chuyển được phép giữa các lần phát hiện khi kiểm tra các đối tượng tĩnh. Các giá trị thấp hiếm khi khớp; các giá trị cao sẽ loại bỏ nhiều hơn. Khuyến nghị: 40-60.
  • Học từ phản hồi: Để Agent học từ bạn. Với tùy chọn này được bật, bạn có thể xác nhận hoặc từ chối các phát hiện trong trình xem cảnh báo và Agent sẽ học để loại bỏ các cảnh báo sai tương tự trên camera này. Xem Học từ phản hồi.

Các mô hình tùy chỉnh

Để thêm mô hình của riêng bạn vào AI, sao chép tệp mô hình (.onnx) vào thư mục Mô hình của Agent và xem Thêm mô hình.

Hành động

Nhận dạng đối tượng tạo ra các sự kiện AI: Đã tìm thấy đối tượngAI: Không tìm thấy đối tượng để sử dụng trong Hành động.

Ảnh

Để biết thông tin về ảnh, xem Ảnh.

Học từ Phản hồi

Agent DVR có thể học từ phản hồi của bạn để giảm cảnh báo sai, từng camera một. Khi một phát hiện bị sai - một bụi cây trông giống như người vào ban đêm, một lá cờ mà AI liên tục gọi là chim - bạn có thể cho Agent biết và nó sẽ học để ẩn những phát hiện tương tự trên camera đó trong tương lai. Mọi thứ chạy 100% cục bộ: không có hình ảnh hoặc dữ liệu nào bao giờ rời khỏi máy của bạn, và chính mô hình phát hiện cũng không bao giờ bị sửa đổi, vì vậy điều này luôn an toàn khi sử dụng và dễ dàng để đặt lại.

Bật tính năng

Chỉnh sửa camera của bạn, chuyển đến tab Nhận dạng đối tượng và bật Học từ phản hồi. Agent sẽ tự động tải xuống một mô hình nhúng nhỏ lần đầu tiên khi cần thiết.

Cung cấp phản hồi

Với phản hồi được bật, các cảnh báo được tạo bởi nhận dạng đối tượng lưu trữ kết quả phát hiện cùng với hình ảnh cảnh báo. Mở một cảnh báo trong bảng Cảnh báo và bạn sẽ thấy các hộp được vẽ trên mỗi phát hiện với lời nhắc "Chúng tôi có làm đúng không?":

  • Đúng: Xác nhận phát hiện. Các ví dụ được xác nhận bảo vệ các phát hiện tương tự khỏi bị ẩn.
  • Sai: Từ chối phát hiện. Agent học các đặc điểm của các phát hiện bị từ chối cho camera và loại đối tượng đó. Sau khi từ chối một vài phát hiện trông tương tự (ít nhất 3), Agent bắt đầu tự động ẩn các cảnh báo sai phù hợp.

Bạn có thể thay đổi hoặc loại bỏ một kết luận bất kỳ lúc nào bằng cách nhấp vào nút một lần nữa.

Bảng "Chúng tôi có làm đúng không?" sẽ thu gọn - nhấp vào tiêu đề của nó để ẩn hoặc hiển thị các lời nhắc và các lớp phủ phát hiện. Agent ghi nhớ lựa chọn của bạn (cho mỗi trình duyệt), vì vậy khi bạn hài lòng với hiệu suất của camera, bạn có thể thu gọn bảng và chỉ xem các hình ảnh cảnh báo sạch sẽ. Thu gọn bảng không bao giờ dừng việc học - việc ẩn vẫn tiếp tục. Để dừng việc học hoàn toàn, hãy tắt Học từ phản hồi trên camera thay thế (lưu ý điều này cũng dừng việc ẩn).

Cảnh báo đã bị ẩn

Việc ẩn được cố ý bảo thủ - một phát hiện chỉ bị ẩn khi nó rõ ràng phù hợp với các ví dụ bị từ chối của bạn và không khớp với bất kỳ ví dụ nào được xác nhận. Khi Agent ẩn những gì sẽ là một cảnh báo, nó lưu trữ một cảnh báo đã bị ẩn thay thế để không có gì bao giờ biến mất im lặng. Nhấp vào biểu tượng trong tiêu đề bảng Cảnh báo để hiển thị hoặc ẩn chúng (biểu tượng chỉ xuất hiện khi tồn tại các cảnh báo bị ẩn; chúng được giữ riêng biệt và không tính vào các cảnh báo thông thường của bạn).

Nếu Agent ẩn một cái gì đó mà nó không nên ẩn, hãy mở cảnh báo bị ẩn và đánh dấu phát hiện là Đúng - điều này sẽ hủy bỏ việc ẩn các phát hiện tương tự ngay lập tức.

Cách hoạt động

Agent sử dụng một mô hình thị giác đa năng để tạo một "dấu tay" toán học nhỏ gọn của mỗi phát hiện. Các kết luận của bạn lưu các dấu tay này làm ví dụ được xác nhận hoặc bị từ chối cho mỗi camera và loại đối tượng. Các phát hiện trong tương lai được so sánh với các ví dụ của bạn bằng độ tương tự - cách tiếp cận tương tự được sử dụng bởi Nhận dạng khuôn mặt. Mô hình phát hiện được chọn của bạn và các lớp của nó không được chạm vào.

Đặt lại

Để loại bỏ mọi thứ một camera đã học, nhấp vào Xóa dữ liệu học tập trên tab Nhận dạng đối tượng của camera và xác nhận - các cảnh báo bị ẩn sẽ bắt đầu cảnh báo lại. Phản hồi đã học được lưu trữ trong FeedbackDB.json trong thư mục XML của Agent; lệnh API clearfeedback cũng có sẵn (tùy chọn với các tham số cameraidlabel). Phản hồi đã học (và các khuôn mặt đã học) được bao gồm trong xuất khẩu/nhập khẩu cấu hình máy chủ, vì vậy đào tạo của bạn di chuyển cùng với cài đặt của bạn sang một máy tính mới.

Sao chép dữ liệu học tập giữa các camera

Bạn có thể sao chép phản hồi đã học của một camera sang các camera khác bằng Sao chép cài đặt - đánh dấu Học máy (dưới Nhận dạng đối tượng) trong danh sách phần. Điều này thay thế dữ liệu học của các camera đích bằng một bản sao của dữ liệu học của camera nguồn. Nó hữu ích nhất cho các camera bao phủ cùng một cảnh hoặc cảnh tương tự - các ví dụ đã học dựa trên vẻ ngoài, vì vậy phản hồi về một bụi cây trên một camera chỉ giúp một camera khác có thể nhìn thấy một cái gì đó như cái bụi cây đó.

Chuyển đổi Mô hình Ultralytics YOLO sang ONNX

Agent DVR hỗ trợ các tệp mô hình ONNX cho nhận dạng đối tượng. Bạn có thể tải xuống các mô hình được huấn luyện trước và chuyển đổi chúng sang định dạng ONNX chỉ trong vài bước.

Ví dụ dưới đây sử dụng mô hình YOLO26s thông qua Ultralytics. YOLO26s là một mô hình nhỏ hơn, đa dụng với sự cân bằng tốt giữa tốc độ và độ chính xác.

Yêu cầu tiên quyết

  • Python 3.10 hoặc mới hơn
  • pip có sẵn trong PATH
  • Kết nối Internet
  • ~1-2 GB dung lượng đĩa trống

Bước 1 - Cài đặt Ultralytics

pip install ultralytics

Bước 2 - Tải xuống Mô hình YOLO26s

Ultralytics tự động tải xuống các trọng số được huấn luyện trước khi lần đầu tiên sử dụng:

yolo detect predict model=yolo26s.pt source=https://ultralytics.com/images/bus.jpg

Bước 3 - Chuyển đổi sang ONNX

Sau khi tải xuống, xuất mô hình sang định dạng ONNX:

yolo export model=yolo26s.pt format=onnx opset=12 simplify=True

Giải pháp thay thế bằng Python

from ultralytics import YOLO

model = YOLO("yolo26s.pt")
model.export(format="onnx", opset=12, simplify=True)

Bước 4 - Xác định vị trí Tệp ONNX

Tệp yolo26s.onnx được xuất sẽ được tạo trong thư mục làm việc của bạn hoặc trong thư mục

runs/export
.

Bước 5 - Sao chép sang Agent DVR

Di chuyển tệp ONNX vào thư mục mô hình ONNX của Agent DVR (trên máy chủ Agent), ví dụ:

Agent\Media\Models\ONNX\

Bước 6 - Thêm Mô hình trong Agent DVR

  1. Đi tới Cài đặt máy chủ > Cài đặt AI > Mô hình AI.
  2. Nhấp Nhận dạng đối tượng và thêm một mô hình mới.
  3. Nhập tên ví dụ như yolo26s và chọn tệp .onnx trong danh sách thả xuống.
  4. Để các tùy chọn còn lại ở giá trị mặc định và nhấp OK.
  5. Chỉnh sửa camera của bạn, mở tab Nhận dạng đối tượng, đặt Máy chủ thành Nội bộ, và chọn mô hình mới của bạn.

Nhận dạng khuôn mặt cục bộ

Agent DVR hỗ trợ nhận dạng khuôn mặt thời gian thực bằng AI, chạy cục bộ trên phần cứng của riêng bạn. Sử dụng nó để biết ai đang ở cửa và kích hoạt các hành động khác nhau cho khuôn mặt được nhận diện và không được nhận diện. Bạn sẽ cần một giấy phép (hoặc đăng ký đang hoạt động) để sử dụng tính năng này. Xem Các máy chủ AI để cấu hình Agent sử dụng các máy chủ AI bên ngoài.

Để bắt đầu, chỉnh sửa camera của bạn và đi tới tab Nhận dạng khuôn mặt. Chọn máy chủ AI của bạn ở trên cùng. Mặc định là Nội bộ, là AI tích hợp của Agent DVR. Nếu bạn muốn sử dụng máy chủ AI, hãy thêm nó trong Cài đặt máy chủ - Cài đặt AI - Các máy chủ AI và sau đó chọn nó tại đây.

Chi tiết sau đây dành cho cấu hình Agent DVR với AI tích hợp nhanh của nó.

  • Chế độ: Chọn thời điểm bạn muốn AI xử lý các khung từ video của bạn. Nếu bạn chọn Khoảng thời gian, Agent sẽ sử dụng trường Tốc độ xử lý bên dưới để liên tục phân tích luồng video của bạn.
  • Cấu hình lớp phủ: Thiết lập vẽ kết quả thời gian thực trên video trực tiếp: bật lớp phủ, hiển thị các nhãn và độ tin cậy, đặt độ dày đường kẻ và màu sắc, hoặc làm mờ khuôn mặt. Lớp phủ rất hữu ích để tinh chỉnh giới hạn độ tin cậy.
  • Sử dụng GPU: Chọn cái này để sử dụng GPU của bạn thay vì CPU.
  • Thiết bị: Chọn thiết bị để chạy mô hình trên.
  • Tốc độ xử lý: Điều này chỉ được sử dụng khi Chế độKhoảng thời gian - nó kiểm soát tốc độ mà các khung được gửi đến mô hình. Nhập 1 cho 1 khung trên giây, 20 cho 20 khung trên giây hoặc 0.1 cho 1 khung mỗi 10 giây.
  • Độ tin cậy: Điều này lọc kết quả từ mô hình. Điều chỉnh cao hơn để giảm dương tính giả, nhưng lưu ý rằng nó cũng có thể bỏ lỡ người.
  • Kiểm tra các góc: Tham khảo Kiểm tra các góc để biết thêm chi tiết.

Bạn có thể chọn mô hình nhận dạng khuôn mặt nào Agent sử dụng trong Cài đặt máy chủ - Cài đặt AI - Mô hình AI - Nhận dạng khuôn mặt.

Các khuôn mặt cần nhận diện

Nhấp vào Chỉnh sửa khuôn mặt để tải lên ảnh của những người bạn muốn nhận diện. Bạn có thể tải lên nhiều ảnh của cùng một người để cải thiện kết quả. Bạn có thể tải lên hình ảnh từ hệ thống tệp của mình hoặc sử dụng webcam tích hợp để chụp ảnh (yêu cầu SSL hoặc localhost).

Hành động

Nhận dạng khuôn mặt tạo ra các sự kiện AI: Đã nhận diện khuôn mặtAI: Không nhận diện được khuôn mặt để sử dụng trong Các hành động.

Ảnh

Để biết thông tin về ảnh, xem Ảnh.

Nhận dạng Biển số xe cục bộ

Agent DVR hỗ trợ nhận diện biển số xe thời gian thực trực tiếp, chạy cục bộ trên phần cứng của riêng bạn. Sử dụng nó để ghi lại mọi chiếc xe vào lối vào hoặc bãi đỗ xe và kích hoạt các hành động, chẳng hạn như mở cửa, khi biển số đã biết được nhận diện. Bạn sẽ cần một giấy phép (hoặc gói đăng ký hoạt động) để sử dụng tính năng này. Xem Các máy chủ AI để cấu hình Agent sử dụng các máy chủ AI bên ngoài.

Để bắt đầu, chỉnh sửa camera của bạn và đi tới tab LPR. Chọn máy chủ AI của bạn ở phía trên. Mặc định là Nội bộ, đó là AI tích hợp của Agent DVR. Nếu bạn muốn sử dụng máy chủ AI, hãy thêm nó trong Cài đặt máy chủ - Cài đặt AI - Các máy chủ AI và sau đó chọn nó ở đây.

Chi tiết sau đây dành cho việc cấu hình Agent DVR với AI tích hợp nhanh của nó.

  • Chế độ: Chọn thời điểm bạn muốn AI xử lý các khung từ video của bạn. Nếu bạn chọn Khoảng thời gian, Agent sẽ sử dụng trường Tốc độ xử lý bên dưới để liên tục phân tích luồng video của bạn.
  • Cấu hình lớp phủ: Thiết lập vẽ kết quả thời gian thực trên video trực tiếp: bật lớp phủ, hiển thị các nhãn và độ tin cậy, đặt độ dày đường kẻ và màu sắc, hoặc làm mờ các biển số xe được phát hiện. Lớp phủ rất tốt để tinh chỉnh giới hạn độ tin cậy.
  • Sử dụng GPU: Đánh dấu điều này để sử dụng GPU của bạn thay vì CPU. Lưu ý rằng hiện tại điều này chỉ hoạt động trên Windows hoặc macOS do hỗ trợ trình điều khiển GPU và thời gian chạy. Linux hiện tại quay lại CPU.
  • Thiết bị: Chọn thiết bị để chạy mô hình trên.
  • Tốc độ xử lý: Điều này chỉ được sử dụng khi Chế độKhoảng thời gian - nó kiểm soát tốc độ mà các khung được gửi đến mô hình. Nhập 1 cho 1 khung trên giây, 20 cho 20 khung trên giây hoặc 0.1 cho 1 khung mỗi 10 giây.
  • Độ tin cậy: Điều này lọc các kết quả từ mô hình. Điều chỉnh cái này cao hơn để giảm dương tính giả, nhưng lưu ý rằng nó cũng có thể bỏ lỡ các đối tượng.
  • Kiểm tra các góc: Tham khảo Kiểm tra các góc để biết thêm chi tiết.

Biển số xe cần tìm

  • Biển số xe: Nhập danh sách các biển số được phân tách bằng dấu phẩy hoặc URL tới tệp CSV chứa các biển số. Agent DVR sẽ tạo các sự kiện Biển số xe đã được nhận diệnBiển số xe không được nhận diện cho các biển số này, có thể kích hoạt các hành động.
  • Khoảng thời gian tải lại: Đặt tần suất tải lại danh sách biển số từ URL.
  • Chuẩn hóa: Điều chỉnh các biển số thường được xác định sai để cải thiện khớp.

Hành động

LPR tạo các sự kiện AI: Biển số xe đã được nhận diệnAI: Biển số xe không được nhận diện để sử dụng trong Các hành động.

Ảnh

Để biết thông tin về ảnh, xem Ảnh.

Lọc Cảnh báo AI

Lọc cảnh báo kết hợp phát hiện chuyển động với AI để bạn chỉ nhận được cảnh báo khi phát hiện thứ gì đó quan trọng, chẳng hạn như một người trên hiên, thay vì các cành cây xung quanh hoặc đèn ô tô đi qua. Đây là cách hiệu quả nhất để giảm báo động giả. Để thiết lập Lọc cảnh báo trong Agent DVR, hãy làm theo các bước sau:

  • Cấu hình và kích hoạt một Phát hiện chuyển động. Để sử dụng CPU tối thiểu, hãy sử dụng bộ dò đơn giản. Đảm bảo ít nhất một vùng được xác định để bao phủ khu vực bạn muốn giám sát.
  • Trên tab Cảnh báo, đặt Chế độ thành Chỉ hành động và kích hoạt Cảnh báo.
  • Trên tab ghi hình, đặt Chế độ thành Cảnh báo (nếu bạn muốn các bản ghi)
  • Kích hoạt Nhận dạng đối tượng trên tab Nhận dạng đối tượng. Đặt chế độ thành Phát hiện chuyển động, chọn một mô hình, và nhấp Tìm để chọn các đối tượng để phát hiện, chẳng hạn như Người, Chó, Ô tô, v.v.
  • Đi tới Các hành động trong menu tab và thêm một Hành động cho sự kiện AI: Đã tìm thấy đối tượng.

    Chọn các vùng để chỉ định nơi phát hiện đối tượng, chẳng hạn như các vùng khác nhau cho lối vào xe và đường. Ví dụ, chọn vùng lối vào xe sẽ chỉ kích hoạt cảnh báo nếu phát hiện một ô tô ở đó.

    Dưới Các tác vụ, nhấp Thêm để tạo một tác vụ Cảnh báo. Nhấp OK hai lần để xác nhận.

Agent DVR sẽ xử lý nhận dạng đối tượng AI sau khi phát hiện chuyển động. Nếu nó phát hiện một đối tượng được chỉ định trong một vùng được chọn, nó sẽ kích hoạt một hành động để phát ra cảnh báo. Nếu không chọn vùng sẽ kích hoạt cảnh báo cho bất kỳ vùng nào.

Thiết lập các bộ lọc cảnh báo tương tự cho Nhận dạng LPR, Nhận dạng khuôn mặt, hoặc Nhận dạng âm thanh.

Để nhận dạng đối tượng AI hằng số mà không cần kích hoạt phát hiện chuyển động, hãy đặt Chế độ trên Nhận dạng đối tượng thành Khoảng thời gian. Giám sát tác động đến tài nguyên phần cứng của bạn và điều chỉnh khi cần thiết.

Bạn có thể cấu hình nhiều hành động cho các đối tượng khác nhau trong các vùng khác nhau. Sử dụng thẻ {AI} trong các hành động để tham chiếu đối tượng được phát hiện.

Nếu máy chủ AI của bạn không phản hồi và bạn sử dụng nó để lọc Cảnh báo phát hiện chuyển động, Agent DVR sẽ coi tất cả các sự kiện là cảnh báo hợp lệ cho đến khi máy chủ hoạt động trở lại. Hành vi này có thể được bật tắt bằng công tắc Chuyển tiếp chuyển động dưới Nhận dạng đối tượng.
Sử dụng các bộ lọc trong các hành động của bạn để thực hiện các phản ứng khác nhau dựa trên các phát hiện của Agent DVR. Ví dụ, bạn có thể cấu hình một cảnh báo "đã phát hiện kẻ xâm nhập" bằng lời nói cho một người ở cửa, hoặc phát âm tiếng chó sủa nếu phát hiện một con mèo trên ghế sofa của bạn.

Khắc phục sự cố Bộ lọc AI

Nếu AI không lọc hiệu quả các bản ghi của bạn, hãy xem xét các điều sau:

  • Đảm bảo cài đặt Tìm khớp với một trong các tùy chọn Sẵn sàng.
  • Xác minh rằng công tắc cảnh báo chính ở Trên cùng bên trái của Agent DVR hiển thị một ổ khóa đóng, cho biết cảnh báo đang hoạt động.
  • Xác nhận rằng chế độ ghi hình được đặt thành Cảnh báo chứ không phải Phát hiện.
  • Đảm bảo chế độ cảnh báo được đặt thành Chỉ hành động.
  • Thử hạ thấp mức độ Độ tin cậy trong Nhận dạng đối tượng.
  • Kiểm tra /logs.html để tìm các thông báo lỗi, có thể cho biết các vấn đề máy chủ hoặc các khối mạng.
  • Giám sát hiệu suất máy chủ AI và đảm bảo nó không gây quá tải hệ thống hoặc thời gian chờ.
  • Nếu AI phát hiện tất cả lớp đối tượng, điều đó có thể cho biết các vấn đề GPU. Kiểm tra trình điều khiển GPU hoặc chuyển sang mô-đun AI dựa trên CPU.

Nhận dạng đối tượng Trí tuệ nhân tạo

Cài đặt Nhận dạng đối tượng AI

Nhận dạng đối tượng trong Agent DVR sử dụng AI cục bộ của chúng tôi hoặc một máy chủ AI (khuyến nghị CodeProject.AI) để nhận dạng các đối tượng cụ thể trong luồng video và có thể tạo sự kiện, nâng cao cảnh báo, hoặc hoạt động như một bộ lọc cho cảnh báo chuyển động.

  • Đã bật: Bật hoặc tắt quy trình AI.
  • Máy chủ AI: Chọn từ máy chủ được cấu hình của bạn, hoặc sử dụng tùy chọn mặc định.
  • Chế độ: Chọn bộ kích hoạt cho quy trình AI. Kích hoạt thông qua API chỉ bằng cách đặt thành Không và gọi triggerObject.
  • Chuyển tiếp chuyển động: Nếu máy chủ AI không hoạt động và lọc cảnh báo, điều này cho phép cảnh báo chuyển tiếp mà không lọc.
  • Sử dụng URI snapshot: Sử dụng khung hình độ phân giải cao từ máy ảnh của bạn thay vì khung luồng trực tiếp hiện tại.
  • Chế độ thay đổi kích thước: Thay đổi kích thước hình ảnh trước khi gửi đến máy chủ AI để giảm tải và cải thiện thời gian phản hồi.
  • Cấu hình lớp phủ: Thiết lập kết quả AI bản vẽ trên luồng video trực tiếp, bao gồm nhãn, độ tin cậy, độ dày đường kẻ, màu sắc và làm mờ.
  • Khoảng thời gian yêu cầu: Đặt thời gian tối thiểu giữa các yêu cầu máy chủ.
  • Độ tin cậy: Đặt mức độ tin cậy tối thiểu để nhận dạng một đối tượng.
  • Kiểm tra các góc: Tham khảo Kiểm tra các góc để biết thêm chi tiết.

Mô hình

  • Khám phá: Truy xuất các mô hình đã cài đặt từ máy chủ của bạn (riêng biệt với CodeProject.AI).
  • Điểm cuối AI: Chọn từ các mô hình sẵn sàng hoặc sử dụng điểm cuối mặc định.
  • Lớp đối tượng AI: Được tự động điền với các lớp liên quan hoặc được nhập thủ công.
  • Tìm: Chỉ định các đối tượng để AI phát hiện.
  • Đối tượng tĩnh: Lọc các đối tượng không di chuyển. Bỏ qua các đối tượng tĩnh bỏ qua các đối tượng được phát hiện lặp lại ở cùng vị trí; Chỉ di chuyển chỉ báo cáo các đối tượng nơi bộ dò chuyển động hiện đang thấy sự di chuyển.
  • Độ dung sai chuyển động: Sự di chuyển được phép giữa các lần phát hiện khi kiểm tra các đối tượng tĩnh.

Mô hình tùy chỉnh

Để thêm mô hình tùy chỉnh vào CodeProject.AI, sao chép tệp mô hình vào thư mục được chỉ định. Truy cập nó thông qua nút Khám phá, nhưng thêm thủ công danh sách đối tượng vào Lớp đối tượng.

Thay đổi thư mục để lưu trữ mô hình bằng cách chỉnh sửa cài đặt mô-đun Nhận dạng đối tượng.

Lệnh

Nhận dạng đối tượng tạo ra các sự kiện AI: Đã tìm thấy đối tượngAI: Không tìm thấy đối tượng để sử dụng trong Lệnh.

Ảnh

Để biết thông tin về ảnh, hãy xem ảnh.

Hỏi AI

Agent DVR sử dụng các máy chủ AI (OpenAI/ Claude/ Gemini/ Các mô hình LLM cục bộ như Ollama, LM Studio, vLLM, v.v.) để trả lời các câu hỏi dễ đọc về hình ảnh từ camera của bạn. Điều này sau đó có thể tạo ra các sự kiện, đưa ra cảnh báo hoặc hoạt động như một bộ lọc cho cảnh báo chuyển động. Bạn sẽ cần hoàn thành các cài đặt trong Cài đặt máy chủ - Cài đặt AI - Hỏi AI.

Có thể có chi phí của bên thứ ba liên quan đến việc sử dụng API của nhà cung cấp AI được chọn, vì vậy hãy chắc chắn kiểm tra rằng thiết lập của bạn chỉ gửi yêu cầu khi bạn cần. Google cung cấp mức sử dụng miễn phí cho các khóa API Gemini trên Tài khoản Google cá nhân; hãy kiểm tra giá hiện tại của Google để biết các giới hạn.

Bạn có thể kiểm tra các Nhật ký tại /logs.html trên máy chủ cục bộ để xem khi nào các yêu cầu được gửi. Đặt Cài đặt máy chủ - Ghi nhật ký - Mức độ nhật ký thành Thông tin.

  • Đã bật: Bật tắt để bật hoặc tắt quy trình AI.
  • Nhà cung cấp: Chọn nhà cung cấp AI mà bạn muốn sử dụng để xử lý hình ảnh. Nhà cung cấp sẽ cần được cấu hình trong cài đặt máy chủ - Cài đặt AI. Nếu bạn chọn Mặc định, nhà cung cấp đầu tiên được cấu hình sẽ được sử dụng.
  • Chế độ: Chọn kích hoạt cho quy trình AI. Kích hoạt qua API chỉ bằng cách đặt giá trị này thành Không có và gọi triggerAskAI
  • Chuyển tiếp chuyển động: Nếu máy chủ AI không hoạt động và lọc cảnh báo, điều này cho phép cảnh báo vượt qua mà không được lọc.
  • Sử dụng URI snapshot: Sử dụng khung hình độ phân giải cao từ camera của bạn thay vì khung hình luồng trực tiếp hiện tại.
  • Chế độ thay đổi kích thước: Thay đổi kích thước hình ảnh trước khi gửi đến máy chủ AI để giảm tải và cải thiện thời gian phản hồi.
  • Cấu hình lớp phủ: Thiết lập vẽ kết quả AI trên luồng video trực tiếp.
  • Khoảng thời gian yêu cầu: Đặt thời gian tối thiểu giữa các yêu cầu máy chủ.
  • Chế độ chi tiết: Chọn Chi tiết thấp hoặc Chi tiết cao. Chi tiết thấp có chi phí rẻ hơn Chi tiết cao và thích hợp cho hầu hết các kịch bản.
  • Sử dụng video: Gửi một đoạn video ngắn thay vì hình ảnh (Gemini chỉ). Đặt Thời lượng tính bằng giây và chọn Bao gồm âm thanh để gửi âm thanh cùng với video.

Tin nhắn AI

  • Thông báo: Nhập câu hỏi của bạn cho AI tại đây. Một số ví dụ:
    • Nếu bạn thấy lửa trong hình ảnh này, hãy phản hồi bằng FIRE. Nếu bạn thấy một con chó đang ngồi trên ghế sofa, hãy phản hồi bằng DOG. Nếu cửa mở, hãy phản hồi bằng DOOR. Nếu nhiều điều kiện được đáp ứng, hãy phân tách chúng bằng dấu phẩy
    • Nếu đèn trên máy trên bàn có màu đỏ, hãy phản hồi bằng ALERT
    • Nếu một xe cảnh sát được đậu trong lối vào lái xe, hãy phản hồi bằng POLICE
    • Nếu có bất kỳ thư hoặc gói hàng nào trên sàn nhà, hãy phản hồi bằng MAIL
    • Nếu có vẻ như ai đó đã đột nhập vào nhà của tôi, hãy phản hồi bằng BREAKIN
  • Tìm: Nhập các thẻ mà bạn đã hướng dẫn AI trả lời. Ví dụ FIRE, DOG, DOOR
  • Không lặp lại: Bỏ qua các thẻ được trả lại trong lần gọi AI cuối cùng

Như đã lưu ý ở trên, bạn có thể yêu cầu nhiều điều kiện được đáp ứng trong thông báo và thiết lập các hành động để xử lý từng kết quả.

Mẹo! Bạn có thể thêm thẻ đặc biệt [TIME] vào các thông báo của bạn để chuyển thời gian cục bộ hiện tại cho AI - điều này cho phép bạn thực hiện các kiểm tra dựa trên giờ trong ngày. Ví dụ, "Thời gian hiện tại là [TIME] nếu nó muộn hơn 8 tối và cửa nhà để xe mở, hãy chỉ phản hồi bằng GARAGE"

Hành động

Hỏi AI tạo ra các sự kiện AI: Kết quả Hỏi AI dương tính để sử dụng trong Các hành động.

AI Actions

Ảnh

Để biết thông tin về ảnh, hãy xem ảnh. Lưu ý rằng AI chưa trả lại bất kỳ dữ liệu không gian nào về vị trí của các vật trong hình ảnh, vì vậy cắt xén và phát hiện tĩnh hiện không hoạt động.

Ảnh AI

Cấu hình Ảnh AI

Các tiến trình AI có thể chụp ảnh khi nhận dạng được đối tượng, cung cấp các tùy chọn để lưu, cắt, tải lên FTP và nhiều hơn nữa.

Để cấu hình điều này, hãy đi tới tùy chọn Ảnh ở cuối mỗi thẻ cấu hình AI khi chỉnh sửa camera. Bật Ảnh và nhấp để cấu hình.

  • Nhãn: Agent DVR vẽ các hộp trên hình ảnh và gắn nhãn các đối tượng được phát hiện.
  • Cắt: Agent DVR cắt hình ảnh thành từng khu vực được phát hiện và lưu nhiều hình ảnh, mỗi hình ảnh cho một vùng.
  • FTP: Tải lên các hình ảnh đã lưu lên máy chủ FTP được cấu hình của camera.
  • Ngăn lặp lại: Agent DVR tránh lưu nhiều bản sao của cùng một đối tượng cho đến khi nó rời khỏi vùng chuyển động.
  • Khoảng thời gian tối thiểu: Đặt khoảng thời gian tối thiểu giữa các ảnh, tính bằng giây.
Hãy thận trọng với các cài đặt ảnh AI vì cấu hình không chính xác có thể dẫn đến việc lưu quá nhiều hình ảnh. Theo dõi tần suất các hình ảnh được lưu sau khi thiết lập.

LPR hoặc ALPR

Các phiên bản mới hơn của Agent DVR có AI được tích hợp sẵn, cho phép xử lý nhanh hơn nhiều và giảm chi phí hoạt động. Hãy sử dụng AI cục bộ có thể phản hồi thời gian thực thay vì các máy chủ AI chậm hơn.
AI LPR Configuration

LPR (Nhận diện biển số xe, còn được gọi là ALPR/ANPR) sử dụng máy chủ AI để nhận diện và đọc biển số xe từ các xe ô tô trong dòng suối video của bạn. Nó tạo ra các sự kiện, đưa ra cảnh báo hoặc hoạt động như một bộ lọc trên các cảnh báo chuyển động.

  • Đã bật: Bật tắt để bật hoặc tắt quy trình AI.
  • Máy chủ AI: Chọn từ các máy chủ đã cấu hình của bạn hoặc sử dụng tùy chọn mặc định. Agent DVR hỗ trợ LPR thông qua CodeProject.AI, PlateRecognizer.com, Gemini hoặc bất kỳ LLM thị giác tương thích với OpenAI nào (như vLLM, Ollama và LM Studio).
  • Chế độ: Chọn kích hoạt cho quy trình AI. Kích hoạt chỉ qua API bằng cách đặt tùy chọn này thành Không có và gọi triggerLPR.
  • Sử dụng URI snapshot: Chọn khung hình độ phân giải cao từ camera của bạn thay vì khung hình dòng suối trực tiếp hiện tại.
  • Chế độ thay đổi kích thước: Thay đổi kích thước hình ảnh trước khi gửi đến máy chủ AI để giảm tải và cải thiện thời gian phản hồi.
  • Cấu hình lớp phủ: Thiết lập vẽ kết quả AI trên luồng video trực tiếp.
  • Khoảng thời gian yêu cầu: Đặt thời gian tối thiểu giữa các yêu cầu máy chủ để giảm tải.
  • Độ tin cậy: Xác định mức độ tin cậy tối thiểu để nhận diện biển số xe.
  • Kiểm tra các góc: Tham khảo Kiểm tra các góc để biết thêm chi tiết.
  • Biển số xe: Nhập danh sách các biển số được phân tách bằng dấu phẩy hoặc URL tới tệp CSV chứa các biển số. Agent DVR sẽ tạo các sự kiện Biển số xe đã được nhận diệnBiển số xe không được nhận diện cho các biển số này, có thể kích hoạt các hành động.
  • Khoảng thời gian tải lại: Đặt tần suất tải lại danh sách biển số từ URL.
  • Chuẩn hóa: Điều chỉnh các biển số thường được xác định sai để cải thiện khớp.
  • Hãng sản xuất, Mô hình và Màu sắc: Bật tính năng này chỉ khi sử dụng gói dự trả trên PlateRecognizer.com hỗ trợ các tính năng này. Tính năng này không được bao gồm trong gói miễn phí. Chi tiết sẽ được bao gồm trong {AIJSON} trong các Hành động của Agent DVR.

Hành động

LPR tạo các sự kiện AI: Biển số xe đã được nhận diệnAI: Biển số xe không được nhận diện để sử dụng trong Các hành động.

Ảnh

Để biết thông tin về ảnh, xem ảnh.

Sử dụng ALPR-Database

Bạn có thể thiết lập tích hợp với ALPR-Database.com để lưu trữ biển số xe của mình. Xem Agent DVR với ALPR-Database để biết hướng dẫn.

Nhận dạng khuôn mặt AI

Các phiên bản mới hơn của Agent DVR có tích hợp AI cho phép xử lý nhanh hơn và chi phí hoạt động thấp hơn. Hãy sử dụng AI cục bộ có thể phản hồi trong thời gian thực thay vì các máy chủ AI chậm hơn.
AI Face Recognition Settings

Nhận dạng khuôn mặt sử dụng máy chủ AI (được khuyến nghị: CodeProject.AI) để nhận dạng các khuôn mặt cụ thể trong luồng video. Nó có thể tạo ra sự kiện, phát động cảnh báo hoặc hoạt động như bộ lọc cho cảnh báo chuyển động. Các khuôn mặt có thể được thêm, chỉnh sửa hoặc xóa bằng máy ảnh của bạn hoặc bằng cách tải lên các hình ảnh. Xem Chỉnh sửa khuôn mặt trong tab này để tìm hiểu thêm.

  • Đã bật: Bật tắt để bật hoặc tắt quy trình AI.
  • Máy chủ AI: Chọn từ các máy chủ đã cấu hình của bạn, hoặc sử dụng tùy chọn mặc định.
  • Chế độ: Chọn trình kích hoạt cho quá trình AI. Kích hoạt qua API chỉ bằng cách đặt tùy chọn này thành Không có và gọi triggerFace
  • Sử dụng URI snapshot: Chọn khung hình độ phân giải cao từ camera của bạn thay vì khung hình dòng suối trực tiếp hiện tại.
  • Chế độ thay đổi kích thước: Thay đổi kích thước hình ảnh trước khi gửi đến máy chủ AI để giảm tải và cải thiện thời gian phản hồi.
  • Cấu hình lớp phủ: Thiết lập vẽ kết quả AI trên luồng video trực tiếp.
  • Khoảng thời gian yêu cầu: Đặt thời gian tối thiểu giữa các yêu cầu máy chủ để giảm tải.
  • Độ tin cậy: Xác định mức độ tin cậy tối thiểu để nhận dạng một khuôn mặt.
  • Kiểm tra các góc: Tham khảo Kiểm tra các góc để biết thêm chi tiết.
  • Chỉnh sửa khuôn mặt: Tải lên các hình ảnh lên cơ sở dữ liệu máy chủ để nhận dạng. Đảm bảo rằng chỉ một khuôn mặt được hiển thị và được xác định rõ ràng trong mỗi hình ảnh.

Hành động

Nhận dạng khuôn mặt tạo ra các sự kiện AI: Đã nhận diện khuôn mặtAI: Không nhận diện được khuôn mặt để sử dụng trong Các hành động.

Ảnh

Để biết thông tin về ảnh, xem ảnh.

Nhận dạng âm thanh AI

Cài đặt Nhận dạng âm thanh AI Thẻ Nhận dạng âm thanh AI

Nhận dạng âm thanh dựa trên AI trong Agent DVR phản ứng với các âm thanh được nhận dạng từ micrô hoặc dòng suối âm thanh.

Bạn sẽ cần chỉnh sửa cài đặt micrô để thiết lập nhận dạng âm thanh. Nếu bạn có camera có dòng suối âm thanh, bạn có thể truy cập cài đặt âm thanh bằng cách chỉnh sửa camera, chọn tab Âm thanh và nhấp vào "Cấu hình".

  • Đã bật: Bật/tắt quy trình AI.
  • Chế độ: Chọn kích hoạt cho quy trình AI.
  • Độ tin cậy: Đặt mức độ tin cậy tối thiểu cho nhận dạng âm thanh.
  • Lắng nghe: Chọn các âm thanh cụ thể để AI phát hiện.
  • Lớp phủ: Hiển thị các âm thanh được nhận dạng trên trực quan hóa âm thanh trực tiếp. Chỉ các âm thanh bạn đã chọn trong Lắng nghe được hiển thị, vì vậy những gì xuất hiện trên màn hình phù hợp với những gì gây ra cảnh báo.
  • Phủ lên tất cả các âm thanh: Cũng hiển thị các âm thanh bạn không đang lắng nghe, vì vậy lớp phủ hiển thị mọi thứ mô hình nhận dạng được. Hữu ích để tìm ra lý do tại sao một âm thanh không được chọn lên.
  • Sử dụng GPU: Đánh dấu để sử dụng GPU thay vì CPU.
  • Thiết bị: Chọn thiết bị để chạy mô hình trên đó.

Nhấp vào Lắng nghe sẽ hiển thị các âm thanh sẵn sàng để phát hiện. Chọn các âm thanh khi cần.

Nếu một âm thanh không được phát hiện, bật Lớp phủPhủ lên tất cả các âm thanh, sau đó phát âm thanh và quan sát trực quan hóa âm thanh. Lớp phủ liệt kê từng âm thanh được nhận dạng cùng với độ tin cậy của nó, vì vậy bạn có thể thấy liệu mô hình không nghe gì cả, nghe thấy âm thanh nhưng dưới cài đặt Độ tin cậy của bạn, hay phân loại nó thành thứ khác - trong trường hợp đó hãy thêm âm thanh đó vào Lắng nghe. Tắt Phủ lên tất cả các âm thanh khi hoàn tất, vì vậy lớp phủ chỉ hiển thị các âm thanh thực sự gây ra cảnh báo.

Sử dụng Hành động AI: Đã nhận dạng âm thanh để thực hiện các tác vụ khi một âm thanh được xác định.

Nhận dạng âm thanh cũng có thể được sử dụng để lọc cảnh báo, tương tự như camera.

Ngôn ngữ AI

Để thay đổi ngôn ngữ được sử dụng cho các nhãn và gắn thẻ trong các lớp phủ hình ảnh, hãy vào Menu máy chủ - Cài đặt - Chung - Ngôn ngữ mặc định.

Thêm các Hành động vào Sự kiện AI

Agent DVR tạo sự kiện thông qua các tiến trình AI, có thể kích hoạt Các hành động. Ví dụ, Nhận dạng đối tượng tạo ra các sự kiện "Tìm thấy đối tượng" và "Không tìm thấy đối tượng". Mỗi hệ thống AI trong Agent DVR tạo ra các sự kiện độc đáo.

Những sự kiện này có thể kích hoạt nhiều hành động khác nhau, chẳng hạn như nâng cao cảnh báo, gọi URL với các nhãn đối tượng, thực thi chương trình hoặc xuất bản thông báo đến máy chủ MQTT. Sử dụng thẻ {AI} cho các nhãn hoặc {AIJSON} cho phản hồi JSON đầy đủ từ máy chủ AI trong các hành động.