Trí tuệ nhân tạo: Máy chủ

Agent DVR tích hợp hoàn toàn với các máy chủ AI như DeepStack AI, CodeProject AI, PlateRecognizer.com, Claude, Gemini, OpenAI (ChatGPT) và các mô hình ngôn ngữ cục bộ như Ollama, vLLM và LM Studio để thêm lọc cảnh báo thông minh, nhận dạng đối tượng, nhận dạng cảnh và kiểm soát sự kiện thông minh.

Ngoài DeepStack và CodeProject AI, bạn cũng có thể sử dụng các máy chủ AI khác hỗ trợ cùng một API:

Nhận dạng đối tượng và Thị giác máy tính

• https://codeproject.github.io/ - Máy chủ xử lý AI dựa trên GPU/CPU chạy trên nhiều nền tảng
• https://docs.platerecognizer.com/ - Máy chủ nhận dạng biển số (API trên web)
• https://github.com/runningman84/docker-coral-rest-server - Mô hình Tensorflow-lite trên RPi (hoặc Linux/Mac) với tăng tốc từ USB Coral
• https://github.com/robmarkcole/coral-pi-rest-server/ - Mô hình Tensorflow-lite trên bộ tăng tốc USB Coral qua ứng dụng Flask
• https://xnorpx.github.io/blue-onyx/ - Dịch vụ phát hiện đối tượng Blue Onyx

Dịch vụ AI trên đám mây

• https://platform.openai.com/ - API OpenAI (ChatGPT, GPT-4 Vision) để phân tích hình ảnh và trò chuyện
• https://console.anthropic.com/ - API Claude của Anthropic để suy luận nâng cao và hiểu hình ảnh
• https://ai.google.dev/ - API Google Gemini cho khả năng AI đa phương thức
• https://docs.anthropic.com/ - Tài liệu API Claude
• https://platform.openai.com/docs/ - Tài liệu API OpenAI
• https://ai.google.dev/gemini-api/docs - Tài liệu API Gemini

Máy chủ AI cục bộ (LLMs)

• https://ollama.com/ - Ollama: Chạy các mô hình ngôn ngữ lớn cục bộ
• https://docs.vllm.ai/ - vLLM: Suy luận LLM và phục vụ có thông lượng cao
• https://lmstudio.ai/ - LM Studio: Ứng dụng máy tính để bàn dễ sử dụng cho các LLMs cục bộ
• https://github.com/ollama/ollama - Kho lưu trữ GitHub của Ollama
• https://github.com/vllm-project/vllm - Kho lưu trữ GitHub của vLLM

Các mô hình AI tùy chỉnh cho phép bạn mở rộng khả năng nhận dạng đối tượng của Agent DVR vượt ra ngoài các tùy chọn tích hợp sẵn, chẳng hạn như nhận dạng động vật hoang dã, xe giao hàng hoặc bất cứ thứ gì mà mô hình được huấn luyện có thể tìm thấy. Để thêm các tệp mô hình của riêng bạn vào Agent DVR, hãy đi tới Cài đặt máy chủ > Cài đặt AI và nhấp vào Nhận dạng đối tượng bên dưới AI Models. Agent đi kèm với hai mô hình được xây dựng sẵn đã được điều chỉnh hiệu suất cho Agent DVR.

Trước khi bạn cấu hình một mô hình, bạn sẽ cần thêm nó vào thư mục Mô hình của Agent DVR (xem xây dựng mô hình AI). Thường thấy tại Agent/Media/Models/ONNX (đường dẫn có thể khác tùy theo HĐH). Đường dẫn đầy đủ được hiển thị trên trang Thêm mô hình nếu bạn không chắc chắn. Agent sử dụng các mô hình .onnx. Bạn có thể chuyển đổi các định dạng mô hình AI khác sang ONNX bằng các công cụ Python.

Sau khi bạn đã xây dựng và sao chép mô hình, việc thêm nó vào Agent rất dễ dàng - nhấp để thêm một mô hình:

• Tên: Đặt tên cho mô hình của bạn - điều này có thể là bất cứ điều gì bạn muốn.
• Mô tả: Mô tả tùy chọn về những gì mô hình thực hiện.
• Tệp mô hình: Chọn tên tệp mô hình mà bạn đã sao chép vào thư mục.
• Các nhãn: Nhập danh sách các nhãn (hoặc "lớp") mà mô hình của bạn tìm kiếm ở định dạng CSV không có dấu ngoặc kép (khoảng trắng sẽ tự động được loại bỏ).
• Bố cục: Chọn xem mô hình của bạn là NCHW hay NHWC. Hầu hết các mô hình là NCHW nếu bạn không chắc chắn.
• Thứ tự kênh: Chọn xem mô hình của bạn muốn hình ảnh ở RGB hay BGR. Hầu hết các mô hình sử dụng RGB. Nếu mô hình của bạn là kênh đơn lẻ (thang độ xám) thì điều này sẽ bị bỏ qua.
• Chuẩn hóa: Chọn cách dữ liệu sẽ được chuẩn hóa trước khi sử dụng trong mô hình của bạn. Hầu hết các mô hình sử dụng Rescaling (0-1), chia các giá trị pixel cho 255.
• Chèn lề hình ảnh: Điều này kiểm soát xem hình ảnh có nên được kéo giãn theo các kích thước đầu vào hay được đệm bằng các thanh đen. Thường thì tốt hơn nên đệm các hình ảnh để có độ chính xác cao hơn.
• Có NMS: Đánh dấu điều này nếu mô hình của bạn đã thực hiện Non-Maximum Suppression bên trong. Nếu không, Agent sẽ tự thực hiện NMS. NMS kiểm soát cách các hình chữ nhật kết quả được lọc.
• NMS mặc định: Đặt giới hạn chồng chéo cho NMS (mặc định là 45% chồng chéo).

Sau khi bạn đã thêm mô hình của mình, nó sẽ có sẵn để sử dụng trong tab Nhận dạng đối tượng của thiết bị của bạn. Nếu bạn gặp vấn đề, bạn có thể quay lại cấu hình mô hình và thực hiện các thay đổi. Agent cũng hỗ trợ tải lại tệp mô hình, vì vậy bạn có thể sao chép lên nó bằng một phiên bản mới trong khi nó đang chạy.

Để thiết lập Các máy chủ AI, nhấp vào biểu tượng ở phía Trên cùng bên phải của giao diện chính Agent DVR. Sau đó nhấp vào Cài đặt dưới Cấu hình, chọn Cài đặt AI từ menu thả xuống, và nhấp vào Các máy chủ AI.

Agent DVR tích hợp với CodeProject.AI cho các tính năng AI khác nhau bao gồm nhận dạng đối tượng, nhận dạng khuôn mặt, ALPR (Nhận dạng tự động biển số), và siêu độ phân giải (nâng cao). PlateRecognizer.com cũng được hỗ trợ như một nhà cung cấp ALPR. CodeProject.AI là mã nguồn mở, miễn phí và tương thích với hầu hết các nền tảng.

Để bắt đầu, cài đặt một máy chủ AI cho nền tảng của bạn và kết nối Agent DVR với nó bằng cách nhấp vào Các máy chủ AI và sau đó nhấp vào Thêm.

Bạn có thể thêm bao nhiêu máy chủ AI vào Agent DVR nếu cần. Các camera trong Agent DVR có thể được cấu hình để sử dụng các máy chủ AI khác nhau cho từng chức năng, hoặc bạn có thể sử dụng một máy chủ AI cho tất cả các tác vụ.

Cấu hình Máy chủ của bạn

• Tên: Đặt tên cho máy chủ của bạn, ví dụ: Cat Catcher.
• URL Máy chủ AI: Nhập URL của máy chủ AI của bạn, ví dụ: http://localhost:32168/
• Khóa API: Nhập khóa của bạn nếu đã thiết lập (tùy chọn).
• Thời gian chờ: Thời gian chờ tính bằng giây cho các yêu cầu máy chủ.
• Độ trễ thử lại: Thời gian tính bằng giây trước khi thử lại một yêu cầu thất bại tới máy chủ này.

Nhấp vào OK để lưu cài đặt của bạn.

Để thiết lập OpenAI ("ChatGPT") trả lời các câu hỏi về những gì đang xảy ra trong luồng video của bạn, hãy chuyển đến Cài đặt máy chủ - Cài đặt AI và chọn "OpenAI" dưới Hỏi AI.

• URL: Nhập URL của dịch vụ. Mặc định là "https://api.openai.com/v1/responses".
• Khóa API OpenAI: Sau khi đăng ký với OpenAI, hãy truy cập Trang Khóa API và tạo một khóa bí mật mới. Sao chép và dán khóa này vào trường được chỉ định.
• Mô hình: Chỉ định mô hình sẽ được sử dụng. Mặc định là gpt-5.4-mini. OpenAI có thể xóa hoặc thay đổi điều này sau này.
• Token tối đa: Điều này đặt mức sử dụng token tối đa cho mỗi yêu cầu. Nếu bạn gặp sự cố, hãy kiểm tra nhật ký tại /logs.html vì nó có thể liên quan đến việc sử dụng token.

Sau khi OpenAI được cấu hình, hãy tham khảo Hỏi AI để xem hướng dẫn cách sử dụng nó để trả lời các câu hỏi chung về những gì đang xảy ra trong luồng camera của bạn.

Để thiết lập Claude AI để trả lời các câu hỏi về những gì đang xảy ra trong luồng video của bạn, hãy điều hướng tới Cài đặt máy chủ - Cài đặt AI và chọn "Claude" dưới mục Hỏi AI.

• URL: Nhập URL của dịch vụ. Mặc định là "https://api.anthropic.com/v1/messages".
• Khóa API Claude: Sau khi đăng ký Claude, hãy truy cập Trang Khóa API và tạo một khóa bí mật mới. Sao chép và dán khóa này vào trường.
• Phiên bản: Chỉ định phiên bản API sẽ sử dụng. Mặc định là 2023-06-01. Điều này có thể bị xóa hoặc thay đổi tại một số thời điểm bởi Anthropic.
• Mô hình: Chỉ định mô hình sẽ sử dụng. Mặc định tại thời điểm viết là claude-sonnet-4-6 (Claude Sonnet 4.6).
• Token tối đa: Điều này kiểm soát mức chi tiêu token tối đa cho mỗi yêu cầu. Kiểm tra nhật ký tại /logs.html nếu bạn gặp sự cố vì nó có thể liên quan đến chi tiêu token.

Sau khi Claude được cấu hình, hãy xem Hỏi AI để biết cách sử dụng nó để nhận dạng các tình huống chung trong luồng camera của bạn.

Để thiết lập Gemini trả lời các câu hỏi về những gì đang xảy ra trong luồng video của bạn, hãy điều hướng đến Cài đặt máy chủ - Cài đặt AI và chọn "Gemini" dưới Hỏi AI.

• URL: Nhập URL của dịch vụ. Mặc định là "https://generativelanguage.googleapis.com".
• Khóa API Gemini: Sau khi đăng ký Gemini, hãy truy cập Trang Khóa API và tạo một khóa bí mật mới. Sao chép và dán khóa này vào trường.
• Phiên bản: Chỉ định phiên bản API sẽ sử dụng. Mặc định là v1beta. Điều này có thể bị xóa hoặc thay đổi bởi Google tại một số điểm nào đó.
• Mô hình: Chỉ định mô hình sẽ sử dụng. Mặc định tại thời điểm viết là gemini-2.5-flash. Sau khi nhập khóa API, Agent sẽ liệt kê các mô hình thị giác sẵn sàng cho tài khoản của bạn.
• Token tối đa: Điều này kiểm soát mức chi tiêu token tối đa cho mỗi yêu cầu. Kiểm tra nhật ký tại /logs.html nếu bạn gặp sự cố vì nó có thể liên quan đến chi tiêu token.

Sau khi Gemini được cấu hình, hãy xem Hỏi AI để biết cách sử dụng nó để nhận dạng các tình huống chung trong luồng camera của bạn.

Bạn có thể sử dụng các máy chủ LLM cục bộ của riêng mình (như vLLM, Ollama và LM Studio) để mô tả các hình ảnh mà Agent DVR ghi lại từ camera của bạn trong các sự kiện Cảnh báo và trả lời các câu hỏi về những gì đang xảy ra trong luồng video của bạn. Xem Mô tả và Hỏi AI.

Để cấu hình máy chủ AI cục bộ, hãy đi tới Cài đặt máy chủ - Cài đặt AI và nhấp vào nút Cấu hình bên cạnh LLM bạn muốn sử dụng (Ollama, vLLM hoặc LM Studio).

• URL: Chỉ định điểm cuối nơi máy chủ LLM của bạn đang chạy. URL mặc định là:
  • Ollama:

    http://localhost:11434/api/chat

  • vLLM:

    http://localhost:8000/v1/chat/completions

  • LM Studio:

    http://localhost:1234/v1/chat/completions

• Khóa API: Nếu máy chủ LLM của bạn yêu cầu xác thực, hãy nhập khóa API tại đây. Hầu hết các máy chủ cục bộ không yêu cầu điều này trừ khi được cấu hình cụ thể.
• Mô hình: Chọn mô hình có khả năng xử lý hình ảnh để sử dụng cho phân tích hình ảnh. Bạn phải đã tải xuống và tải mô hình này trong máy chủ LLM của mình. Agent gợi ý một số tùy chọn phổ biến, bao gồm:
  • Mô hình Qwen VL (hiệu suất cao)
  • Gemma 4 (phạm vi kích cỡ tốt)
  • Llama 3.2 Vision (Meta)
  • Mistral Small 3.1
  • moondream (rất nhỏ, tốt cho phần cứng cấp thấp, chỉ Ollama)
• Nhiệt độ: Kiểm soát tính sáng tạo so với độ chính xác trong các phản hồi (0,0-1,0). Các giá trị thấp hơn (0,3-0,4) tạo ra các mô tả chính xác hơn, nhất quán hơn. Các giá trị cao hơn (0,6-0,8) tạo ra các phản hồi đa dạng hơn, sáng tạo hơn. Được khuyến nghị: 0,4 để phân tích camera bảo mật.
• Token tối đa: Số từ/token tối đa trong phản hồi của AI. Các giá trị cao hơn cho phép các mô tả chi tiết hơn nhưng mất nhiều thời gian hơn để tạo. Được khuyến nghị: 300-500 để phân tích hình ảnh chi tiết, 150-250 cho các mô tả ngắn.
• top_p: Kiểm soát tính đa dạng của phản hồi bằng cách giới hạn lựa chọn từ vựng (0,0-1,0). Các giá trị thấp hơn sử dụng các từ phổ biến hơn, các giá trị cao hơn cho phép từ vựng đa dạng hơn. Được khuyến nghị: 0,9 để cân bằng tốt giữa độ chính xác và ngôn ngữ tự nhiên.
• top_k: Giới hạn mô hình chỉ lựa chọn từ K từ tiếp theo có khả năng xảy ra nhất. Các giá trị thấp hơn (20-40) tạo ra các phản hồi tập trung hơn, các giá trị cao hơn (80-100) cho phép nhiều sự đa dạng hơn. Được khuyến nghị: 50 để có mô tả hình ảnh đáng tin cậy.

Để cấu hình LPR (ANPR hoặc Nhận dạng Biển số xe) trong Agent DVR, hãy vào Cài đặt máy chủ - Cài đặt AI và nhập chi tiết dưới Plate Recognizer. Đăng ký dùng thử miễn phí tại Plate Recognizer. Không cần thẻ tín dụng.

• URL: Nhập URL của dịch vụ. Mặc định là "https://api.platerecognizer.com/v1/plate-reader/", hoặc sử dụng máy chủ của riêng bạn nếu tự lưu trữ phiên bản của mình.
• Token: Sau khi đăng ký Plate Recognizer, hãy vào Trang Tài khoản và sao chép API Token.
• Vùng: Để trống để sử dụng mặc định hoặc nhập danh sách CSV của vùng.
• Cấu hình: Nhập các giá trị cấu hình bổ sung từ tài liệu nếu cần thiết.

DoubleTake là một nền tảng mã nguồn mở cung cấp một API thống nhất để xử lý nhận dạng khuôn mặt bằng cách sử dụng:

• CompreFace
• Amazon Rekognition
• DeepStack
• CodeProject.AI Server
• Facebox

Bạn sẽ cần cài đặt và cấu hình DoubleTake với các tùy chọn nhận dạng khuôn mặt ưa thích của bạn.

Sau khi DoubleTake được thiết lập, hãy mở Agent DVR và đi tới Cài đặt máy chủ - Cài đặt AI và nhấp vào nút Cấu hình bên cạnh DoubleTake.

Nhập URL tới máy chủ doubletake của bạn (ví dụ: http://localhost:3000/) và mật khẩu của bạn nếu đã thiết lập.

Nhấp vào OK, sau đó chỉnh sửa một camera và đi tới Nhận dạng khuôn mặt. Đặt tùy chọn Máy chủ AI thành DoubleTake và cấu hình nhận dạng khuôn mặt theo cần thiết.