Kecerdasan Buatan: Server

Agent DVR terintegrasi penuh dengan server AI seperti DeepStack AI, CodeProject AI, PlateRecognizer.com, Claude, Gemini, OpenAI (ChatGPT) dan model bahasa lokal seperti Ollama, vLLM dan LM Studio untuk menambahkan penyaringan peringatan cerdas, pengenalan objek, pengenalan adegan dan kontrol peristiwa yang cerdas.

Selain DeepStack dan CodeProject AI, Anda juga dapat menggunakan server AI lain yang mendukung API yang sama:

Pengenalan Objek & Visi Komputer

• https://codeproject.github.io/ - Server Pemrosesan AI Berbasis GPU/CPU Lintas Platform
• https://docs.platerecognizer.com/ - Server Pengenalan Plat Lisensi (API Berbasis Web)
• https://github.com/runningman84/docker-coral-rest-server - Model Tensorflow-lite pada RPi (atau Linux/Mac) dengan akselerasi dari stik USB Coral
• https://github.com/robmarkcole/coral-pi-rest-server/ - Model Tensorflow-lite pada akselerator USB Coral melalui aplikasi Flask
• https://xnorpx.github.io/blue-onyx/ - Layanan Deteksi Objek Blue Onyx

Layanan AI Cloud

• https://platform.openai.com/ - API OpenAI (ChatGPT, GPT-4 Vision) untuk analisis gambar dan obrolan
• https://console.anthropic.com/ - API Claude Anthropic untuk penalaran tingkat lanjut dan pemahaman gambar
• https://ai.google.dev/ - API Google Gemini untuk kemampuan AI multimodal
• https://docs.anthropic.com/ - Dokumentasi API Claude
• https://platform.openai.com/docs/ - Dokumentasi API OpenAI
• https://ai.google.dev/gemini-api/docs - Dokumentasi API Gemini

Server AI Lokal (Model Bahasa Besar)

• https://ollama.com/ - Ollama: Jalankan model bahasa besar secara lokal
• https://docs.vllm.ai/ - vLLM: Inferensi dan penyajian model bahasa besar dengan throughput tinggi
• https://lmstudio.ai/ - LM Studio: Aplikasi desktop mudah digunakan untuk model bahasa lokal
• https://github.com/ollama/ollama - Repositori GitHub Ollama
• https://github.com/vllm-project/vllm - Repositori GitHub vLLM

Model AI kustom memungkinkan Anda memperluas deteksi objek Agent DVR di luar opsi bawaan, misalnya untuk mengenali satwa liar, kendaraan pengiriman, atau apa pun yang dapat ditemukan model terlatih. Untuk menambahkan file model Anda sendiri ke Agent DVR, buka Pengaturan Server > Pengaturan AI dan klik Pengenalan Objek di bawah Model AI. Agent dilengkapi dengan dua model pra-bangun yang telah dioptimalkan performa untuk Agent DVR.

Sebelum Anda mengonfigurasi model, Anda perlu menambahkannya ke folder Model Agent DVR (lihat membangun model AI). Ini biasanya ditemukan di Agent/Media/Models/ONNX (jalur mungkin berbeda menurut OS). Jalur lengkap ditampilkan di halaman Tambah Model jika Anda tidak yakin. Agent menggunakan model .onnx. Anda dapat mengonversi format model AI lainnya ke ONNX menggunakan peralatan Python.

Setelah Anda membuat dan menyalin model, menambahkannya ke Agent sangat mudah - klik untuk menambah model:

• Nama: Berikan nama pada model Anda - ini bisa apa pun yang Anda inginkan.
• Deskripsi: Deskripsi opsional tentang apa yang dilakukan model.
• File Model: Pilih nama file model yang Anda salin ke dalam folder.
• Label: Masukkan daftar label (atau "kelas") yang dicari model Anda dalam format CSV tanpa tanda kutip (spasi secara otomatis dipangkas).
• Tata letak: Pilih apakah model Anda NCHW atau NHWC. Sebagian besar model adalah NCHW jika Anda tidak yakin.
• Urutan saluran: Pilih apakah model Anda menginginkan gambar dalam RGB atau BGR. Sebagian besar model menggunakan RGB. Jika model Anda adalah saluran tunggal (skala abu-abu) ini akan diabaikan.
• Normalisasi: Pilih bagaimana data harus dinormalisasi sebelum digunakan dalam model Anda. Sebagian besar model menggunakan Penskalaan ulang (0-1), yang membagi nilai piksel dengan 255.
• Padding gambar: Ini mengontrol apakah gambar harus direntangkan ke dimensi masukan atau diberi padding dengan bar hitam. Biasanya lebih baik untuk melapisi gambar untuk akurasi.
• Memiliki NMS: Centang ini jika model Anda sudah melakukan Penekanan Non-Maksimum secara internal. Jika tidak, Agent akan melakukan NMS sendiri. NMS mengontrol bagaimana persegi panjang hasil disaring.
• NMS Default: Tetapkan pembatas tumpang tindih untuk NMS (default adalah tumpang tindih 45%).

Setelah Anda menambahkan model Anda, model akan tersedia untuk digunakan di tab Pengenalan Objek perangkat Anda. Jika Anda mengalami masalah, Anda dapat kembali ke konfigurasi model dan membuat perubahan. Agent juga mendukung pemuatan ulang file model, sehingga Anda dapat menyalinnya dengan versi baru saat sedang berjalan.

Untuk mengatur Server AI, klik ikon di Atas kanan antarmuka utama Agent DVR. Kemudian klik Pengaturan di bawah Konfigurasi, pilih Pengaturan AI dari menu dropdown, dan klik Server AI.

Agent DVR terintegrasi dengan CodeProject.AI untuk berbagai fitur AI termasuk pengenalan objek, pengenalan wajah, ALPR (Automatic License Plate Recognition), dan resolusi super (tingkatkan). PlateRecognizer.com juga didukung sebagai penyedia ALPR. CodeProject.AI adalah sumber terbuka, gratis, dan kompatibel dengan sebagian besar platform.

Untuk memulai, instal server AI untuk platform Anda dan hubungkan Agent DVR ke dalamnya dengan mengklik Server AI kemudian Tambah.

Anda dapat menambahkan sebanyak mungkin server AI ke Agent DVR sesuai kebutuhan. Kamera di Agent DVR dapat dikonfigurasi untuk menggunakan server AI berbeda untuk setiap fungsi, atau Anda dapat menggunakan satu server AI untuk semua tugas.

Mengonfigurasi Server Anda

• Nama: Beri nama server Anda, misalnya, Cat Catcher.
• URL Server AI: Masukkan URL server AI Anda, misalnya, http://localhost:32168/
• Kunci API: Masukkan kunci Anda jika telah diatur (opsional).
• Waktu tunggu: Waktu tunggu dalam detik untuk permintaan server.
• Penundaan pengulangan: Waktu dalam detik sebelum mencoba lagi permintaan yang gagal ke server ini.

Klik OK untuk menyimpan pengaturan Anda.

Untuk menyiapkan OpenAI ("ChatGPT") guna menjawab pertanyaan tentang apa yang terjadi di aliran video Anda, navigasikan ke Pengaturan Server - Pengaturan AI dan pilih "OpenAI" di bawah Tanya AI.

• URL: Masukkan URL untuk layanan tersebut. Nilai default adalah "https://api.openai.com/v1/responses".
• Kunci API OpenAI: Setelah mendaftar dengan OpenAI, buka Halaman Kunci API dan buat kunci rahasia baru. Salin dan tempel kunci ini ke dalam kolom yang ditentukan.
• Model: Tentukan model yang akan digunakan. Nilai default adalah gpt-5.4-mini. OpenAI dapat menghapus atau mengubah ini di kemudian hari.
• Token maks: Ini menetapkan penggunaan token maksimal per permintaan. Jika Anda mengalami masalah, periksa log di /logs.html karena hal ini dapat terkait dengan penggunaan token.

Setelah OpenAI dikonfigurasi, lihat Tanya AI untuk instruksi tentang cara menggunakannya guna menjawab pertanyaan umum tentang apa yang terjadi di aliran kamera Anda.

Untuk menyiapkan Claude AI agar menjawab pertanyaan tentang apa yang terjadi di feed video Anda, navigasikan ke Pengaturan Server - Pengaturan AI dan pilih "Claude" di bawah Tanya AI.

• URL: Masukkan URL ke layanan. Default adalah "https://api.anthropic.com/v1/messages".
• Kunci API Claude: Setelah mendaftar untuk Claude, kunjungi Halaman Kunci API dan buat kunci rahasia baru. Salin dan tempel kunci ini ke dalam bidang.
• Versi: Tentukan versi API yang akan digunakan. Default adalah 2023-06-01. Ini mungkin dihapus atau diubah di beberapa titik oleh Anthropic.
• Model: Tentukan model yang akan digunakan. Default pada saat penulisan adalah claude-sonnet-4-6 (Claude Sonnet 4.6).
• Token maks: Ini mengontrol pengeluaran token maksimum per permintaan. Periksa log di /logs.html jika Anda mengalami masalah karena mungkin terkait dengan pengeluaran token.

Setelah Claude dikonfigurasi, lihat Tanya AI untuk cara menggunakannya mengenali skenario umum di feed kamera Anda.

Untuk mengatur Gemini agar dapat menjawab pertanyaan tentang apa yang terjadi dalam umpan video Anda, buka Pengaturan Server - Pengaturan AI dan pilih "Gemini" di bawah Tanya AI.

• URL: Masukkan URL ke layanan tersebut. Standarnya adalah "https://generativelanguage.googleapis.com".
• Kunci API Gemini: Setelah mendaftar untuk Gemini, kunjungi Halaman Kunci API dan buat kunci rahasia baru. Salin dan tempel kunci ini ke dalam bidang tersebut.
• Versi: Tentukan versi API yang akan digunakan. Standarnya adalah v1beta. Ini mungkin dihapus atau diubah di beberapa titik oleh Google.
• Model: Tentukan model yang akan digunakan. Standar pada saat menulis adalah gemini-2.5-flash. Setelah Anda memasukkan kunci API, Agent akan mencantumkan model visi yang tersedia untuk akun Anda.
• Token maks: Ini mengontrol pengeluaran token maksimum per permintaan. Periksa log di /logs.html jika Anda mengalami masalah karena mungkin terkait dengan pengeluaran token.

Setelah Gemini dikonfigurasi, lihat Tanya AI untuk cara menggunakannya guna mengenali skenario umum dalam umpan kamera Anda.

Anda dapat menggunakan server LLM lokal Anda sendiri (seperti vLLM, Ollama, dan LM Studio) untuk mendeskripsikan gambar yang ditangkap Agent DVR dari kamera Anda dalam acara Peringatan dan menjawab pertanyaan tentang apa yang terjadi di aliran video Anda. Lihat Deskripsikan dan Tanya AI.

Untuk mengonfigurasi server AI lokal, buka Pengaturan Server - Pengaturan AI dan klik tombol Konfigurasi di samping LLM yang ingin Anda gunakan (Ollama, vLLM, atau LM Studio).

• URL: Tentukan titik akhir tempat server LLM Anda berjalan. URL default adalah:
  • Ollama:

    http://localhost:11434/api/chat

  • vLLM:

    http://localhost:8000/v1/chat/completions

  • LM Studio:

    http://localhost:1234/v1/chat/completions

• Kunci API: Jika server LLM Anda memerlukan autentikasi, masukkan kunci API di sini. Sebagian besar server lokal tidak memerlukan ini kecuali dikonfigurasi secara khusus.
• Model: Pilih model yang mampu visi untuk digunakan dalam analisis gambar. Anda harus telah mengunduh dan memuat model ini di server LLM Anda. Agent menyarankan beberapa opsi populer, termasuk:
  • Model Qwen VL (performa tinggi)
  • Gemma 4 (rentang ukuran yang baik)
  • Llama 3.2 Vision (Meta)
  • Mistral Small 3.1
  • moondream (sangat kecil, baik untuk perangkat keras entry-level, Ollama saja)
• Suhu: Mengontrol kreativitas vs. akurasi dalam respons (0.0-1.0). Nilai yang lebih rendah (0.3-0.4) menghasilkan deskripsi yang lebih faktual dan konsisten. Nilai yang lebih tinggi (0.6-0.8) menghasilkan respons yang lebih beragam dan kreatif. Direkomendasikan: 0.4 untuk analisis kamera keamanan.
• Token maks: Jumlah maksimum kata/token dalam respons AI. Nilai yang lebih tinggi memungkinkan deskripsi yang lebih detail tetapi memerlukan waktu lebih lama untuk dihasilkan. Direkomendasikan: 300-500 untuk analisis gambar detail, 150-250 untuk deskripsi singkat.
• top_p: Mengontrol keragaman respons dengan membatasi pemilihan kosakata (0.0-1.0). Nilai yang lebih rendah menggunakan kata-kata yang lebih umum, nilai yang lebih tinggi memungkinkan kosakata yang lebih beragam. Direkomendasikan: 0.9 untuk keseimbangan yang baik antara akurasi dan bahasa alami.
• top_k: Membatasi model untuk memilih dari K kata berikutnya yang paling mungkin. Nilai yang lebih rendah (20-40) menghasilkan respons yang lebih terfokus, nilai yang lebih tinggi (80-100) memungkinkan lebih banyak variasi. Direkomendasikan: 50 untuk deskripsi gambar yang andal.

Untuk mengonfigurasi LPR (ANPR atau Pengenalan Plat Lisensi) di Agent DVR, buka Pengaturan Server - Pengaturan AI dan masukkan detail di bawah Plate Recognizer. Daftar untuk Uji Coba Gratis di Plate Recognizer. Tidak diperlukan kartu kredit.

• URL: Masukkan URL ke layanan. Default adalah "https://api.platerecognizer.com/v1/plate-reader/", atau gunakan server Anda sendiri jika menghosting instance Anda sendiri.
• Token: Setelah mendaftar untuk Plate Recognizer, kunjungi Halaman Akun dan salin Token API.
• Wilayah: Biarkan kosong untuk default atau masukkan daftar CSV dari wilayah.
• Konfigurasi: Masukkan nilai konfigurasi tambahan dari dokumentasi jika diperlukan.

DoubleTake adalah platform sumber terbuka yang menyediakan API terpadu untuk memproses pengenalan wajah menggunakan:

• CompreFace
• Amazon Rekognition
• DeepStack
• CodeProject.AI Server
• Facebox

Anda perlu menginstal dan mengonfigurasi DoubleTake dengan opsi pengenalan wajah pilihan Anda.

Setelah DoubleTake disiapkan, buka Agent DVR dan buka Pengaturan Server - Pengaturan AI dan klik tombol Konfigurasi di sebelah DoubleTake.

Masukkan URL ke server doubletake Anda (misalnya http://localhost:3000/) dan kata sandi Anda jika sudah diatur.

Klik OK, kemudian sunting kamera dan buka Pengenalan Wajah. Atur opsi Server AI ke DoubleTake dan konfigurasi pengenalan wajah sesuai kebutuhan.