Kecerdasan Buatan: Server

Agent DVR terintegrasi sepenuhnya dengan server AI seperti DeepStack AI, CodeProject AI, PlateRecognizer.com, Claude, Gemini, OpenAI (ChatGPT) dan LLM lokal seperti Ollama, vLLM dan LM Studio untuk menambahkan penyaringan peringatan cerdas, pengenalan objek, pengenalan adegan, dan kontrol peristiwa cerdas.

Selain DeepStack dan CodeProject AI, Anda juga dapat menggunakan server AI lain yang mendukung API yang sama:

Pengenalan Objek & Penglihatan Komputer

• https://codeproject.github.io/ - Server Pemrosesan AI berbasis GPU/CPU Lintas Platform
• https://docs.platerecognizer.com/ - Server Pengenalan Plat Nomor (API berbasis Web)
• https://github.com/runningman84/docker-coral-rest-server - Model tensorflow-lite di RPi (atau Linux/Mac) dengan akselerasi dari stik USB Coral
• https://github.com/robmarkcole/coral-pi-rest-server/ - Model tensorflow-lite di akselerator USB Coral melalui aplikasi Flask
• https://github.com/xnorpx/blue-candle - Server pengenalan objek super kecil

Layanan AI Cloud

• https://platform.openai.com/ - API OpenAI (ChatGPT, GPT-4 Vision) untuk analisis gambar dan obrolan
• https://console.anthropic.com/ - API Anthropic Claude untuk penalaran lanjutan dan pemahaman gambar
• https://ai.google.dev/ - API Google Gemini untuk kemampuan AI multimodal
• https://docs.anthropic.com/ - Dokumentasi API Claude
• https://platform.openai.com/docs/ - Dokumentasi API OpenAI
• https://ai.google.dev/gemini-api/docs - Dokumentasi API Gemini

Server AI Lokal (LLMs)

• https://ollama.com/ - Ollama: Jalankan model bahasa besar secara lokal
• https://docs.vllm.ai/ - vLLM: Inferensi dan penyajian LLM throughput tinggi
• https://lmstudio.ai/ - LM Studio: Aplikasi desktop yang mudah digunakan untuk LLM lokal
• https://github.com/ollama/ollama - Repositori GitHub Ollama
• https://github.com/vllm-project/vllm - Repositori GitHub vLLM

Model AI kustom memungkinkan Anda memperluas deteksi objek Agent DVR di luar opsi bawaan, misalnya untuk mengenali satwa liar, kendaraan pengiriman, atau apa pun yang dapat ditemukan model terlatih. Untuk menambahkan file model Anda sendiri ke Agent DVR, buka Server Settings > AI Settings dan klik Object Recognition di bawah AI Models. Agent dilengkapi dengan dua model pra-bangun yang telah disesuaikan performanya untuk Agent DVR.

Sebelum Anda mengonfigurasi model, Anda perlu menambahkannya ke folder Models Agent DVR (lihat building AI models). Ini biasanya ditemukan di Agent/Media/Models/ONNX (jalur mungkin berbeda menurut OS). Jalur lengkap ditampilkan di halaman Add Model jika Anda tidak yakin. Agent menggunakan model .onnx. Anda dapat mengonversi format model AI lain ke ONNX menggunakan alat Python.

Setelah Anda membangun dan menyalin model, menambahkannya ke Agent sangat mudah - klik untuk menambahkan model:

• Name: Berikan nama pada model Anda - ini dapat berupa apa pun yang Anda inginkan.
• Description: Deskripsi opsional tentang fungsi model.
• Model File: Pilih nama file model yang Anda salin ke folder.
• Labels: Masukkan daftar label (atau "classes") yang dicari model Anda dalam format CSV tanpa tanda kutip (spasi akan dipotong secara otomatis).
• Layout: Pilih apakah model Anda adalah NCHW atau NHWC. Sebagian besar model adalah NCHW jika Anda tidak yakin.
• Channel Order: Pilih apakah model Anda menginginkan gambar dalam RGB atau BGR. Sebagian besar model menggunakan RGB. Jika model Anda adalah saluran tunggal (grayscale), ini akan diabaikan.
• Normalize: Pilih bagaimana data harus dinormalisasi sebelum digunakan dalam model Anda. Sebagian besar model menggunakan Rescaling (0-1), yang membagi nilai piksel dengan 255.
• Pad Image: Ini mengontrol apakah gambar harus diregangkan ke dimensi input atau diisi dengan bilah hitam. Biasanya lebih baik untuk menambahkan padding pada gambar untuk akurasi.
• Has NMS: Centang ini jika model Anda sudah melakukan Non-Maximum Suppression secara internal. Jika tidak, Agent akan melakukan NMS sendiri. NMS mengontrol bagaimana persegi panjang hasil disaring.
• Default NMS: Atur pembatas tumpang tindih untuk NMS (default adalah tumpang tindih 45%).

Setelah Anda menambahkan model, model akan tersedia untuk digunakan di tab Object Recognition perangkat Anda. Jika Anda mengalami masalah, Anda dapat kembali ke konfigurasi model dan membuat perubahan. Agent juga mendukung pemuatan ulang file model, sehingga Anda dapat menyalinnya dengan versi baru saat berjalan.

Untuk mengatur AI Servers, klik ikon di sudut kanan atas UI Agent DVR utama. Kemudian klik Settings di bawah Configuration, pilih AI Settings dari menu dropdown, dan klik AI Servers.

Agent DVR terintegrasi dengan CodeProject.AI untuk berbagai fitur AI termasuk pengenalan objek, pengenalan wajah, ALPR (Automatic License Plate Recognition), dan super resolution (enhance). PlateRecognizer.com juga didukung sebagai penyedia ALPR. CodeProject.AI bersifat open source, gratis, dan kompatibel dengan sebagian besar platform.

Untuk memulai, instal server AI untuk platform Anda dan hubungkan Agent DVR ke dalamnya dengan mengklik AI Servers lalu Add.

Anda dapat menambahkan sebanyak mungkin server AI ke Agent DVR sesuai kebutuhan. Kamera di Agent DVR dapat dikonfigurasi untuk menggunakan server AI berbeda untuk setiap fungsi, atau Anda dapat menggunakan satu server AI untuk semua tugas.

Mengonfigurasi Server Anda

• Name: Beri nama server Anda, misalnya, Cat Catcher.
• AI Server URL: Masukkan URL server AI Anda, misalnya, http://localhost:32168/
• API Key: Masukkan kunci Anda jika sudah diatur (opsional).
• Timeout: Timeout dalam detik untuk permintaan server.
• Retry delay: Waktu dalam detik sebelum mencoba ulang permintaan yang gagal ke server ini.

Klik OK untuk menyimpan pengaturan Anda.

Untuk mengatur OpenAI ("ChatGPT") agar menjawab pertanyaan tentang apa yang terjadi dalam feed video Anda, navigasikan ke Server Settings - AI Settings dan pilih "OpenAI" di bawah Ask AI.

• URL: Masukkan URL untuk layanan tersebut. Nilai default adalah "https://api.openai.com/v1/responses".
• Kunci API OpenAI: Setelah mendaftar dengan OpenAI, buka Halaman Kunci API dan buat kunci rahasia baru. Salin dan tempel kunci ini ke dalam bidang yang ditentukan.
• Model: Tentukan model yang akan digunakan. Nilai default adalah gpt-5.4-mini. OpenAI dapat menghapus atau mengubah ini di kemudian hari.
• Token Maksimum: Ini menetapkan penggunaan token maksimum per permintaan. Jika Anda mengalami masalah, periksa log di /logs.html karena ini mungkin terkait dengan penggunaan token.

Saat OpenAI sudah dikonfigurasi, lihat Tanyakan AI untuk petunjuk tentang cara menggunakannya untuk menjawab pertanyaan umum tentang apa yang terjadi dalam feed kamera Anda.

Untuk mengatur Claude AI agar dapat menjawab pertanyaan tentang apa yang terjadi di feed video Anda, navigasikan ke Server Settings - AI Settings dan pilih "Claude" di bawah Ask AI.

• URL: Masukkan URL ke layanan. Default adalah "https://api.anthropic.com/v1/messages".
• Claude API Key: Setelah mendaftar untuk Claude, kunjungi API Keys Page dan buat kunci rahasia baru. Salin dan tempel kunci ini ke dalam field.
• Version: Tentukan versi API yang akan digunakan. Default adalah 2023-06-01. Ini dapat dihapus atau diubah kapan saja oleh Anthropic.
• Model: Tentukan model yang akan digunakan. Default pada saat penulisan adalah claude-sonnet-4-6 (Claude Sonnet 4.6).
• Max Tokens: Ini mengontrol pengeluaran token maksimum per permintaan. Periksa log di /logs.html jika Anda mengalami masalah karena mungkin terkait dengan pengeluaran token.

Setelah Claude dikonfigurasi, lihat Ask AI untuk cara menggunakannya guna mengenali skenario umum dalam feed kamera Anda.

Untuk mengatur Gemini agar menjawab pertanyaan tentang apa yang terjadi di feed video Anda, buka Server Settings - AI Settings dan pilih "Gemini" di bawah Ask AI.

• URL: Masukkan URL ke layanan. Default adalah "https://generativelanguage.googleapis.com".
• Gemini API Key: Setelah mendaftar untuk Gemini, kunjungi Halaman API Keys dan buat kunci rahasia baru. Salin dan tempel kunci ini ke dalam field.
• Versi: Tentukan versi API yang akan digunakan. Default adalah v1beta. Ini mungkin akan dihapus atau diubah di masa depan oleh Google.
• Model: Tentukan model yang akan digunakan. Default saat penulisan adalah gemini-2.5-flash. Setelah Anda memasukkan API key, Agent akan mencantumkan model vision yang tersedia untuk akun Anda.
• Max Tokens: Ini mengontrol pengeluaran token maksimum per permintaan. Periksa log di /logs.html jika Anda mengalami masalah karena mungkin terkait dengan pengeluaran token.

Setelah Gemini dikonfigurasi, lihat Ask AI untuk cara menggunakannya mengenali skenario umum di feed kamera Anda.

Anda dapat menggunakan server LLM lokal Anda sendiri (seperti vLLM, Ollama, dan LM Studio) untuk mendeskripsikan gambar yang Agent DVR tangkap dari kamera Anda dalam kejadian Alert dan menjawab pertanyaan tentang apa yang terjadi di aliran video Anda. Lihat Describe Alerts dan Ask AI.

Untuk mengonfigurasi server AI lokal, buka Server Settings - AI Settings dan klik tombol Configure di samping LLM yang ingin Anda gunakan (Ollama, vLLM, atau LM Studio).

• URL: Tentukan endpoint tempat server LLM Anda berjalan. URL default adalah:
  • Ollama:

    http://localhost:11434/api/chat

  • vLLM:

    http://localhost:8000/v1/chat/completions

  • LM Studio:

    http://localhost:1234/v1/chat/completions

• API Key: Jika server LLM Anda memerlukan autentikasi, masukkan kunci API di sini. Sebagian besar server lokal tidak memerlukan ini kecuali dikonfigurasi secara khusus.
• Model: Pilih model yang mampu visi untuk digunakan dalam analisis gambar. Anda harus telah mengunduh dan memuat model ini di server LLM Anda. Agent menyarankan beberapa opsi populer, termasuk:
  • Qwen VL models (kinerja tinggi)
  • Gemma 4 (jangkauan ukuran yang baik)
  • Llama 3.2 Vision (Meta)
  • Mistral Small 3.1
  • moondream (sangat kecil, bagus untuk perangkat keras low-end, Ollama saja)
• Temperature: Mengontrol kreativitas vs. akurasi dalam respons (0,0-1,0). Nilai lebih rendah (0,3-0,4) menghasilkan deskripsi yang lebih faktual dan konsisten. Nilai lebih tinggi (0,6-0,8) menghasilkan respons yang lebih beragam dan kreatif. Direkomendasikan: 0,4 untuk analisis kamera keamanan.
• Max Tokens: Jumlah maksimum kata/token dalam respons AI. Nilai lebih tinggi memungkinkan deskripsi lebih detail tetapi memakan waktu lebih lama untuk dibuat. Direkomendasikan: 300-500 untuk analisis gambar terperinci, 150-250 untuk deskripsi singkat.
• top_p: Mengontrol keragaman respons dengan membatasi pemilihan kosakata (0,0-1,0). Nilai lebih rendah menggunakan kata-kata yang lebih umum, nilai lebih tinggi memungkinkan kosakata yang lebih beragam. Direkomendasikan: 0,9 untuk keseimbangan akurasi dan bahasa alami yang baik.
• top_k: Membatasi model untuk memilih dari K kata berikutnya yang paling mungkin. Nilai lebih rendah (20-40) menghasilkan respons yang lebih terfokus, nilai lebih tinggi (80-100) memungkinkan lebih banyak variasi. Direkomendasikan: 50 untuk deskripsi gambar yang andal.

Untuk mengonfigurasi LPR (ANPR atau Pengenalan Plat Nomor) di Agent DVR, pergi ke Pengaturan Server - Pengaturan AI dan masukkan detail di bawah Pengenal Plat. Daftar untuk Uji Coba Gratis di Plate Recognizer. Tidak memerlukan kartu kredit.

• URL: Masukkan URL ke layanan. Default adalah "https://api.platerecognizer.com/v1/plate-reader/", atau gunakan server Anda sendiri jika meng-host instansi Anda sendiri.
• Token: Setelah mendaftar Plate Recognizer, kunjungi Halaman Akun dan salin Token API.
• Wilayah: Biarkan kosong untuk default atau masukkan daftar CSV dari wilayah.
• Konfig: Masukkan nilai konfigurasi tambahan dari dokumen jika diperlukan.

DoubleTake adalah platform sumber terbuka yang menyediakan API terpadu untuk memproses pengenalan wajah menggunakan:

• CompreFace
• Amazon Rekognition
• DeepStack
• CodeProject.AI Server
• Facebox

Anda perlu memasang dan mengonfigurasi DoubleTake dengan opsi pengenalan wajah pilihan Anda.

Setelah DoubleTake diatur, buka Agent DVR dan buka Server Settings - AI Settings dan klik tombol Configure di sebelah DoubleTake.

Masukkan URL ke server doubletake Anda (misalnya http://localhost:3000/) dan kata sandi Anda jika sudah diatur.

Klik OK, kemudian edit kamera dan buka Facial Recognition. Atur opsi AI Server ke DoubleTake dan konfigurasi pengenalan wajah sesuai kebutuhan.