एजेंट DVR पूरी तरह से AI सर्वरों जैसे DeepStack AI, CodeProject AI, PlateRecognizer.com, Claude, Gemini, OpenAI (ChatGPT) और स्थानीय LLMs जैसे Ollama, vLLM और LM Studio के साथ एकीकृत होता है ताकि स्मार्ट अलर्ट फ़िल्टरिंग, ऑब्जेक्ट पहचान, दृश्य पहचान और बुद्धिमान घटना नियंत्रण जोड़ा जा सके।

DeepStack और CodeProject AI के अलावा, आप अन्य AI सर्वरों का भी उपयोग कर सकते हैं जो समान API का समर्थन करते हैं:

ऑब्जेक्ट पहचान और कंप्यूटर दृष्टि

• https://codeproject.github.io/ - क्रॉस प्लेटफॉर्म GPU/CPU आधारित AI प्रोसेसिंग सर्वर
• https://docs.platerecognizer.com/ - लाइसेंस प्लेट पहचान सर्वर (वेब आधारित API)
• https://github.com/runningman84/docker-coral-rest-server - RPi (या Linux/Mac) पर Tensorflow-lite मॉडल, Coral USB स्टिक से त्वरितीकरण के साथ
• https://github.com/robmarkcole/coral-pi-rest-server/ - Flask ऐप के माध्यम से Coral USB त्वरक पर Tensorflow-lite मॉडल
• https://github.com/xnorpx/blue-candle - सुपर छोटे ऑब्जेक्ट पहचान सर्वर

क्लाउड AI सेवाएँ

• https://platform.openai.com/ - OpenAI API (ChatGPT, GPT-4 Vision) छवि विश्लेषण और चैट के लिए
• https://console.anthropic.com/ - उन्नत तर्क और छवि समझ के लिए Anthropic Claude API
• https://ai.google.dev/ - मल्टीमोडल AI क्षमताओं के लिए Google Gemini API
• https://docs.anthropic.com/ - Claude API दस्तावेज़ीकरण
• https://platform.openai.com/docs/ - OpenAI API दस्तावेज़ीकरण
• https://ai.google.dev/gemini-api/docs - Gemini API दस्तावेज़ीकरण

स्थानीय AI सर्वर (LLMs)

• https://ollama.com/ - Ollama: स्थानीय रूप से बड़े भाषा मॉडल चलाएँ
• https://docs.vllm.ai/ - vLLM: उच्च-थ्रूपुट LLM अनुमान और सेवा
• https://lmstudio.ai/ - LM Studio: स्थानीय LLMs के लिए उपयोग में आसान डेस्कटॉप ऐप
• https://github.com/ollama/ollama - Ollama GitHub रिपॉजिटरी
• https://github.com/vllm-project/vllm - vLLM GitHub रिपॉजिटरी

अपने स्वयं के मॉडल फ़ाइलों को Agent DVR में जोड़ने के लिए, सर्वर सेटिंग्स > AI सेटिंग्स पर जाएं और AI मॉडल्स के तहत कॉन्फ़िगर पर क्लिक करें। Agent में दो पूर्व-निर्मित मॉडल शामिल हैं जो Agent DVR के लिए प्रदर्शन के लिए ट्यून किए गए हैं।

किसी मॉडल को कॉन्फ़िगर करने से पहले, आपको इसे Agent DVR के मॉडल फ़ोल्डर में जोड़ना होगा। यह आमतौर पर Agent/Media/Models/ONNX पर पाया जाता है (पथ OS के अनुसार भिन्न हो सकता है)। यदि आप सुनिश्चित नहीं हैं, तो पूर्ण पथ जोड़ें मॉडल पृष्ठ पर प्रदर्शित होता है। Agent .onnx मॉडल का उपयोग करता है। आप अन्य AI मॉडल प्रारूपों को ONNX में Python टूल का उपयोग करके परिवर्तित कर सकते हैं।

एक बार जब आपने मॉडल बनाया और कॉपी किया, तो इसे Agent में जोड़ना आसान है - मॉडल जोड़ने के लिए क्लिक करें:

• नाम: अपने मॉडल को एक नाम दें - यह कुछ भी हो सकता है जो आप पसंद करें।
• मॉडल फ़ाइल: उस मॉडल फ़ाइल नाम का चयन करें जिसे आपने फ़ोल्डर में कॉपी किया है।
• लेबल: लेबल (या "क्लासेस") की एक सूची दर्ज करें जिसे आपका मॉडल CSV प्रारूप में खोजता है बिना उद्धरण के (स्पेस स्वचालित रूप से ट्रिम किए जाते हैं)।
• लेआउट: चयन करें कि आपका मॉडल NCHW है या NHWC। यदि आप सुनिश्चित नहीं हैं तो अधिकांश मॉडल NCHW होते हैं।
• चैनल ऑर्डर: चयन करें कि आपका मॉडल RGB या BGR में छवियाँ चाहता है। अधिकांश मॉडल RGB का उपयोग करते हैं। यदि आपका मॉडल सिंगल चैनल (ग्रेस्केल) है तो इसे नजरअंदाज किया जाएगा।
• नॉर्मलाइज: चयन करें कि डेटा को आपके मॉडल में उपयोग करने से पहले कैसे सामान्यीकृत किया जाना चाहिए। अधिकांश मॉडल 0-1 नॉर्मलाइजेशन का उपयोग करते हैं (पिक्सेल मानों को 255 से विभाजित करें)।
• पैड इमेज: यह नियंत्रित करता है कि क्या छवि को इनपुट आयामों में खींचा जाना चाहिए या काले पट्टियों के साथ पैड किया जाना चाहिए। आमतौर पर सटीकता के लिए छवियों को पैड करना बेहतर होता है।
• क्या NMS है: यदि आपका मॉडल पहले से ही आंतरिक रूप से नॉन-मैक्सिमम सप्रेशन करता है तो इसे चेक करें। अन्यथा Agent स्वयं NMS करेगा। NMS नियंत्रित करता है कि परिणाम आयतों को कैसे फ़िल्टर किया जाता है।
• डिफ़ॉल्ट NMS: NMS के लिए ओवरलैप लिमिटर सेट करें (डिफ़ॉल्ट 45% ओवरलैप है)।

एक बार जब आपने अपने मॉडल को जोड़ दिया, तो यह आपके डिवाइस के ऑब्जेक्ट रिकग्निशन टैब में उपयोग के लिए उपलब्ध होगा। यदि आपको समस्याएँ हैं, तो आप मॉडल कॉन्फ़िगरेशन पर वापस आ सकते हैं और परिवर्तन कर सकते हैं। Agent मॉडल फ़ाइल को फिर से लोड करने का समर्थन भी करता है, इसलिए आप इसे चलाते समय एक नए संस्करण के साथ कॉपी कर सकते हैं।

ओपनएआई ("चैट जीपीटी") को सेटअप करने के लिए जानकारी प्राप्त करने के लिए सर्वर सेटिंग्स - एआई सर्वर्स पर जाएं और "ओपन एआई" को चुनें अंडर आस्क एआई।

• यूआरएल: सेवा के लिए यूआरएल दर्ज करें। डिफ़ॉल्ट यह है "https://api.openai.com/v1/chat/completions"।
• ओपनएआई एपीआई कुंजी: ओपनएआई के साथ पंजीकरण करने के बाद, एपीआई कुंजी पेज पर जाएं और एक नयी गुप्त कुंजी उत्पन्न करें। इस कुंजी को निर्दिष्ट क्षेत्र में कॉपी और पेस्ट करें।
• मॉडल: उपयोग के लिए मॉडल निर्दिष्ट करें। डिफ़ॉल्ट है जीपीटी-4o। ओपनएआई बाद में इसे हटा सकता है या बदल सकता है।
• मैक्स टोकन्स: यह प्रतिवेदन प्रति अनुरोध के लिए अधिकतम टोकन उपयोग सेट करता है। यदि आपको समस्याएँ आती हैं, तोकन उपयोग से संबंधित हो सकता है, /logs.html पर लॉग्स देखें।

जब ओपनएआई कॉन्फ़िगर किया जाएगा, तो अपने कैमरा फीड में क्या हो रहा है के बारे में सामान्य सवालों का उत्तर देने के लिए इसे उपयोग करने के लिए आस्क एआई पर संदर्भित करें।

क्लोड AI को सेट करने के लिए अपने वीडियो फीड में क्या हो रहा है के सवालों का जवाब देने के लिए, सर्वर सेटिंग्स - AI सर्वर्स पर जाएं और "क्लोड" को चुनें अंडर Ask AI।

• URL: सेवा के URL डालें। डिफ़ॉल्ट है "https://api.anthropic.com/v1/messages"।
• क्लोड API कुंजी: क्लोड के लिए साइन अप करने के बाद, API कुंजियों पेज पर जाएं और एक नयी गुप्त कुंजी बनाएं। इस कुंजी को कॉपी करें और इस फ़ील्ड में पेस्ट करें।
• संस्करण: उपयोग करने के लिए संस्करण निर्दिष्ट करें। डिफ़ॉल्ट है 2023-06-01 यह किसी समय Anthropic द्वारा हटाया या बदला जा सकता है।
• मॉडल: उपयोग करने के लिए मॉडल निर्दिष्ट करें। लेखन के समय की डिफ़ॉल्ट है claude-3-sonnet-20240229।
• अधिकतम टोकन: यह प्रतिक्षा प्रति अनुरोध में अधिकतम टोकन खर्च को नियंत्रित करता है। यदि आपको समस्याएँ हैं तो लॉग /logs.html पर जांचें क्योंकि यह टोकन खर्च से संबंधित हो सकता है।

एक बार क्लोड कॉन्फ़िगर हो जाए, Ask AI देखें कि आप इसे कैमरा फीड में सामान्य परिदृश्यों को पहचानने के लिए कैसे उपयोग कर सकते हैं।

जेमिनी को सेटअप करने के लिए अपने वीडियो फीड में हो रहे घटनाओं के बारे में सवालों का उत्तर देने के लिए, सर्वर सेटिंग्स - AI सर्वर पर जाएं और "जेमिनी" को Ask AI के तहत चुनें।

• URL: सेवा के URL डालें। डिफ़ॉल्ट है "https://generativelanguage.googleapis.com"।
• Gemini API Key: जेमिनी के लिए साइन अप करने के बाद, API Keys Page पर जाएं और एक नया सीक्रेट कुंजी बनाएं। इस कुंजी को कॉपी करें और इस फ़ील्ड में पेस्ट करें।
• Version: उपयोग करने के लिए संस्करण निर्दिष्ट करें। डिफ़ॉल्ट है v1beta यह गूगल द्वारा किसी समय हटाया या बदल दिया जा सकता है।
• Model: उपयोग करने के लिए मॉडल निर्दिष्ट करें। लेखन के समय डिफ़ॉल्ट है gemini-1.5-flash।
• Max Tokens: यह प्रतिक्षा प्रति अनुरोध में अधिकतम टोकन खर्च को नियंत्रित करता है। अगर आपको समस्याएँ हैं तो /logs.html पर लॉग देखें क्योंकि यह टोकन खर्च से संबंधित हो सकता है।

जब जेमिनी कॉन्फ़िगर किया जाता है, तो Ask AI देखें कि आप इसे कैमरा फीड में सामान्य परिदृश्यों को पहचानने के लिए कैसे उपयोग कर सकते हैं।

v6.5.3.0+ से आप अपने स्थानीय LLM सर्वरों (जैसे vLLM, Ollama, और LM Studio) का उपयोग कर सकते हैं ताकि उन छवियों का वर्णन किया जा सके जो Agent DVR आपके कैमरों से अलर्ट घटनाओं में कैप्चर करता है और आपके वीडियो स्ट्रीम में क्या हो रहा है, इस पर प्रश्नों का उत्तर दे सके। AI Describe और Ask AI देखें।

स्थानीय AI सर्वर को कॉन्फ़िगर करने के लिए, सर्वर सेटिंग्स - AI Servers पर जाएं और उस LLM के बगल में कॉन्फ़िगर बटन पर क्लिक करें जिसे आप उपयोग करना चाहते हैं (Ollama, vLLM, या LM Studio)।

• URL: उस एंडपॉइंट को निर्दिष्ट करें जहाँ आपका LLM सर्वर चल रहा है। डिफ़ॉल्ट URLs हैं:
  • Ollama:

    http://localhost:11434/api/chat

  • vLLM:

    http://localhost:8000/v1/chat/completions

  • LM Studio:

    http://localhost:1234/v1/chat/completions

• API Key: यदि आपके LLM सर्वर को प्रमाणीकरण की आवश्यकता है, तो यहाँ API कुंजी दर्ज करें। अधिकांश स्थानीय सर्वरों को इसकी आवश्यकता नहीं होती जब तक कि विशेष रूप से कॉन्फ़िगर न किया गया हो।
• Model: छवि विश्लेषण के लिए उपयोग करने के लिए दृष्टि-सक्षम मॉडल चुनें। आपको पहले से इस मॉडल को अपने LLM सर्वर में डाउनलोड और लोड करना होगा। लोकप्रिय विकल्पों में शामिल हैं:
  • LLaVA मॉडल (सामान्य उद्देश्य दृष्टि)
  • Qwen2-VL (उच्च प्रदर्शन)
  • Llama 3.2 Vision (Meta का नवीनतम)
• Temperature: प्रतिक्रियाओं में रचनात्मकता बनाम सटीकता को नियंत्रित करता है (0.0-1.0)। निम्न मान (0.3-0.4) अधिक तथ्यात्मक, सुसंगत विवरण उत्पन्न करते हैं। उच्च मान (0.6-0.8) अधिक विविध, रचनात्मक प्रतिक्रियाएँ उत्पन्न करते हैं। अनुशंसित: सुरक्षा कैमरा विश्लेषण के लिए 0.4।
• Max Tokens: AI की प्रतिक्रिया में शब्दों/टोकनों की अधिकतम संख्या। उच्च मान अधिक विस्तृत विवरण की अनुमति देते हैं लेकिन उत्पन्न करने में अधिक समय लेते हैं। अनुशंसित: विस्तृत छवि विश्लेषण के लिए 300-500, संक्षिप्त विवरण के लिए 150-250।
• top_p: शब्दावली चयन को सीमित करके प्रतिक्रिया विविधता को नियंत्रित करता है (0.0-1.0)। निम्न मान अधिक सामान्य शब्दों का उपयोग करते हैं, उच्च मान अधिक विविध शब्दावली की अनुमति देते हैं। अनुशंसित: सटीकता और प्राकृतिक भाषा के अच्छे संतुलन के लिए 0.9।
• top_k: मॉडल को शीर्ष K सबसे संभावित अगले शब्दों में से चुनने के लिए सीमित करता है। निम्न मान (20-40) अधिक केंद्रित प्रतिक्रियाएँ उत्पन्न करते हैं, उच्च मान (80-100) अधिक विविधता की अनुमति देते हैं। अनुशंसित: विश्वसनीय छवि विवरण के लिए 50।

Agent DVR में LPR (ANPR या लाइसेंस प्लेट पहचान) को कॉन्फ़िगर करने के लिए, सर्वर सेटिंग्स - AI सेटिंग्स पर जाएं और प्लेट रिकग्नाइज़र के तहत विवरण दर्ज करें। नि:शुल्क परीक्षण के लिए प्लेट रिकग्नाइज़र पर निशुल्क पंजीकरण करें। क्रेडिट कार्ड की आवश्यकता नहीं है।

• URL: सेवा के लिए URL दर्ज करें। डिफ़ॉल्ट रूप से "https://api.platerecognizer.com/v1/plate-reader/" होता है, या अपने खुद के सर्वर का उपयोग करें अगर आप अपनी इंस्टेंस होस्ट कर रहे हैं।
• Token: प्लेट रिकग्नाइज़र के लिए पंजीकरण करने के बाद, खाता पृष्ठ पर जाएं और एपीआई टोकन की प्रतिलिपि बनाएं।
• क्षेत्र: डिफ़ॉल्ट के लिए खाली छोड़ें या क्षेत्रों की CSV सूची दर्ज करें।
• कॉन्फ़िग: यदि आवश्यक हो तो दस्तावेज़ से अतिरिक्त कॉन्फ़िगरेशन मान दर्ज करें।

DoubleTake एक ओपन-सोर्स प्लेटफ़ॉर्म है जो चेहरे की पहचान के लिए एकीकृत API प्रदान करता है जिसका उपयोग:

• CompreFace
• Amazon Rekognition
• DeepStack
• CodeProject.AI Server
• Facebox

आपको अपने पसंदीदा चेहरे की पहचान विकल्पों के साथ DoubleTake को स्थापित और कॉन्फ़िगर करने की आवश्यकता होगी।

एक बार जब DoubleTake सेट हो जाए, तो Agent DVR खोलें और सर्वर सेटिंग्स - AI Servers पर जाएं और DoubleTake के बगल में Configure बटन पर क्लिक करें।

अपने डबलटेक सर्वर का URL दर्ज करें (जैसे http://localhost:3000/) और यदि सेट किया गया हो तो अपना पासवर्ड दर्ज करें।

OK पर क्लिक करें, फिर एक कैमरा संपादित करें और चेहरे की पहचान पर जाएं। AI Server विकल्प को DoubleTake पर सेट करें और आवश्यकतानुसार चेहरे की पहचान कॉन्फ़िगर करें।