Skip to content

README.md

Latest commit

 

History

History
171 lines (121 loc) · 25.1 KB

README.md

File metadata and controls

171 lines (121 loc) · 25.1 KB

अध्याय 07 : EdgeAI नमूने

एज एआई कृत्रिम बुद्धिमत्ता और एज कंप्यूटिंग का संगम है, जो उपकरणों पर सीधे बुद्धिमान प्रोसेसिंग को सक्षम बनाता है, बिना क्लाउड कनेक्टिविटी पर निर्भर हुए। यह अध्याय विभिन्न प्लेटफॉर्म और फ्रेमवर्क पर पांच अलग-अलग EdgeAI कार्यान्वयन की खोज करता है, जो एज पर एआई मॉडल चलाने की बहुमुखी प्रतिभा और शक्ति को प्रदर्शित करता है।

1. NVIDIA Jetson Orin Nano में EdgeAI

NVIDIA Jetson Orin Nano सुलभ एज एआई कंप्यूटिंग में एक क्रांति है, जो क्रेडिट-कार्ड के आकार के कॉम्पैक्ट फॉर्म फैक्टर में 67 TOPS तक एआई प्रदर्शन प्रदान करता है। यह शक्तिशाली एज एआई प्लेटफॉर्म शौकिया, छात्रों और पेशेवर डेवलपर्स के लिए जनरेटिव एआई विकास को लोकतांत्रिक बनाता है।

मुख्य विशेषताएं

  • 67 TOPS तक एआई प्रदर्शन प्रदान करता है—अपने पूर्ववर्ती की तुलना में 1.7X सुधार
  • एआई प्रोसेसिंग के लिए 1024 CUDA कोर और 32 टेंसर कोर तक
  • 6-कोर Arm Cortex-A78AE v8.2 64-बिट CPU, जिसकी अधिकतम आवृत्ति 1.5 GHz है
  • केवल $249 की कीमत पर, डेवलपर्स, छात्रों और निर्माताओं को सबसे सस्ती और सुलभ प्लेटफॉर्म प्रदान करता है

अनुप्रयोग

Jetson Orin Nano आधुनिक जनरेटिव एआई मॉडल जैसे विज़न ट्रांसफॉर्मर्स, बड़े भाषा मॉडल और विज़न-भाषा मॉडल चलाने में उत्कृष्ट है। इसे विशेष रूप से GenAI उपयोग मामलों के लिए डिज़ाइन किया गया है और अब आप कई LLMs को एक हथेली के आकार के उपकरण पर चला सकते हैं। लोकप्रिय उपयोग मामलों में एआई-संचालित रोबोटिक्स, स्मार्ट ड्रोन, बुद्धिमान कैमरे और स्वायत्त एज उपकरण शामिल हैं।

अधिक जानें: NVIDIA का Jetson Orin Nano सुपरकंप्यूटर: EdgeAI में अगला बड़ा कदम

2. .NET MAUI और ONNX Runtime GenAI के साथ मोबाइल एप्लिकेशन में EdgeAI

यह समाधान दिखाता है कि .NET MAUI (मल्टी-प्लेटफॉर्म ऐप UI) और ONNX Runtime GenAI का उपयोग करके जनरेटिव एआई और बड़े भाषा मॉडल (LLMs) को क्रॉस-प्लेटफॉर्म मोबाइल एप्लिकेशन में कैसे एकीकृत किया जाए। यह दृष्टिकोण .NET डेवलपर्स को एंड्रॉइड और iOS उपकरणों पर मूल रूप से चलने वाले परिष्कृत एआई-संचालित मोबाइल एप्लिकेशन बनाने में सक्षम बनाता है।

मुख्य विशेषताएं

  • .NET MAUI फ्रेमवर्क पर निर्मित, जो एंड्रॉइड और iOS एप्लिकेशन के लिए एकल कोडबेस प्रदान करता है
  • ONNX Runtime GenAI एकीकरण मोबाइल उपकरणों पर जनरेटिव एआई मॉडल चलाने में सक्षम बनाता है
  • CPU, GPU और विशेष मोबाइल एआई प्रोसेसर सहित मोबाइल उपकरणों के लिए विभिन्न हार्डवेयर एक्सेलेरेटर का समर्थन करता है
  • ONNX Runtime के माध्यम से iOS के लिए CoreML और Android के लिए NNAPI जैसे प्लेटफॉर्म-विशिष्ट अनुकूलन
  • जनरेटिव एआई लूप को पूरी तरह से लागू करता है, जिसमें प्री और पोस्ट प्रोसेसिंग, इन्फ्रेंस, लॉजिट्स प्रोसेसिंग, सर्च और सैंपलिंग, और KV कैश प्रबंधन शामिल है

विकास लाभ

.NET MAUI दृष्टिकोण डेवलपर्स को उनके मौजूदा C# और .NET कौशल का लाभ उठाने की अनुमति देता है, जबकि क्रॉस-प्लेटफॉर्म एआई एप्लिकेशन बनाते हैं। ONNX Runtime GenAI फ्रेमवर्क कई मॉडल आर्किटेक्चर का समर्थन करता है, जिसमें Llama, Mistral, Phi, Gemma और कई अन्य शामिल हैं। अनुकूलित ARM64 कर्नेल INT4 क्वांटाइज़्ड मैट्रिक्स मल्टीप्लिकेशन को तेज करता है, मोबाइल हार्डवेयर पर कुशल प्रदर्शन सुनिश्चित करता है, जबकि परिचित .NET विकास अनुभव बनाए रखता है।

उपयोग के मामले

यह समाधान उन डेवलपर्स के लिए आदर्श है जो .NET तकनीकों का उपयोग करके एआई-संचालित मोबाइल एप्लिकेशन बनाना चाहते हैं, जिसमें बुद्धिमान चैटबॉट्स, इमेज रिकग्निशन ऐप्स, भाषा अनुवाद उपकरण और व्यक्तिगत अनुशंसा प्रणाली शामिल हैं, जो बेहतर गोपनीयता और ऑफलाइन क्षमता के लिए पूरी तरह से ऑन-डिवाइस चलती हैं।

अधिक जानें: .NET MAUI ONNX Runtime GenAI उदाहरण

3. Azure में EdgeAI के साथ Small Language Models Engine

Microsoft का Azure-आधारित EdgeAI समाधान क्लाउड-एज हाइब्रिड वातावरण में Small Language Models (SLMs) को कुशलतापूर्वक तैनात करने पर केंद्रित है। यह दृष्टिकोण क्लाउड-स्केल एआई सेवाओं और एज तैनाती आवश्यकताओं के बीच की खाई को पाटता है।

आर्किटेक्चर लाभ

  • Azure AI सेवाओं के साथ सहज एकीकरण
  • ONNX Runtime के साथ SLMs/LLMs और मल्टी-मोडल मॉडल को डिवाइस और क्लाउड पर चलाएं
  • एंटरप्राइज़-स्केल तैनाती के लिए अनुकूलित
  • निरंतर मॉडल अपडेट और प्रबंधन का समर्थन

उपयोग के मामले

Azure EdgeAI कार्यान्वयन उन परिदृश्यों में उत्कृष्ट है जिनमें क्लाउड प्रबंधन क्षमताओं के साथ एंटरप्राइज़-ग्रेड एआई तैनाती की आवश्यकता होती है। इसमें बुद्धिमान दस्तावेज़ प्रसंस्करण, रीयल-टाइम एनालिटिक्स, और क्लाउड और एज कंप्यूटिंग संसाधनों दोनों का लाभ उठाने वाले हाइब्रिड एआई वर्कफ़्लो शामिल हैं।

अधिक जानें: Azure EdgeAI SLM Engine

4. Windows ML के साथ EdgeAI

Windows ML Microsoft का अत्याधुनिक रनटाइम है, जो ऑन-डिवाइस मॉडल इन्फ्रेंस और सरलीकृत तैनाती के लिए अनुकूलित है। यह Windows AI Foundry की नींव के रूप में कार्य करता है। यह प्लेटफॉर्म डेवलपर्स को एआई-संचालित Windows एप्लिकेशन बनाने में सक्षम बनाता है, जो पीसी हार्डवेयर की पूरी क्षमता का लाभ उठाते हैं।

प्लेटफॉर्म क्षमताएं

  • सभी Windows 11 PCs पर काम करता है, जो संस्करण 24H2 (बिल्ड 26100) या उससे अधिक पर चल रहे हैं
  • सभी x64 और ARM64 PC हार्डवेयर पर काम करता है, यहां तक कि वे PCs भी जिनमें NPUs या GPUs नहीं हैं
  • डेवलपर्स को अपने मॉडल लाने और उन्हें AMD, Intel, NVIDIA और Qualcomm सहित सिलिकॉन पार्टनर इकोसिस्टम में कुशलतापूर्वक तैनात करने की अनुमति देता है
  • इंफ्रास्ट्रक्चर APIs का लाभ उठाते हुए, डेवलपर्स को विभिन्न सिलिकॉन को लक्षित करने के लिए अपने ऐप के कई बिल्ड बनाने की आवश्यकता नहीं है

डेवलपर लाभ

Windows ML हार्डवेयर और निष्पादन प्रदाताओं को अमूर्त करता है, जिससे आप अपने कोड को लिखने पर ध्यान केंद्रित कर सकते हैं। इसके अलावा, Windows ML नवीनतम NPUs, GPUs और CPUs का समर्थन करने के लिए स्वचालित रूप से अपडेट होता है जैसे ही वे जारी किए जाते हैं। यह प्लेटफॉर्म Windows हार्डवेयर इकोसिस्टम में एआई विकास के लिए एकीकृत फ्रेमवर्क प्रदान करता है।

अधिक जानें:

5. Foundry Local Applications के साथ EdgeAI

Foundry Local Windows और Mac डेवलपर्स को स्थानीय संसाधनों का उपयोग करके .NET में Retrieval Augmented Generation (RAG) एप्लिकेशन बनाने में सक्षम बनाता है, जो स्थानीय भाषा मॉडल को सेमांटिक सर्च क्षमताओं के साथ जोड़ता है। यह दृष्टिकोण गोपनीयता-केंद्रित एआई समाधान प्रदान करता है जो पूरी तरह से स्थानीय बुनियादी ढांचे पर काम करते हैं।

तकनीकी आर्किटेक्चर

  • Phi भाषा मॉडल, Local Embeddings, और Semantic Kernel को जोड़कर RAG परिदृश्य बनाता है
  • सामग्री और उसके सेमांटिक अर्थ का प्रतिनिधित्व करने वाले फ्लोटिंग-पॉइंट मानों के वेक्टर (ऐरे) के रूप में एम्बेडिंग का उपयोग करता है
  • Semantic Kernel मुख्य ऑर्केस्ट्रेटर के रूप में कार्य करता है, Phi और Smart Components को एक सहज RAG पाइपलाइन बनाने के लिए एकीकृत करता है
  • SQLite और Qdrant सहित स्थानीय वेक्टर डेटाबेस का समर्थन करता है

कार्यान्वयन लाभ

RAG, या Retrieval Augmented Generation, का मतलब है "कुछ जानकारी खोजें और उसे प्रॉम्प्ट में डालें"। यह स्थानीय कार्यान्वयन डेटा गोपनीयता सुनिश्चित करता है, जबकि कस्टम ज्ञान आधारों में आधारित बुद्धिमान प्रतिक्रियाएं प्रदान करता है। यह दृष्टिकोण उन एंटरप्राइज़ परिदृश्यों के लिए विशेष रूप से मूल्यवान है जिनमें डेटा संप्रभुता और ऑफलाइन संचालन क्षमताओं की आवश्यकता होती है।

अधिक जानें:

Windows Foundry Local

Microsoft Foundry Local Windows पर मॉडल चलाने के लिए ONNX Runtime द्वारा संचालित OpenAI-संगत REST सर्वर प्रदान करता है। नीचे एक त्वरित, मान्य सारांश दिया गया है; पूर्ण विवरण के लिए आधिकारिक दस्तावेज़ देखें।

Windows पर इंस्टॉल या अपग्रेड करें (cmd.exe):

winget install Microsoft.FoundryLocal
winget upgrade --id Microsoft.FoundryLocal
foundry --version

CLI श्रेणियों का अन्वेषण करें:

foundry model --help
foundry service --help
foundry cache --help

मॉडल चलाएं और डायनामिक एंडपॉइंट खोजें:

foundry model run gpt-oss-20b
foundry service status

मॉडलों की सूची के लिए त्वरित REST जांच (स्टेटस से PORT बदलें):

curl -s http://localhost:PORT/v1/models

टिप्स:

Windows EdgeAI विकास संसाधन

विशेष रूप से Windows प्लेटफॉर्म को लक्षित करने वाले डेवलपर्स के लिए, हमने एक व्यापक गाइड बनाया है जो Windows EdgeAI इकोसिस्टम को पूरी तरह से कवर करता है। यह संसाधन Windows AI Foundry के बारे में विस्तृत जानकारी प्रदान करता है, जिसमें APIs, टूल्स और Windows पर EdgeAI विकास के लिए सर्वोत्तम प्रथाएं शामिल हैं।

Windows AI Foundry प्लेटफॉर्म

Windows AI Foundry प्लेटफॉर्म Edge AI विकास के लिए विशेष रूप से डिज़ाइन किए गए टूल्स और APIs का एक व्यापक सूट प्रदान करता है। इसमें NPU-त्वरित हार्डवेयर, Windows ML एकीकरण, और प्लेटफॉर्म-विशिष्ट अनुकूलन तकनीकों के लिए विशेष समर्थन शामिल है।

व्यापक गाइड: Windows EdgeAI विकास गाइड

यह गाइड कवर करता है:

  • Windows AI Foundry प्लेटफॉर्म का अवलोकन और घटक
  • NPU हार्डवेयर पर कुशल इन्फ्रेंस के लिए Phi Silica API
  • इमेज प्रोसेसिंग और OCR के लिए कंप्यूटर विज़न APIs
  • Windows ML रनटाइम एकीकरण और अनुकूलन
  • स्थानीय विकास और परीक्षण के लिए Foundry Local CLI
  • Windows उपकरणों के लिए हार्डवेयर अनुकूलन रणनीतियाँ
  • व्यावहारिक कार्यान्वयन उदाहरण और सर्वोत्तम प्रथाएं

Edge AI विकास के लिए AI Toolkit

Visual Studio Code का उपयोग करने वाले डेवलपर्स के लिए, AI Toolkit एक्सटेंशन Edge AI एप्लिकेशन बनाने, परीक्षण करने और तैनात करने के लिए विशेष रूप से डिज़ाइन किया गया एक व्यापक विकास वातावरण प्रदान करता है। यह टूलकिट VS Code के भीतर पूरे Edge AI विकास वर्कफ़्लो को सुव्यवस्थित करता है।

विकास गाइड: Edge AI विकास के लिए AI Toolkit

AI Toolkit गाइड कवर करता है:

  • एज तैनाती के लिए मॉडल खोज और चयन
  • स्थानीय परीक्षण और अनुकूलन वर्कफ़्लो
  • एज मॉडल के लिए ONNX और Ollama एकीकरण
  • मॉडल रूपांतरण और क्वांटाइज़ेशन तकनीक
  • एज परिदृश्यों के लिए एजेंट विकास
  • प्रदर्शन मूल्यांकन और निगरानी
  • तैनाती तैयारी और सर्वोत्तम प्रथाएं

निष्कर्ष

ये पांच EdgeAI कार्यान्वयन आज उपलब्ध एज एआई समाधानों की परिपक्वता और विविधता को प्रदर्शित करते हैं। Jetson Orin Nano जैसे हार्डवेयर-त्वरित एज उपकरणों से लेकर ONNX Runtime GenAI और Windows ML जैसे सॉफ़्टवेयर फ्रेमवर्क तक, डेवलपर्स के पास एज पर बुद्धिमान एप्लिकेशन तैनात करने के लिए अभूतपूर्व विकल्प हैं।

इन सभी प्लेटफॉर्म्स में एक सामान्य सूत्र है: एआई क्षमताओं का लोकतांत्रीकरण, जो विभिन्न कौशल स्तरों और उपयोग मामलों में डेवलपर्स के लिए परिष्कृत मशीन लर्निंग को सुलभ बनाता है। चाहे मोबाइल एप्लिकेशन, डेस्कटॉप सॉफ़्टवेयर, या एम्बेडेड सिस्टम बना रहे हों, ये EdgeAI समाधान अगली पीढ़ी के बुद्धिमान एप्लिकेशन के लिए नींव प्रदान करते हैं, जो एज पर कुशलता और गोपनीयता से काम करते हैं।

प्रत्येक प्लेटफॉर्म अद्वितीय लाभ प्रदान करता है: हार्डवेयर-त्वरित एज कंप्यूटिंग के लिए Jetson Orin Nano, क्रॉस-प्लेटफॉर्म मोबाइल विकास के लिए ONNX Runtime GenAI, एंटरप्राइज़ क्लाउड-एज एकीकरण के लिए Azure EdgeAI, Windows-नेटिव एप्लिकेशन के लिए Windows ML, और गोपनीयता-केंद्रित RAG कार्यान्वयन के लिए Foundry Local। ये सभी मिलकर EdgeAI विकास के लिए एक व्यापक इकोसिस्टम का प्रतिनिधित्व करते हैं।

अगला AI Toolkit

अस्वीकरण:
यह दस्तावेज़ AI अनुवाद सेवा Co-op Translator का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता सुनिश्चित करने का प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियां या अशुद्धियां हो सकती हैं। मूल भाषा में उपलब्ध मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं।