Velkommen til den omfattende guide til brug af AI Toolkit til Visual Studio Code i Edge AI-udvikling. Efterhånden som kunstig intelligens bevæger sig fra centraliseret cloud computing til distribuerede edge-enheder, har udviklere brug for kraftfulde, integrerede værktøjer, der kan håndtere de unikke udfordringer ved edge-implementering - fra ressourcebegrænsninger til krav om offline drift.
AI Toolkit til Visual Studio Code bygger bro over denne kløft ved at tilbyde et komplet udviklingsmiljø, der er specifikt designet til at bygge, teste og optimere AI-applikationer, der kører effektivt på edge-enheder. Uanset om du udvikler til IoT-sensorer, mobile enheder, indlejrede systemer eller edge-servere, strømliner dette værktøj hele din udviklingsproces inden for det velkendte VS Code-miljø.
Denne guide vil føre dig gennem de essentielle begreber, værktøjer og bedste praksis for at udnytte AI Toolkit i dine Edge AI-projekter, fra den indledende modeludvælgelse til produktionsimplementering.
AI Toolkit til Visual Studio Code er en kraftfuld udvidelse, der strømliner agentudvikling og oprettelse af AI-applikationer. Værktøjet tilbyder omfattende funktioner til at udforske, evaluere og implementere AI-modeller fra en bred vifte af udbydere—herunder Anthropic, OpenAI, GitHub, Google—samt understøttelse af lokal modelkørsel ved hjælp af ONNX og Ollama.
Det, der adskiller AI Toolkit, er dets omfattende tilgang til hele AI-udviklingslivscyklussen. I modsætning til traditionelle AI-udviklingsværktøjer, der fokuserer på enkelte aspekter, tilbyder AI Toolkit et integreret miljø, der dækker modelopdagelse, eksperimentering, agentudvikling, evaluering og implementering—alt sammen inden for det velkendte VS Code-miljø.
Platformen er specifikt designet til hurtig prototyping og produktionsimplementering med funktioner som promptgenerering, hurtige startere, problemfri MCP (Model Context Protocol) værktøjsintegrationer og omfattende evalueringsmuligheder. For Edge AI-udvikling betyder det, at du effektivt kan udvikle, teste og optimere AI-applikationer til edge-implementeringsscenarier, mens du opretholder den fulde udviklingsproces inden for VS Code.
Ved afslutningen af denne guide vil du være i stand til:
- Installere og konfigurere AI Toolkit til Visual Studio Code til Edge AI-udviklingsarbejdsgange
- Navigere og anvende AI Toolkit-grænsefladen, herunder Model Catalog, Playground og Agent Builder
- Udvælge og evaluere AI-modeller, der er egnede til edge-implementering baseret på ydeevne og ressourcebegrænsninger
- Konvertere og optimere modeller ved hjælp af ONNX-format og kvantiseringsteknikker til edge-enheder
- Designe og implementere Edge AI-applikationer ved hjælp af det integrerede udviklingsmiljø
- Udføre modeltest under edge-lignende forhold ved hjælp af lokal inferens og ressourceovervågning
- Oprette og tilpasse AI-agenter optimeret til edge-implementeringsscenarier
- Evaluere modelydelse ved hjælp af metrics, der er relevante for edge computing (latens, hukommelsesforbrug, nøjagtighed)
- Anvende kvantisering og beskæring teknikker til at reducere modelstørrelse, mens acceptabel ydeevne opretholdes
- Optimere modeller til specifikke edge-hardwareplatforme, herunder CPU, GPU og NPU-acceleration
- Implementere bedste praksis for edge AI-udvikling, herunder ressourcehåndtering og fallback-strategier
- Forberede modeller og applikationer til produktionsimplementering på edge-enheder
- Integrere med edge AI-rammer herunder ONNX Runtime, Windows ML og TensorFlow Lite
- Implementere multi-model arkitekturer og federerede læringsscenarier til edge-miljøer
- Fejlsøge almindelige edge AI-problemer herunder hukommelsesbegrænsninger, inferenshastighed og hardwarekompatibilitet
- Designe overvågnings- og logningsstrategier til edge AI-applikationer i produktion
- Bygge end-to-end Edge AI-løsninger fra modeludvælgelse til implementering
- Demonstrere færdigheder i edge-specifikke udviklingsarbejdsgange og optimeringsteknikker
- Anvende lærte begreber til virkelige edge AI-brugsscenarier, herunder IoT, mobile og indlejrede applikationer
- Evaluere og sammenligne forskellige edge AI-implementeringsstrategier og deres kompromiser
- Multi-udbyder Support: Gennemse og få adgang til AI-modeller fra Anthropic, OpenAI, GitHub, Google og andre udbydere
- Lokal Modelintegration: Forenklet opdagelse af ONNX og Ollama-modeller til edge-implementering
- GitHub Modeller: Direkte integration med GitHubs modelhosting for strømlinet adgang
- Model Sammenligning: Sammenlign modeller side om side for at finde optimal balance for edge-enhedens begrænsninger
- Interaktiv Testmiljø: Hurtig eksperimentering med modelkapaciteter i et kontrolleret miljø
- Multi-modal Support: Test med billeder, tekst og andre input typiske for edge-scenarier
- Realtids Eksperimentering: Øjeblikkelig feedback på modelrespons og ydeevne
- Parameteroptimering: Finjuster modelparametre til edge-implementeringskrav
- Naturlig Sprog Generering: Generer startprompter ved hjælp af naturlige sprog beskrivelser
- Iterativ Forfining: Forbedr prompter baseret på modelrespons og ydeevne
- Opgave Nedbrydning: Opdel komplekse opgaver med promptkæder og strukturerede output
- Variabel Support: Brug variabler i prompter for dynamisk agentadfærd
- Produktionskode Generering: Generer produktionsklar kode til hurtig appudvikling
- Multi-model Testning: Udfør flere prompter på tværs af udvalgte modeller samtidigt
- Effektiv Testning i Skala: Test forskellige input og konfigurationer effektivt
- Brugerdefinerede Test Cases: Kør agenter med test cases for at validere funktionalitet
- Ydelsessammenligning: Sammenlign resultater på tværs af forskellige modeller og konfigurationer
- Standard Metrics: Test AI-modeller ved hjælp af indbyggede evaluatorer (F1-score, relevans, lighed, sammenhæng)
- Brugerdefinerede Evaluatorer: Opret dine egne evalueringsmetrics til specifikke brugsscenarier
- Dataset Integration: Test modeller mod omfattende datasets
- Ydelsesmåling: Kvantificer modelydelse til edge-implementeringsbeslutninger
- Modeltilpasning: Tilpas modeller til specifikke brugsscenarier og domæner
- Specialiseret Tilpasning: Tilpas modeller til specialiserede domæner og krav
- Edge Optimering: Finjuster modeller specifikt til edge-implementeringsbegrænsninger
- Domænespecifik Træning: Opret modeller skræddersyet til specifikke edge-brugsscenarier
- Ekstern Værktøjsforbindelse: Forbind agenter til eksterne værktøjer via Model Context Protocol-servere
- Reelle Handlinger: Gør det muligt for agenter at forespørge databaser, få adgang til API'er eller udføre brugerdefineret logik
- Eksisterende MCP Servere: Brug værktøjer fra kommando (stdio) eller HTTP (server-sent event) protokoller
- Brugerdefineret MCP Udvikling: Byg og opret nye MCP-servere med test i Agent Builder
- Funktion Kald Support: Gør det muligt for agenter at kalde eksterne funktioner dynamisk
- Realtids Integrationstest: Test integrationer med realtidskørsler og værktøjsbrug
- Agent Versionering: Versionskontrol for agenter med sammenligningsmuligheder for evalueringsresultater
- Fejlfinding og Sporing: Lokal sporing og fejlfinding muligheder for agentudvikling
- Udforsk Modelkatalog: Brug modelkataloget til at finde modeller, der er egnede til edge-implementering
- Sammenlign Ydeevne: Evaluer modeller baseret på størrelse, nøjagtighed og inferenshastighed
- Test Lokalt: Brug Ollama eller ONNX-modeller til lokal test før edge-implementering
- Vurder Ressourcekrav: Bestem hukommelses- og beregningsbehov for mål-edge-enheder
- Konverter til ONNX: Konverter udvalgte modeller til ONNX-format for edge-kompatibilitet
- Anvend Kvantisering: Reducer modelstørrelse gennem INT8 eller INT4 kvantisering
- Hardwareoptimering: Optimer til mål-edge-hardware (ARM, x86, specialiserede acceleratorer)
- Ydelsesvalidering: Valider, at optimerede modeller opretholder acceptabel nøjagtighed
- Agentdesign: Brug Agent Builder til at skabe edge-optimerede AI-agenter
- Prompt Engineering: Udvikl prompter, der fungerer effektivt med mindre edge-modeller
- Integrationstest: Test agenter under simulerede edge-forhold
- Kodegenerering: Generer produktionskode optimeret til edge-implementering
- Batch Evaluering: Test flere konfigurationer for at finde optimale edge-indstillinger
- Ydelsesprofilering: Analyser inferenshastighed, hukommelsesforbrug og nøjagtighed
- Edge-simulering: Test under forhold, der ligner mål-edge-implementeringsmiljøet
- Stress Testning: Evaluer ydeevne under forskellige belastningsforhold
- Endelig Optimering: Anvend endelige optimeringer baseret på testresultater
- Implementeringspakning: Pak modeller og kode til edge-implementering
- Dokumentation: Dokumenter implementeringskrav og konfiguration
- Overvågningsopsætning: Forbered overvågning og logning til edge-implementering
- Applikationsudviklere, der bygger AI-drevne edge-enheder og IoT-løsninger
- Udviklere af indlejrede systemer, der integrerer AI-funktioner i ressourcebegrænsede enheder
- Mobiludviklere, der skaber AI-applikationer på enheder som smartphones og tablets
- AI-ingeniører, der optimerer modeller til edge-implementering og administrerer inferens-pipelines
- DevOps-ingeniører, der implementerer og administrerer AI-modeller på tværs af distribueret edge-infrastruktur
- Ydelsesingeniører, der optimerer AI-arbejdsgange til edge-hardwarebegrænsninger
- AI-forskere, der udvikler effektive modeller og algoritmer til edge computing
- Undervisere, der underviser i edge AI-begreber og demonstrerer optimeringsteknikker
- Studerende, der lærer om udfordringer og løsninger i edge AI-implementering
- Realtids Billedgenkendelse: Implementer computer vision-modeller på IoT-kameraer og sensorer
- Stemmegengivelse: Implementer talegenkendelse og naturlig sprogbehandling på smarte højttalere
- Prædiktiv Vedligeholdelse: Kør modeller til detektering af afvigelser på industrielle edge-enheder
- Miljøovervågning: Implementer modeller til analyse af sensordata for miljøapplikationer
- Oversættelse på Enhed: Implementer sprogoversættelsesmodeller, der fungerer offline
- Augmented Reality: Implementer realtids objektgenkendelse og sporing til AR-applikationer
- Sundhedsovervågning: Kør sundhedsanalysemodeller på wearables og medicinsk udstyr
- Autonome Systemer: Implementer beslutningsmodeller til droner, robotter og køretøjer
- Edge Datacentre: Implementer AI-modeller i edge-datacentre for lav-latens applikationer
- CDN Integration: Integrer AI-behandlingsfunktioner i content delivery-netværk
- 5G Edge: Udnyt 5G edge computing til AI-drevne applikationer
- Fog Computing: Implementer AI-behandling i fog computing-miljøer
Installer AI Toolkit-udvidelsen direkte fra Visual Studio Code Marketplace:
Udvidelses-ID: ms-windows-ai-studio.windows-ai-studio
Installationsmetoder:
- VS Code Marketplace: Søg efter "AI Toolkit" i Extensions-visningen
- Kommandolinje:
code --install-extension ms-windows-ai-studio.windows-ai-studio - Direkte Installation: Download fra VS Code Marketplace
- Visual Studio Code: Seneste version anbefales
- Python Miljø: Python 3.8+ med nødvendige AI-biblioteker
- ONNX Runtime (Valgfrit): Til ONNX-modelinferens
- Ollama (Valgfrit): Til lokal modelservering
- Hardware Acceleration Tools: CUDA, OpenVINO eller platform-specifikke acceleratorer
- Aktivering af Udvidelse: Åbn VS Code og verificer, at AI Toolkit vises i Activity Bar
- Modeludbyder Opsætning: Konfigurer adgang til GitHub, OpenAI, Anthropic eller andre modeludbydere
- Lokalt Miljø: Opsæt Python-miljø og installer nødvendige pakker
- Hardware Acceleration: Konfigurer GPU/NPU-acceleration, hvis tilgængelig
- MCP Integration: Opsæt Model Context Protocol-servere, hvis nødvendigt
- AI Toolkit-udvidelse installeret og aktiveret
- Modelkatalog tilgængeligt og modeller opdagelige
- Playground funktionel til modeltestning
- Agent Builder tilgængelig til promptudvikling
- Lokalt udviklingsmiljø konfigureret
- Hardwareacceleration (hvis tilgængelig) korrekt konfigureret
Vi anbefaler at starte med modeller, der hostes af GitHub, for den mest strømlinede oplevelse:
- Installation: Følg installationsguiden for at opsætte AI Toolkit på din enhed
- Modelopdagelse: Fra udvidelsens trævisning, vælg CATALOG > Models for at udforske tilgængelige modeller
- GitHub Modeller: Start med modeller hostet af GitHub for optimal integration
- Playground Testning: Fra enhver modelkort, vælg Try in Playground for at begynde at eksperimentere med modelkapaciteter
- Åbn AI Toolkit-visningen i VS Code Activity Bar
- Gennemse Model Catalog for modeller, der er egnede til edge-implementering
- Filtrer efter udbyder (GitHub, ON
- Generer startprompter ved hjælp af naturlige sprog beskrivelser
- Iterer og forfin prompter baseret på modelrespons
- Integrer MCP-værktøjer for forbedrede agentfunktioner
- Brug Bulk Run til at teste flere prompter på tværs af udvalgte modeller
- Kør agenter med testcases for at validere funktionalitet
- Evaluer nøjagtighed og ydeevne ved hjælp af indbyggede eller brugerdefinerede metrikker
- Sammenlign forskellige modeller og konfigurationer
- Tilpas modeller til specifikke edge-brugsscenarier
- Anvend domænespecifik finjustering
- Optimer til edge-implementeringsbegrænsninger
- Versionér og sammenlign forskellige agentkonfigurationer
- Generer produktionsklar kode ved hjælp af Agent Builder
- Opsæt MCP-serverforbindelser til produktionsbrug
- Forbered implementeringspakker til edge-enheder
- Konfigurer overvågnings- og evalueringsmetrikker
Prøv vores eksempler
AI Toolkit-eksemplerne er designet til at hjælpe udviklere og forskere med effektivt at udforske og implementere AI-løsninger.
Vores eksempler inkluderer:
Eksempelkode: Forudbyggede eksempler, der demonstrerer AI-funktioner som træning, implementering eller integration af modeller i applikationer.
Dokumentation: Vejledninger og tutorials, der hjælper brugere med at forstå AI Toolkit-funktioner og hvordan man bruger dem.
Forudsætninger
- Visual Studio Code
- AI Toolkit til Visual Studio Code
- GitHub Fine-grained personal access token (PAT)
- Foundry Local
- Størrelsesbegrænsninger: Vælg modeller, der passer inden for hukommelsesbegrænsningerne på mål-enheder
- Inferenshastighed: Prioriter modeller med hurtig inferens til realtidsapplikationer
- Nøjagtighedsafvejninger: Balancer modelnøjagtighed med ressourcebegrænsninger
- Formatkompatibilitet: Foretræk ONNX eller hardwareoptimerede formater til edge-implementering
- Kvantisering: Brug INT8 eller INT4 kvantisering til at reducere modelstørrelse og forbedre hastighed
- Pruning: Fjern unødvendige modelparametre for at reducere beregningskrav
- Knowledge Distillation: Skab mindre modeller, der opretholder ydeevnen fra større modeller
- Hardwareacceleration: Udnyt NPUs, GPUs eller specialiserede acceleratorer, når det er muligt
- Iterativ test: Test ofte under edge-lignende forhold under udvikling
- Ydelsesovervågning: Overvåg løbende ressourceforbrug og inferenshastighed
- Versionskontrol: Spor modelversioner og optimeringsindstillinger
- Dokumentation: Dokumentér alle optimeringsbeslutninger og afvejninger i ydeevne
- Ressourceovervågning: Overvåg hukommelse, CPU og strømforbrug i produktion
- Fallback-strategier: Implementer fallback-mekanismer for modelfejl
- Opdateringsmekanismer: Planlæg modelopdateringer og versionsstyring
- Sikkerhed: Implementer passende sikkerhedsforanstaltninger for edge AI-applikationer
- Cross-platform implementering: Implementer ONNX-modeller på tværs af forskellige edge-platforme
- Hardwareoptimering: Udnyt ONNX Runtimes hardware-specifikke optimeringer
- Mobil support: Brug ONNX Runtime Mobile til smartphone- og tabletapplikationer
- IoT-integration: Implementer på IoT-enheder ved hjælp af ONNX Runtimes letvægtsdistributioner
- Windows-enheder: Optimer til Windows-baserede edge-enheder og PC'er
- NPU-acceleration: Udnyt Neural Processing Units på Windows-enheder
- DirectML: Brug DirectML til GPU-acceleration på Windows-platforme
- UWP-integration: Integrer med Universal Windows Platform-applikationer
- Mobiloptimering: Implementer TensorFlow Lite-modeller på mobile og indlejrede enheder
- Hardwaredelegeringer: Brug specialiserede hardwaredelegeringer til acceleration
- Mikrocontrollere: Implementer på mikrocontrollere ved hjælp af TensorFlow Lite Micro
- Cross-platform support: Implementer på tværs af Android, iOS og indlejrede Linux-systemer
- Cloud-Edge hybrid: Kombiner cloud-træning med edge-inferens
- Modulimplementering: Implementer AI-modeller som IoT Edge-moduler
- Enhedsstyring: Administrer edge-enheder og modelopdateringer eksternt
- Telemetri: Indsaml ydeevnedata og modelmetrikker fra edge-implementeringer
- Modelensembler: Implementer flere modeller for forbedret nøjagtighed eller redundans
- A/B-test: Test forskellige modeller samtidig på edge-enheder
- Dynamisk valg: Vælg modeller baseret på aktuelle enhedsbetingelser
- Ressourcedeling: Optimer ressourceforbrug på tværs af flere implementerede modeller
- Distribueret træning: Træn modeller på tværs af flere edge-enheder
- Privatlivsbeskyttelse: Hold træningsdata lokalt, mens modelforbedringer deles
- Samarbejdende læring: Gør det muligt for enheder at lære af kollektive erfaringer
- Edge-Cloud koordinering: Koordiner læring mellem edge-enheder og cloud-infrastruktur
- Stream-behandling: Behandl kontinuerlige datastrømme på edge-enheder
- Lav-latens inferens: Optimer for minimal inferenslatens
- Batch-behandling: Effektivt behandle batches af data på edge-enheder
- Adaptiv behandling: Juster behandling baseret på aktuelle enhedskapaciteter
- Hukommelsesbegrænsninger: Model for stor til mål-enhedens hukommelse
- Inferenshastighed: Modelinferens for langsom til realtidskrav
- Nøjagtighedsforringelse: Optimering reducerer modelnøjagtighed uacceptabelt
- Hardwarekompatibilitet: Model ikke kompatibel med mål-hardware
- Ydelsesprofilering: Brug AI Toolkits sporingsfunktioner til at identificere flaskehalse
- Ressourceovervågning: Overvåg hukommelse og CPU-forbrug under udvikling
- Inkrementel test: Test optimeringer inkrementelt for at isolere problemer
- Hardwaresimulering: Brug udviklingsværktøjer til at simulere mål-hardware
- Mere kvantisering: Anvend mere aggressive kvantiseringsteknikker
- Modelarkitektur: Overvej forskellige modelarkitekturer optimeret til edge
- Forbehandlingsoptimering: Optimer databehandling til edge-begrænsninger
- Inferensoptimering: Brug hardware-specifikke inferensoptimeringer
- AI Toolkit Developer Documentation
- Installations- og opsætningsguide
- VS Code Intelligent Apps Dokumentation
- Model Context Protocol (MCP) Dokumentation
- AI Toolkit GitHub Repository
- GitHub Issues og funktionsanmodninger
- Azure AI Foundry Discord Community
- VS Code Extension Marketplace
- ONNX Runtime Dokumentation
- Ollama Dokumentation
- Windows ML Dokumentation
- Azure AI Foundry Dokumentation
- Edge AI Fundamentals Kursus
- Small Language Models Guide
- Edge Implementeringsstrategier
- Windows Edge AI Udvikling
- Repository-statistik: 1.8k+ stjerner, 150+ forks, 18+ bidragydere
- Licens: MIT-licens
- Sikkerhed: Microsofts sikkerhedspolitikker gælder
- Telemetri: Respekterer VS Code telemetriindstillinger
AI Toolkit til Visual Studio Code repræsenterer en omfattende platform for moderne AI-udvikling, der tilbyder strømlinede agentudviklingsfunktioner, som er særligt værdifulde for Edge AI-applikationer. Med sin omfattende modelkatalog, der understøtter udbydere som Anthropic, OpenAI, GitHub og Google, kombineret med lokal eksekvering via ONNX og Ollama, tilbyder værktøjet den fleksibilitet, der er nødvendig for forskellige edge-implementeringsscenarier.
Værktøjets styrke ligger i dets integrerede tilgang—fra modelopdagelse og eksperimentering i Playground til sofistikeret agentudvikling med Prompt Builder, omfattende evalueringsmuligheder og problemfri MCP-værktøjsintegration. For Edge AI-udviklere betyder dette hurtig prototyping og test af AI-agenter før edge-implementering, med mulighed for hurtigt at iterere og optimere til ressourcebegrænsede miljøer.
Nøglefordele for Edge AI-udvikling inkluderer:
- Hurtig eksperimentering: Test modeller og agenter hurtigt før edge-implementering
- Multi-udbyder fleksibilitet: Adgang til modeller fra forskellige kilder for at finde optimale edge-løsninger
- Lokal udvikling: Test med ONNX og Ollama for offline og privatlivsbevarende udvikling
- Produktionsklarhed: Generer produktionsklar kode og integrer med eksterne værktøjer via MCP
- Omfattende evaluering: Brug indbyggede og brugerdefinerede metrikker til at validere edge AI-ydeevne
Efterhånden som AI fortsætter med at bevæge sig mod edge-implementeringsscenarier, tilbyder AI Toolkit til VS Code det udviklingsmiljø og workflow, der er nødvendigt for at bygge, teste og optimere intelligente applikationer til ressourcebegrænsede miljøer. Uanset om du udvikler IoT-løsninger, mobile AI-applikationer eller indlejrede intelligenssystemer, understøtter værktøjets omfattende funktionssæt og integrerede workflow hele edge AI-udviklingslivscyklussen.
Med løbende udvikling og et aktivt fællesskab (1.8k+ GitHub-stjerner) forbliver AI Toolkit i frontlinjen af AI-udviklingsværktøjer og udvikler sig kontinuerligt for at imødekomme behovene hos moderne AI-udviklere, der bygger til edge-implementeringsscenarier.
Ansvarsfraskrivelse:
Dette dokument er blevet oversat ved hjælp af AI-oversættelsestjenesten Co-op Translator. Selvom vi bestræber os på nøjagtighed, skal det bemærkes, at automatiserede oversættelser kan indeholde fejl eller unøjagtigheder. Det originale dokument på dets oprindelige sprog bør betragtes som den autoritative kilde. For kritisk information anbefales professionel menneskelig oversættelse. Vi er ikke ansvarlige for eventuelle misforståelser eller fejltolkninger, der opstår som følge af brugen af denne oversættelse.