Skip to content

STUDY_GUIDE.md

Latest commit

 

History

History
820 lines (639 loc) · 37.4 KB

STUDY_GUIDE.md

File metadata and controls

820 lines (639 loc) · 37.4 KB

EdgeAI for begyndere: Læringsforløb og studieplan

Koncentreret læringsforløb (1 uge)

Dag Fokus Estimerede timer
Dag 0 Modul 0: Introduktion til EdgeAI 1-2 timer
Dag 1 Modul 1: EdgeAI-grundlæggende 3 timer
Dag 2 Modul 2: SLM-grundlag 3 timer
Dag 3 Modul 3: SLM-implementering 2 timer
Dag 4-5 Modul 4: Modeloptimering (6 frameworks) 4 timer
Dag 6 Modul 5: SLMOps 3 timer
Dag 7 Modul 6-7: AI-agenter & udviklingsværktøjer 4 timer
Dag 8 Modul 8: Foundry Local Toolkit (moderne implementering) 1 time

Koncentreret læringsforløb (2 uger)

Dag Fokus Estimerede timer
Dag 1-2 Modul 1: EdgeAI-grundlæggende 3 timer
Dag 3-4 Modul 2: SLM-grundlag 3 timer
Dag 5-6 Modul 3: SLM-implementering 2 timer
Dag 7-8 Modul 4: Modeloptimering 4 timer
Dag 9-10 Modul 5: SLMOps 3 timer
Dag 11-12 Modul 6: AI-agenter 2 timer
Dag 13-14 Modul 7: Udviklingsværktøjer 3 timer

Deltidsstudie (4 uger)

Uge Fokus Estimerede timer
Uge 1 Modul 1-2: Grundlæggende & SLM-grundlag 6 timer
Uge 2 Modul 3-4: Implementering & optimering 6 timer
Uge 3 Modul 5-6: SLMOps & AI-agenter 5 timer
Uge 4 Modul 7: Udviklingsværktøjer & integration 3 timer
Dag Fokus Estimerede timer
Dag 0 Modul 0: Introduktion til EdgeAI 1-2 timer
Dag 1-2 Modul 1: EdgeAI-grundlæggende 3 timer
Dag 3-4 Modul 2: SLM-grundlag 3 timer
Dag 5-6 Modul 3: SLM-implementering 2 timer
Dag 7-8 Modul 4: Modeloptimering 4 timer
Dag 9-10 Modul 5: SLMOps 3 timer
Dag 11-12 Modul 6: SLM-agentiske systemer 2 timer
Dag 13-14 Modul 7: EdgeAI-implementeringsprøver 2 timer
Modul Afslutningsdato Brugte timer Vigtige pointer
Modul 0: Introduktion til EdgeAI
Modul 1: EdgeAI-grundlæggende
Modul 2: SLM-grundlag
Modul 3: SLM-implementering
Modul 4: Modeloptimering (6 frameworks)
Modul 5: SLMOps
Modul 6: SLM-agentiske systemer
Modul 7: EdgeAI-implementeringsprøver
Praktiske øvelser
Mini-projekt

Deltidsstudie (4 uger)

Uge Fokus Estimerede timer
Uge 1 Modul 1-2: Grundlæggende & SLM-grundlag 6 timer
Uge 2 Modul 3-4: Implementering & optimering 6 timer
Uge 3 Modul 5-6: SLMOps & AI-agenter 5 timer
Uge 4 Modul 7: Udviklingsværktøjer & integration 3 timer

Introduktion

Velkommen til EdgeAI for begyndere studieguide! Dette dokument er designet til at hjælpe dig med at navigere i kursusmaterialet effektivt og maksimere din læringsoplevelse. Det giver strukturerede læringsforløb, foreslåede studieplaner, nøglebegrebssammendrag og supplerende ressourcer til at uddybe din forståelse af Edge AI-teknologier.

Dette er et kortfattet 20-timers kursus, der leverer essentiel viden om EdgeAI i et tidsbesparende format, hvilket gør det perfekt til travle fagfolk og studerende, der hurtigt ønsker at opnå praktiske færdigheder inden for dette fremvoksende felt.

Kursusoversigt

Dette kursus er organiseret i otte omfattende moduler:

  1. Introduktion til EdgeAI - Grundlag og kontekst med industrirelevante anvendelser og læringsmål
  2. EdgeAI-grundlæggende og transformation - Forståelse af kernekoncepter og teknologiskift
  3. Small Language Model-grundlag - Udforskning af forskellige SLM-familier og deres arkitekturer
  4. Small Language Model-implementering - Praktiske implementeringsstrategier
  5. Modelformatkonvertering og kvantisering - Avanceret optimering med 6 frameworks, herunder OpenVINO
  6. SLMOps - Small Language Model Operations - Produktionslivscyklusstyring og implementering
  7. SLM-agentiske systemer - AI-agenter, funktionskald og Model Context Protocol
  8. EdgeAI-implementeringsprøver - AI Toolkit, Windows-udvikling og platformspecifikke implementeringer
  9. Microsoft Foundry Local – Komplet udviklerværktøjssæt - Lokal-først udvikling med hybrid Azure-integration (Modul 08)

Sådan bruger du denne studieguide

  • Progressiv læring: Følg modulerne i rækkefølge for den mest sammenhængende læringsoplevelse
  • Videnskontrolpunkter: Brug selvvurderingsspørgsmål efter hver sektion
  • Praktisk øvelse: Udfør de foreslåede øvelser for at styrke teoretiske begreber
  • Supplerende ressourcer: Udforsk yderligere materialer for emner, der interesserer dig mest

Studieplan anbefalinger

Koncentreret læringsforløb (1 uge)

Dag Fokus Estimerede timer
Dag 0 Modul 0: Introduktion til EdgeAI 1-2 timer
Dag 1-2 Modul 1: EdgeAI-grundlæggende 6 timer
Dag 3-4 Modul 2: SLM-grundlag 8 timer
Dag 5 Modul 3: SLM-implementering 3 timer
Dag 6 Modul 8: Foundry Local Toolkit 3 timer

Deltidsstudie (3 uger)

Uge Fokus Estimerede timer
Uge 1 Modul 0: Introduktion + Modul 1: EdgeAI-grundlæggende 7-9 timer
Uge 2 Modul 2: SLM-grundlag 7-8 timer
Uge 3 Modul 3: SLM-implementering (3t) + Modul 8: Foundry Local Toolkit (2-3t) 5-6 timer

Modul 0: Introduktion til EdgeAI

Vigtige læringsmål

  • Forstå, hvad Edge AI er, og hvorfor det er vigtigt i dagens teknologilandskab
  • Identificer store industrier, der er transformeret af Edge AI, og deres specifikke anvendelser
  • Forstå fordelene ved Small Language Models (SLMs) til edge-implementering
  • Etablér klare læringsforventninger og resultater for hele kurset
  • Genkend karrieremuligheder og færdighedskrav inden for Edge AI

Studieområder

Sektion 1: Edge AI-paradigme og definition

  • Prioriterede begreber:
    • Edge AI vs. traditionel cloud AI-behandling
    • Sammenfletning af hardware, modeloptimering og forretningsbehov
    • Realtids-, privatlivsbevarende og omkostningseffektiv AI-implementering

Sektion 2: Industrielle anvendelser

  • Prioriterede begreber:
    • Produktion & Industri 4.0: Prædiktiv vedligeholdelse og kvalitetskontrol
    • Sundhedssektoren: Diagnostisk billedbehandling og patientovervågning
    • Autonome systemer: Selvkørende køretøjer og transport
    • Smarte byer: Trafikstyring og offentlig sikkerhed
    • Forbrugerteknologi: Smartphones, wearables og smarte hjem

Sektion 3: Small Language Models-grundlag

  • Prioriterede begreber:
    • SLM-egenskaber og præstationssammenligninger
    • Parameter-effektivitet vs. kapabilitetsafvejninger
    • Edge-implementeringsbegrænsninger og optimeringsstrategier

Sektion 4: Læringsramme og karrierevej

  • Prioriterede begreber:
    • Kursusarkitektur og progressiv mestringstilgang
    • Tekniske færdigheder og praktiske implementeringsmål
    • Karriereudviklingsmuligheder og industrielle anvendelser

Selv-vurderingsspørgsmål

  1. Hvad er de tre vigtigste teknologiske tendenser, der har muliggjort Edge AI?
  2. Sammenlign fordelene og udfordringerne ved Edge AI vs. cloud-baseret AI.
  3. Nævn tre industrier, hvor Edge AI giver kritisk forretningsværdi, og forklar hvorfor.
  4. Hvordan gør Small Language Models Edge AI praktisk til implementering i den virkelige verden?
  5. Hvilke nøglefærdigheder vil du udvikle gennem dette kursus?
  6. Beskriv den fire-fasede læringstilgang, der bruges i dette kursus.

Praktiske øvelser

  1. Industriforskning: Vælg en industriel anvendelse og undersøg en virkelig Edge AI-implementering (30 minutter)
  2. Modeludforskning: Gennemse tilgængelige Small Language Models på Hugging Face og sammenlign deres parameterantal og kapabiliteter (30 minutter)
  3. Læringsplanlægning: Gennemgå hele kursusstrukturen og opret din personlige studieplan (15 minutter)

Supplerende materialer

Modul 1: EdgeAI-grundlæggende og transformation

Vigtige læringsmål

  • Forstå forskellene mellem cloud-baseret og edge-baseret AI
  • Mestre kerneoptimeringsteknikker for ressourcebegrænsede miljøer
  • Analysér virkelige anvendelser af EdgeAI-teknologier
  • Opsæt et udviklingsmiljø til EdgeAI-projekter

Studieområder

Sektion 1: EdgeAI-grundlæggende

Sektion 2: Virkelige casestudier

  • Prioriterede begreber:
    • Microsoft Phi & Mu modeløkosystem
    • Praktiske implementeringer på tværs af industrier
    • Implementeringsovervejelser

Sektion 3: Praktisk implementeringsguide

  • Prioriterede begreber:
    • Opsætning af udviklingsmiljø
    • Kvantisering og optimeringsværktøjer
    • Vurderingsmetoder for EdgeAI-implementeringer

Sektion 4: Edge-implementeringshardware

  • Prioriterede begreber:
    • Sammenligning af hardwareplatforme
    • Optimeringsstrategier for specifik hardware
    • Implementeringsovervejelser

Selv-vurderingsspørgsmål

  1. Sammenlign og kontrast cloud-baseret AI med edge-baseret AI-implementeringer.
  2. Forklar tre nøgleteknikker til optimering af modeller til edge-implementering.
  3. Hvad er de primære fordele ved at køre AI-modeller på kanten?
  4. Beskriv processen med at kvantisere en model, og hvordan det påvirker ydeevnen.
  5. Forklar, hvordan forskellige hardwareacceleratorer (NPUs, GPUs, CPUs) påvirker EdgeAI-implementering.

Praktiske øvelser

  1. Hurtig miljøopsætning: Konfigurer et minimalt udviklingsmiljø med de essentielle pakker (30 minutter)
  2. Modeludforskning: Download og undersøg en forudtrænet lille sproglig model (1 time)
  3. Grundlæggende kvantisering: Prøv simpel kvantisering på en lille model (1 time)

Modul 2: Small Language Model-grundlag

Vigtige læringsmål

  • Forstå de arkitektoniske principper for forskellige SLM-familier
  • Sammenlign modelkapabiliteter på tværs af forskellige parameterstørrelser
  • Evaluer modeller baseret på effektivitet, kapabilitet og implementeringskrav
  • Genkend passende anvendelser for forskellige modelfamilier

Studieområder

Sektion 1: Microsoft Phi-modelfamilie

  • Prioriterede begreber:
    • Designfilosofi og udvikling
    • Effektivitet-først arkitektur
    • Specialiserede kapabiliteter

Sektion 2: Qwen-familie

  • Prioriterede begreber:
    • Open source-bidrag
    • Skalerbare implementeringsmuligheder
    • Avanceret ræsonnementarkitektur

Sektion 3: Gemma-familie

  • Prioriterede begreber:
    • Forskningsdrevet innovation
    • Multimodale kapabiliteter
    • Mobiloptimering

Sektion 4: BitNET-familie

  • Prioriterede begreber:
    • 1-bit kvantiseringsteknologi
    • Inference-optimeringsframework
    • Bæredygtighedsovervejelser

Sektion 5: Microsoft Mu-model

  • Prioriterede begreber:
    • Enheds-først arkitektur
    • Systemintegration med Windows
    • Privatlivsbevarende drift

Sektion 6: Phi-Silica

  • Prioriterede begreber:
    • NPU-optimeret arkitektur
    • Ydelsesmålinger
    • Udviklerintegration

Selv-vurderingsspørgsmål

  1. Sammenlign de arkitektoniske tilgange for Phi- og Qwen-modelfamilierne.
  2. Forklar, hvordan BitNET's kvantiseringsteknologi adskiller sig fra traditionel kvantisering.
  3. Hvad er de unikke fordele ved Mu-modellen for Windows-integration?
  4. Beskriv, hvordan Phi-Silica udnytter NPU-hardware til performanceoptimering.
  5. For en mobilapplikation med begrænset forbindelse, hvilken modelfamilie ville være mest passende, og hvorfor?

Praktiske Øvelser

  1. Model Sammenligning: Hurtig benchmark af to forskellige SLM-modeller (1 time)
  2. Enkel Tekstgenerering: Grundlæggende implementering af tekstgenerering med en lille model (1 time)
  3. Hurtig Optimering: Anvend en optimeringsteknik for at forbedre inferenshastighed (1 time)

Modul 3: Udrulning af Små Sprogmodeller

Centrale Læringsmål

  • Vælg passende modeller baseret på udrulningsbegrænsninger
  • Mestre optimeringsteknikker til forskellige udrulningsscenarier
  • Implementer SLM'er i både lokale og cloud-miljøer
  • Design produktionsklare konfigurationer til EdgeAI-applikationer

Studieområder

Sektion 1: Avanceret Læring om SLM

  • Prioriterede Begreber:
    • Parameterklassifikationsramme
    • Avancerede optimeringsteknikker
    • Strategier for modelanskaffelse

Sektion 2: Lokal Udrulning

  • Prioriterede Begreber:
    • Ollama-platformudrulning
    • Microsoft Foundry lokale løsninger
    • Sammenlignende analyse af frameworks

Sektion 3: Containeriseret Cloud-udrulning

  • Prioriterede Begreber:
    • vLLM højtydende inferens
    • Containerorkestrering
    • Implementering af ONNX Runtime

Selv-evalueringsspørgsmål

  1. Hvilke faktorer bør overvejes, når man vælger mellem lokal udrulning og cloud-udrulning?
  2. Sammenlign Ollama og Microsoft Foundry Local som udrulningsmuligheder.
  3. Forklar fordelene ved containerisering for SLM-udrulning.
  4. Hvad er de vigtigste performance-metrics at overvåge for en edge-udrullet SLM?
  5. Beskriv en komplet udrulningsworkflow fra modelvalg til produktionsimplementering.

Praktiske Øvelser

  1. Grundlæggende Lokal Udrulning: Udrul en simpel SLM ved hjælp af Ollama (1 time)
  2. Performance Tjek: Kør en hurtig benchmark på din udrullede model (30 minutter)
  3. Enkel Integration: Opret en minimal applikation, der bruger din udrullede model (1 time)

Modul 4: Modelformatkonvertering og Kvantisering

Centrale Læringsmål

  • Mestre avancerede kvantiseringsteknikker fra 1-bit til 8-bit præcision
  • Forstå strategier for formatkonvertering (GGUF, ONNX)
  • Implementer optimering på tværs af seks frameworks (Llama.cpp, Olive, OpenVINO, MLX, workflow-syntese)
  • Udrul optimerede modeller til produktions-edge-miljøer på Intel, Apple og tværplatform-hardware

Studieområder

Sektion 1: Grundlag for Kvantisering

  • Prioriterede Begreber:
    • Præcisionsklassifikationsramme
    • Trade-offs mellem performance og nøjagtighed
    • Optimering af hukommelsesforbrug

Sektion 2: Implementering af Llama.cpp

  • Prioriterede Begreber:
    • Tværplatform-udrulning
    • GGUF-formatoptimering
    • Hardwareaccelerationsmetoder

Sektion 3: Microsoft Olive Suite

  • Prioriterede Begreber:
    • Hardwarebevidst optimering
    • Udrulning i virksomhedsklasse
    • Automatiserede optimeringsworkflows

Sektion 4: OpenVINO Toolkit

  • Prioriterede Begreber:
    • Optimering til Intel-hardware
    • Neural Network Compression Framework (NNCF)
    • Tværplatform-inferensudrulning
    • OpenVINO GenAI til LLM-udrulning

Sektion 5: Apple MLX Framework

  • Prioriterede Begreber:
    • Optimering til Apple Silicon
    • Unified memory-arkitektur
    • LoRA finjusteringsmuligheder

Sektion 6: Workflow-syntese til Edge AI-udvikling

  • Prioriterede Begreber:
    • Unified workflow-arkitektur
    • Beslutningstræer for frameworkvalg
    • Validering af produktionsklarhed
    • Strategier for fremtidssikring

Selv-evalueringsspørgsmål

  1. Sammenlign kvantiseringstrategier på tværs af forskellige præcisionsniveauer (1-bit til 8-bit).
  2. Forklar fordelene ved GGUF-formatet til edge-udrulning.
  3. Hvordan forbedrer hardwarebevidst optimering i Microsoft Olive udrulningseffektiviteten?
  4. Hvad er de vigtigste fordele ved OpenVINOs NNCF til modelkomprimering?
  5. Beskriv, hvordan Apple MLX udnytter unified memory-arkitektur til optimering.
  6. Hvordan hjælper workflow-syntese med at vælge optimale optimeringsframeworks?

Praktiske Øvelser

  1. Modelkvantisering: Anvend forskellige kvantiseringniveauer på en model og sammenlign resultater (1 time)
  2. OpenVINO Optimering: Brug NNCF til at komprimere en model til Intel-hardware (1 time)
  3. Framework Sammenligning: Test den samme model på tværs af tre forskellige optimeringsframeworks (1 time)
  4. Performance Benchmarking: Mål optimeringens effekt på inferenshastighed og hukommelsesforbrug (1 time)

Modul 5: SLMOps - Drift af Små Sprogmodeller

Centrale Læringsmål

  • Forstå principperne for livscyklusstyring i SLMOps
  • Mestre distillation og finjusteringsteknikker til edge-udrulning
  • Implementer produktionsudrulningsstrategier med overvågning
  • Byg workflows til drift og vedligeholdelse af SLM'er i virksomhedsklasse

Studieområder

Sektion 1: Introduktion til SLMOps

  • Prioriterede Begreber:
    • Paradigmeskift i AI-drift med SLMOps
    • Omkostningseffektivitet og privatlivsfokuseret arkitektur
    • Strategisk forretningspåvirkning og konkurrencefordele

Sektion 2: Modeldistillation

  • Prioriterede Begreber:
    • Teknikker til vidensoverførsel
    • Implementering af to-trins distillationsprocesser
    • Distillationsworkflows i Azure ML

Sektion 3: Finjusteringsstrategier

  • Prioriterede Begreber:
    • Parameter-effektiv finjustering (PEFT)
    • Avancerede metoder som LoRA og QLoRA
    • Multi-adapter træning og hyperparameteroptimering

Sektion 4: Produktionsudrulning

  • Prioriterede Begreber:
    • Modelkonvertering og kvantisering til produktion
    • Konfiguration af Foundry Local-udrulning
    • Performancebenchmarking og kvalitetsvalidering

Selv-evalueringsspørgsmål

  1. Hvordan adskiller SLMOps sig fra traditionel MLOps?
  2. Forklar fordelene ved modeldistillation til edge-udrulning.
  3. Hvad er de vigtigste overvejelser ved finjustering af SLM'er i ressourcebegrænsede miljøer?
  4. Beskriv en komplet produktionsudrulningspipeline til Edge AI-applikationer.

Praktiske Øvelser

  1. Grundlæggende Distillation: Opret en mindre model fra en større lærer-model (1 time)
  2. Finjusteringseksperiment: Finjuster en model til et specifikt domæne (1 time)
  3. Udrulningspipeline: Opsæt en grundlæggende CI/CD-pipeline til modeludrulning (1 time)

Modul 6: SLM Agentiske Systemer - AI-agenter og Funktionskald

Centrale Læringsmål

  • Byg intelligente AI-agenter til edge-miljøer ved hjælp af små sprogmodeller
  • Implementer funktionskald med systematiske workflows
  • Mestre Model Context Protocol (MCP) integration for standardiseret værktøjsinteraktion
  • Skab sofistikerede agentiske systemer med minimal menneskelig indgriben

Studieområder

Sektion 1: AI-agenter og SLM-grundlag

  • Prioriterede Begreber:
    • Klassifikationsramme for agenter (refleks, modelbaseret, målbaseret, lærende agenter)
    • Analyse af trade-offs mellem SLM og LLM
    • Designmønstre specifikt til edge-agenter
    • Ressourceoptimering for agenter

Sektion 2: Funktionskald i Små Sprogmodeller

  • Prioriterede Begreber:
    • Implementering af systematiske workflows (intentiondetektion, JSON-output, ekstern eksekvering)
    • Platformspecifikke implementeringer (Phi-4-mini, udvalgte Qwen-modeller, Microsoft Foundry Local)
    • Avancerede eksempler (multi-agent samarbejde, dynamisk værktøjsvalg)
    • Produktionsovervejelser (ratebegrænsning, audit-logning, sikkerhedsforanstaltninger)

Sektion 3: Model Context Protocol (MCP) Integration

  • Prioriterede Begreber:
    • Protokolarkitektur og lagdelt systemdesign
    • Multi-backend support (Ollama til udvikling, vLLM til produktion)
    • Forbindelsesprotokoller (STDIO og SSE modes)
    • Virkelige anvendelser (webautomatisering, databehandling, API-integration)

Selv-evalueringsspørgsmål

  1. Hvad er de vigtigste arkitektoniske overvejelser for edge AI-agenter?
  2. Hvordan forbedrer funktionskald agentens kapabiliteter?
  3. Forklar rollen af Model Context Protocol i agentkommunikation.

Praktiske Øvelser

  1. Enkel Agent: Byg en grundlæggende AI-agent med funktionskald (1 time)
  2. MCP Integration: Implementer MCP i en agentapplikation (30 minutter)

Workshop: Praktisk Læringssti

Centrale Læringsmål

  • Byg produktionsklare AI-applikationer ved hjælp af Foundry Local SDK og bedste praksis
  • Implementer omfattende fejlbehandling og brugerfeedbackmønstre
  • Opret RAG-pipelines med kvalitetsvurdering og performanceovervågning
  • Udvikl multi-agent systemer med koordinator-mønstre
  • Mestre intelligent model-routing til opgavebaseret modelvalg
  • Udrul lokal-først AI-løsninger med privatlivsbevarende arkitekturer

Studieområder

Session 01: Kom godt i gang med Foundry Local

  • Prioriterede Begreber:
    • Integration af FoundryLocalManager SDK og automatisk serviceopdagelse
    • Grundlæggende og streaming chat-implementeringer
    • Fejlbehandlingsmønstre og brugerfeedback
    • Konfiguration baseret på miljø

Session 02: Byg AI-løsninger med RAG

  • Prioriterede Begreber:
    • In-memory vektorindlejring med sentence-transformers
    • Implementering af RAG-pipeline (hent → generer)
    • Kvalitetsvurdering med RAGAS-metrics
    • Import-sikkerhed for valgfrie afhængigheder

Session 03: Open Source Modeller

  • Prioriterede Begreber:
    • Strategier for multi-model benchmarking
    • Måling af latenstid og gennemløb
    • Graciøs nedbrydning og fejlgenopretning
    • Performance-sammenligning på tværs af modelfamilier

Session 04: Cutting-Edge Modeller

  • Prioriterede Begreber:
    • Metodologi for sammenligning af SLM og LLM
    • Type hints og omfattende outputformatering
    • Fejlbehandling pr. model
    • Strukturerede resultater til analyse

Session 05: AI-drevne Agenter

  • Prioriterede Begreber:
    • Multi-agent orkestrering med koordinator-mønster
    • Agenthukommelsesstyring og tilstandssporing
    • Pipeline-fejlbehandling og trinlogning
    • Performanceovervågning og statistik

Session 06: Modeller som Værktøjer

  • Prioriterede Begreber:
    • Intentiondetektion og mønstermatching
    • Algoritmer til model-routing baseret på nøgleord
    • Multi-step pipelines (planlæg → udfør → forfin)
    • Omfattende funktionsdokumentation

Selv-evalueringsspørgsmål

  1. Hvordan forenkler FoundryLocalManager servicestyring sammenlignet med manuelle REST-kald?
  2. Forklar vigtigheden af importguards for valgfrie afhængigheder som sentence-transformers.
  3. Hvilke strategier sikrer graciøs nedbrydning i multi-model benchmarking?
  4. Hvordan orkestrerer koordinator-mønsteret flere specialistagenter?
  5. Beskriv komponenterne i en intelligent model-router.
  6. Hvad er de vigtigste elementer i produktionsklar fejlbehandling?

Praktiske Øvelser

  1. Chat-applikation: Implementer streaming chat med fejlbehandling (45 minutter)
  2. RAG Pipeline: Byg minimal RAG med kvalitetsvurdering (1 time)
  3. Model Benchmarking: Sammenlign 3+ modeller på performance (1 time)
  4. Multi-Agent System: Opret koordinator med 2 specialistagenter (1,5 time)
  5. Intelligent Router: Byg opgavebaseret modelvalg (1 time)
  6. Produktionsudrulning: Tilføj overvågning og omfattende fejlbehandling (45 minutter)

Tidsallokering

Koncentreret Læring (1 uge):

  • Dag 1: Session 01-02 (Chat + RAG) - 3 timer
  • Dag 2: Session 03-04 (Benchmarking + Sammenligning) - 3 timer
  • Dag 3: Session 05-06 (Agenter + Routing) - 3 timer
  • Dag 4: Praktiske øvelser og validering - 2 timer

Deltidsstudie (2 uger):

  • Uge 1: Sessioner 01-03 (6 timer i alt)
  • Uge 2: Sessioner 04-06 + øvelser (5 timer i alt)

Modul 7: EdgeAI Implementeringsprøver

Centrale Læringsmål

  • Mestre AI Toolkit til Visual Studio Code for omfattende EdgeAI-udviklingsworkflows
  • Få ekspertise i Windows AI Foundry-platformen og NPU-optimeringsstrategier
  • Implementer EdgeAI på tværs af flere hardwareplatforme og udrulningsscenarier
  • Byg produktionsklare EdgeAI-applikationer med platformspecifikke optimeringer

Studieområder

Sektion 1: AI Toolkit til Visual Studio Code

  • Prioriterede Begreber:
    • Omfattende Edge AI-udviklingsmiljø inden for VS Code
    • Modelkatalog og opdagelse til edge-udrulning
    • Lokal testning, optimering og agentudviklingsworkflows
    • Performanceovervågning og evaluering for edge-scenarier

Sektion 2: Windows EdgeAI Udviklingsguide

  • Prioriterede Begreber:
    • Omfattende oversigt over Windows AI Foundry-platformen
    • Phi Silica API til effektiv NPU-inferens
    • Computer Vision API'er til billedbehandling og OCR
    • Foundry Local CLI til lokal udvikling og testning

Sektion 3: Platforms-specifikke Implementeringer

  • Prioriterede Begreber:
    • NVIDIA Jetson Orin Nano-udrulning (67 TOPS AI-performance)
    • Mobilapplikationer med .NET MAUI og ONNX Runtime GenAI
    • Azure EdgeAI-løsninger med cloud-edge hybridarkitektur
    • Windows ML-optimering med universel hardwareunderstøttelse
    • Foundry Local-applikationer med privatlivsfokuseret RAG-implementering

Selv-evalueringsspørgsmål

  1. Hvordan strømliner AI Toolkit EdgeAI-udviklingsworkflowet?
  2. Sammenlign udrulningsstrategier på tværs af forskellige hardwareplatforme.
  3. Hvad er fordelene ved Windows AI Foundry til edge-udvikling?
  4. Forklar rollen af NPU-optimering i moderne Edge AI-applikationer.
  5. Hvordan udnytter Phi Silica API NPU-hardware til performanceoptimering?
  6. Sammenlign fordelene ved lokal vs. cloud-implementering for applikationer med fokus på privatliv.

Praktiske Øvelser

  1. AI Toolkit Opsætning: Konfigurer AI Toolkit og optimer en model (1 time)
  2. Windows AI Foundry: Byg en simpel Windows AI-applikation ved hjælp af Phi Silica API (1 time)
  3. Cross-Platform Implementering: Implementer den samme model på to forskellige platforme (1 time)
  4. NPU Optimering: Test NPU-performance med Windows AI Foundry-værktøjer (30 minutter)

Modul 8: Microsoft Foundry Local – Komplet Udviklerværktøj (Moderniseret)

Centrale Læringsmål

  • Installér og konfigurer Foundry Local med moderne SDK-integration
  • Implementér avancerede multi-agent-systemer med koordinator-mønstre
  • Byg intelligente modelroutere med automatisk opgavebaseret udvælgelse
  • Implementér produktionsklare AI-løsninger med omfattende overvågning
  • Integrér med Azure AI Foundry for hybride implementeringsscenarier
  • Mestre moderne SDK-mønstre med FoundryLocalManager og OpenAI-klient

Studieområder

Sektion 1: Moderne Installation og Konfiguration

  • Prioriterede Koncepter:
    • FoundryLocalManager SDK-integration
    • Automatisk serviceopdagelse og sundhedsovervågning
    • Konfigurationsmønstre baseret på miljø
    • Overvejelser ved produktionsimplementering

Sektion 2: Avancerede Multi-Agent-Systemer

  • Prioriterede Koncepter:
    • Koordinator-mønster med specialiserede agenter
    • Specialisering af agenter til hentning, ræsonnement og udførelse
    • Feedback-loop-mekanismer til forbedring
    • Performanceovervågning og statistiksporing

Sektion 3: Intelligent Modelrouting

  • Prioriterede Koncepter:
    • Algoritmer til modeludvælgelse baseret på nøgleord
    • Understøttelse af flere modeller (generel, ræsonnement, kode, kreativ)
    • Konfiguration af miljøvariabler for fleksibilitet
    • Sundhedstjek af tjenester og fejlhåndtering

Sektion 4: Produktionsklar Implementering

  • Prioriterede Koncepter:
    • Omfattende fejlhåndtering og fallback-mekanismer
    • Overvågning af forespørgsler og performance-tracking
    • Interaktive Jupyter-notebooks med benchmarks
    • Integrationsmønstre med eksisterende applikationer

Selvtest-Spørgsmål

  1. Hvordan adskiller den moderne FoundryLocalManager-tilgang sig fra manuelle REST-kald?
  2. Forklar koordinator-mønsteret og hvordan det orkestrerer specialiserede agenter.
  3. Hvordan vælger den intelligente router passende modeller baseret på forespørgselsindhold?
  4. Hvad er de vigtigste komponenter i et produktionsklart AI-agent-system?
  5. Hvordan implementerer du omfattende sundhedsovervågning for Foundry Local-tjenester?
  6. Sammenlign fordelene ved den moderniserede tilgang vs. traditionelle implementeringsmønstre.

Praktiske Øvelser

  1. Moderne SDK Opsætning: Konfigurer FoundryLocalManager med automatisk serviceopdagelse (30 minutter)
  2. Multi-Agent-System: Kør den avancerede koordinator med specialiserede agenter (30 minutter)
  3. Intelligent Routing: Test modelrouteren med forskellige forespørgselstyper (30 minutter)
  4. Interaktiv Udforskning: Brug Jupyter-notebooks til at udforske avancerede funktioner (45 minutter)
  5. Produktionsimplementering: Implementér overvågnings- og fejlhåndteringsmønstre (30 minutter)
  6. Hybrid Integration: Konfigurer Azure AI Foundry fallback-scenarier (30 minutter)

Tidsallokeringsguide

For at hjælpe dig med at få mest muligt ud af det udvidede 30-timers kursus (inklusive workshop), er her en foreslået tidsfordeling:

Aktivitet Tidsallokering Beskrivelse
Læsning af Kernematerialer 12 timer Fokus på de essentielle koncepter i hvert modul
Praktiske Øvelser 10 timer Praktisk implementering af nøgleteknikker (inklusive workshop)
Selvtest 3 timer Test din forståelse gennem spørgsmål og refleksion
Mini-Projekt 5 timer Anvend viden på en lille praktisk implementering

Fokusområder baseret på tidsbegrænsning

Hvis du kun har 10 timer:

  • Fuldfør Modul 0 (Introduktion) og Modulerne 1, 2 og 3 (kerne EdgeAI-koncepter)
  • Lav mindst én praktisk øvelse pr. modul
  • Fokusér på at forstå de grundlæggende koncepter frem for implementeringsdetaljer

Hvis du kan afsætte de fulde 20 timer:

  • Fuldfør alle otte moduler (inklusive Introduktion)
  • Udfør nøglepraktiske øvelser fra hvert modul
  • Fuldfør ét mini-projekt fra Modul 7
  • Udforsk mindst 2-3 supplerende ressourcer

Hvis du har mere end 20 timer:

  • Fuldfør alle moduler (inklusive Introduktion) med detaljerede øvelser
  • Byg flere mini-projekter
  • Udforsk avancerede optimeringsteknikker i Modul 4
  • Implementér produktionsimplementering fra Modul 5

Væsentlige Ressourcer

Disse nøje udvalgte ressourcer giver mest værdi for din begrænsede studietid:

Skal-Læses Dokumentation

Tidsbesparende Værktøjer

Fremgangssporingsskabelon

Brug denne forenklede skabelon til at spore din læringsfremgang gennem det 20-timers kursus:

Modul Afslutningsdato Timer Brugte Vigtige Læringspunkter
Modul 0: Introduktion til EdgeAI
Modul 1: EdgeAI Grundlæggende
Modul 2: SLM Grundlag
Modul 3: SLM Implementering
Modul 4: Modeloptimering
Modul 5: SLMOps
Modul 6: AI Agenter
Modul 7: Udviklingsværktøjer
Workshop: Praktisk Læring
Modul 8: Foundry Local Toolkit
Praktiske Øvelser
Mini-Projekt

Mini-Projekt Idéer

Overvej at fuldføre et af disse projekter for at øve EdgeAI-koncepter (hver designet til at tage 2-4 timer):

Begynderprojekter (2-3 timer hver)

  1. Edge Tekstassistent: Skab et simpelt offline tekstfuldførelsesværktøj ved hjælp af en lille sprogmodel
  2. Model Sammenligningsdashboard: Byg en grundlæggende visualisering af performance-metrics på tværs af forskellige SLM'er
  3. Optimeringseksperiment: Mål effekten af forskellige kvantiseringsniveauer på den samme basismodel

Mellemprojekter (3-4 timer hver)

  1. AI Toolkit Workflow: Brug VS Code AI Toolkit til at optimere og implementere en model fra start til slut
  2. Windows AI Foundry Applikation: Skab en Windows-app ved hjælp af Phi Silica API og NPU-optimering
  3. Cross-Platform Implementering: Implementer den samme optimerede model på Windows (OpenVINO) og mobil (.NET MAUI)
  4. Funktionskaldende Agent: Byg en AI-agent med funktionskaldskapacitet til edge-scenarier

Avancerede Integrationsprojekter (4-5 timer hver)

  1. OpenVINO Optimeringspipeline: Implementér komplet modeloptimering ved hjælp af NNCF og GenAI-toolkit
  2. SLMOps Pipeline: Implementér en komplet modellivscyklus fra træning til edge-implementering
  3. Multi-Model Edge System: Implementer flere specialiserede modeller, der arbejder sammen på edge-hardware
  4. MCP Integrationssystem: Byg et agentbaseret system ved hjælp af Model Context Protocol til værktøjsinteraktion

Referencer

Læringsfællesskab

Deltag i diskussionen og forbind med andre lærende:

Konklusion

EdgeAI repræsenterer grænsen for implementering af kunstig intelligens, der bringer kraftfulde kapaciteter direkte til enheder, samtidig med at kritiske bekymringer om privatliv, latenstid og tilslutning adresseres. Dette 20-timers kursus giver dig den essentielle viden og praktiske færdigheder til straks at begynde at arbejde med EdgeAI-teknologier.

Kurset er bevidst kortfattet og fokuseret på de vigtigste koncepter, så du hurtigt kan opnå værdifuld ekspertise uden en overvældende tidsforpligtelse. Husk, at praktisk øvelse, selv med enkle eksempler, er nøglen til at styrke det, du har lært.

God læring!

Ansvarsfraskrivelse:
Dette dokument er blevet oversat ved hjælp af AI-oversættelsestjenesten Co-op Translator. Selvom vi bestræber os på nøjagtighed, skal det bemærkes, at automatiserede oversættelser kan indeholde fejl eller unøjagtigheder. Det originale dokument på dets oprindelige sprog bør betragtes som den autoritative kilde. For kritisk information anbefales professionel menneskelig oversættelse. Vi påtager os ikke ansvar for misforståelser eller fejltolkninger, der måtte opstå som følge af brugen af denne oversættelse.