Azure-KI-Dienste in Microsoft Foundry: Sprache, Bild, Dokumente und Agenten

• Tag 1: Die Plattform und ihre Dienste
• 1. Von Cognitive Services zu Foundry Tools
  • Was sich geändert hat: Namen, Struktur und Denkweise
  • Die Dienstefamilien im Überblick
  • Vorgefertigte Dienste, generative Modelle und Agenten im Zusammenspiel
• 2. Ressourcen bereitstellen und verwalten
  • Foundry-Projekt und Dienstressourcen anlegen
  • Schlüssel, verwaltete Identitäten und rollenbasierter Zugriff
  • Regionen, Kontingente und Preismodelle
• 3. Zugriffswege in der Praxis
  • Portal und Playground
  • SDKs für Python und C#
  • REST-Schnittstellen und Authentifizierung
  • Fehlerbehandlung und Wiederholungsstrategien
• Praxis-Übung (Tag 1):   Ein Foundry-Projekt mit Dienstressourcen anlegen, den Zugriff über eine verwaltete Identität einrichten und denselben Aufruf einmal im  Playground, einmal per SDK und einmal per REST ausführen.
• Tag 2: Sprache und Übersetzung
• 4. Text analysieren
  • Sprachidentifikation, Stimmungsanalyse und Entitätserkennung
  • Zusammenfassung von Dokumenten und Konversationen
  • Textanalyse im Gesundheitswesen
• 5. Personenbezogene Daten schützen
  • PII-Erkennung und Schwärzung in Text und Konversationen
  • Aktuelle Entitätstypen und eigene Muster
• 6. Eigene Sprachmodelle
  • Benutzerdefinierte Entitätserkennung und Textklassifikation
  • Daten kennzeichnen, trainieren, bewerten und veröffentlichen
• 7. Intents und Antworten
  • Conversational Language Understanding für Absichten und Entitäten
  • Custom Question Answering und Wissensdatenbanken
  • Übersetzung mit dem Translator-Dienst
• Praxis-Übung (Tag 2):   Einen Textbestand mit Entitätserkennung und PII-Schwärzung verarbeiten, ein eigenes Entitätsmodell trainieren und veröffentlichen und eine Intent-Erkennung mit Question Answering ergänzen.
• Tag 3: Sprachein- und -ausgabe, Bild und Video
• 8. Gesprochene Sprache verarbeiten
  • Spracherkennung und Transkription, auch in Echtzeit
  • Sprachsynthese und neuronale Stimmen
  • Sprachübersetzung und Sprechererkennung
  • Echtzeit-Sprachdialoge für agentische Szenarien
• 9. Bilder analysieren
  • Bildanalyse: Objekte, Beschreibungen und Texterkennung
  • Eigene Bildmodelle mit Custom Vision
  • Gesichtserkennung und ihre Zugangsbeschränkungen
• 10. Video und Medien
  • Video- und Medienanalyse
  • Typische Anwendungsfälle in Unternehmen
• Praxis-Übung (Tag 3):   Eine Audioaufnahme transkribieren und synthetisieren, anschließend  Bilder mit der Bildanalyse auswerten und ein eigenes Bildmodell für eine spezifische Klasse trainieren.
• Tag 4: Dokumente, Inhaltssicherheit und generative Modelle
• 11. Dokumente auslesen
  • Document Intelligence (früher Form Recognizer) und die vorgefertigten Modelle
  • Eigene Dokumentmodelle trainieren
  • Rechnungen, Belege und Ausweise verarbeiten
  • Multimodale Inhaltsauswertung
• 12. Inhalte absichern mit Content Safety
  • Text- und Bildinhalte prüfen
  • Schweregrade, Richtlinien und Schwellenwerte
  • Prompt-Angriffe und geschützte Inhalte erkennen
• 13. Generative Modelle einbinden
  • Der Modellkatalog in Foundry
  • Chat- und Einbettungsmodelle nutzen
  • Retrieval-gestützte Antworten über eigene Daten
  • Wann ein vorgefertigter Dienst besser passt als ein Modell
• Praxis-Übung (Tag 4):   Rechnungen mit Document Intelligence auslesen und die Ergebnisse  strukturiert weiterverarbeiten, die Eingaben und Ausgaben mit Content  Safety prüfen und eine retrieval-gestützte Antwort über den extrahierten Datenbestand erzeugen.
• Tag 5: Agenten, Integration, Betrieb und Migration
• 14. Agenten mit Werkzeugen bauen
  • Der Agentendienst in Foundry
  • Dienste als Werkzeuge anbinden, unter anderem über MCP
  • Deterministische Bausteine gegenüber freier Modellantwort
• 15. Integration in Anwendungen und Prozesse
  • Anbindung über Azure Functions und Logic Apps
  • Ereignisgesteuerte und stapelweise Verarbeitung
  • Container für lokale und getrennte Umgebungen
• 16. Betrieb, Kosten und Qualität
  • Überwachung, Protokollierung und Diagnose
  • Kontingente, Drosselung und Skalierung
  • Kosten je Aufruf und je Token steuern
• 17. Datenschutz, Sicherheit und Regulierung
  • Datenflüsse, Speicherorte und die EU-Datengrenze
  • Netzwerkabsicherung privater Endpunkte
  • Datenschutz-Grundverordnung und die europäische KI-Verordnung im Überblick
• 18. Migration abgekündigter Dienste
  • Was aus LUIS, QnA Maker und Form Recognizer geworden ist
  • Personalizer, Anomaly Detector, Metrics Advisor und Content Moderator: Abschaltungen und Alternativen
  • Eine bestehende Anwendung auf den aktuellen Stand heben
• Praxis-Übung (Tag 5, Peer-Review):   Einen Agenten aufbauen, der Sprach-, Dokumenten- und Sicherheitsdienste als Werkzeuge nutzt, ihn über eine Function anbinden, Überwachung und Kostenbetrachtung ergänzen und dabei einen abgekündigten Dienst durch seinen Nachfolger ersetzen; das Ergebnis einer anderen Gruppe gegen Funktion, Sicherheit, Kosten und Zukunftsfähigkeit vorlegen.

LernzieleWer das Seminar besucht hat, kann die vorgefertigten KI-Dienste in Microsoft Foundry produktiv einsetzen: Ressourcen und Zugriff einrichten und über Portal, SDK und REST arbeiten, Text und Konversationen analysieren und personenbezogene Daten schützen, eigene Sprach- und Bildmodelle trainieren, gesprochene Sprache erkennen und synthetisieren, Bilder und Videos auswerten, strukturierte Daten aus Dokumenten extrahieren, Inhalte mit Content Safety absichern, generative Modelle und Retrieval anbinden, Agenten mit Werkzeugen aufbauen, die Lösungen überwachen sowie kosten- und datenschutzbewusst betreiben und Anwendungen von abgekündigten Diensten auf ihre Nachfolger migrieren.Zielgruppen

• Softwareentwicklerinnen und -entwickler, die KI-Funktionen integrieren
• Data Scientists und Fachkräfte für KI-Lösungen
• Lösungsarchitektinnen und -architekten für Azure-KI-Anwendungen
• Technische Projektverantwortliche, die KI-Vorhaben planen und bewerten

Voraussetzungen:   Die Teilnehmenden bringen Programmiererfahrung in Python oder C# sowie  Grundkenntnisse zu Cloud-Diensten und dem Azure-Portal mit. Erfahrung  mit REST-Schnittstellen ist hilfreich. Kenntnisse in maschinellem Lernen werden nicht vorausgesetzt.