Machine Learning - Sprachverarbeitung mit Transformern und Hugging Face

Natural Language Processing mit Transformern und Hugging Face

Transformer-Modelle und Large Language Models wie ChatGPT haben die maschinelle Sprachverarbeitung grundlegend verändert. In dieser Schulung zu Machine Learning und Natural Language Processing (NLP) lernen Sie, wie moderne Transformer-Architekturen aufgebaut sind und wie Sie die Hugging Face-Bibliothek gezielt für Ihre eigenen NLP-Projekte einsetzen. Von vortrainierten Modellen bis hin zum Fine-Tuning erwerben Sie praxisnahes Wissen, das Sie direkt anwenden können.

Schulungsbeschreibung

Die Schulung vermittelt zunächst einen fundierten Überblick über die Entwicklung des NLP – von regelbasierten Ansätzen über statistische Modelle bis hin zu modernen Transformer-Architekturen. Sie verstehen, wie der Attention-Mechanismus funktioniert und welche Rolle Tokenizer, Encoder-Modelle (BERT), Decoder-Modelle (GPT-2) sowie Sequence-to-Sequence-Modelle (BART, T5) spielen. Anschließend lernen Sie den praktischen Umgang mit Hugging Face: Sie greifen auf den Model Hub zu, nutzen vortrainierte Modelle und passen diese durch Fine-Tuning an eigene Anforderungen an. Als praxisnahes Abschlussprojekt trainieren Sie einen GPT-2-Transformer von Grund auf und generieren dabei Bach-Choräle – von der Tokenisierung eines MIDI-Datensatzes bis zur Evaluation in Google Colab.

Schulungsinhalte

• Geschichte von Natural Language Processing (NLP)
• Symbolische Natural Language Processing (NLP)
• Statistische Natural Language Processing (NLP)
• Aufbau der Transformer-Architektur
• Tokenizer
• Attention Mechanism
• Encoder Model (BERT)
• Decoder Model (GPT-2)
• Sequence-to-Sequence (BART, T5)
• Model Hub
• Fine-Tuning existierender Modelle
• Beispielanwendung für Musikverarbeitung: Generierung von Bach-Chorälen
• Einen Transformer (GPT-2) from scratch trainieren
• Eigenen Tokenizer aufsetzen
• Datensatz von Chorälen aus MIDI in Tokens umwandeln
• Training starten und evaluieren (Google Colab)

Zielgruppe und Vorkenntnisse

Diese Schulung richtet sich an Machine-Learning-Einsteiger:innen, die ihre Kenntnisse in Programmierung und Python auf die Themen KI und Natural Language Processing ausweiten möchten. Grundlegende Erfahrung mit Python und Programmierung wird vorausgesetzt.

Die Schulung dauert 1 Tag.

Inklusivleistungen:

Im Preis enthalten sind Ihr WissensPiloten-Zertifikat zum Download, Stift und Notizblock, sowie bei Schulungen in unseren Schulungszentren Mittagessen, kalte und warme Getränke und ein indiv. eingerichteter PC/Mac für jeden Teilnehmenden.

Förderung:

Bildungsscheck, andere Fördermöglichkeiten auf Anfrage.