ChatGPT und andere Transformer für Natural Language Processing (NLP) - Webinar von GFU Cyrus AG
Inhalte
- Einführung Transformer
- Von GPT-1 zu ChatGPT (GPT-4)
- ChatGPT-Anwendungen
- Text Completion
- Code Completion
- Image Generation
- Embeddings
- Einführung Transformer
- Das Encoder-Decoder Framework
- Attention Mechanisms
- Transfer Learning in NLP
- Hugging Face Transformers
- Transformer-Anwendungen
- Text Classification
- Named Entity Recognition
- Question Answering
- Summarization
- Translation
- Text Generation
- Hugging Face
- Das Hugging Face Ecosystem
- Der Hugging Face Hub
- Hugging Face Tokenizers
- Hugging Face Datasets
- Hugging Face Accelerate
- Text-Klassifikation
- Hugging Face Dataset
- Conversion of Datasets to DataFrames
- Tokenization
- From Text to Tokens
- Character Tokenization
- Word Tokenization
- Sub-word Tokenization
- Tokenizing the Whole Dataset
- Training a Text Classifier
- Transformers as Feature Extractors
- Fine-Tuning Transformers
- Transformer-Architektur
- Der Encoder
- Self-Attention
- Feed-Forward Layer
- Adding Layer Normalization
- Positional Embeddings
- Adding a Classification Head
- Der Decoder
- Transformers
- Transformer Tree of Life
- Encoder Branch
- Decoder Branch
- Encoder-Decoder Branch
- Multilingual Named Entity Recognition
- Das Dataset
- Multilingual Transformers
- Tokenization
- Transformers for Named Entity Recognition
- The Anatomy of the Transformers Model Class
- Tokenizing Texts for NER
- Performance Measures
- Fine-Tuning XLM-RoBERTa
- Error Analysis
- Cross-Lingual Transfer
- Interacting with Model Widgets
- Der Encoder
- Trainieren von Transformen from Scratch
- Large Datasets
- Where to find Large Datasets?
- Challenges of Building a Large-Scale Corpus
- Building a Custom Code Dataset
- Working with Large Datasets
- Building a Tokenizer
- Das Tokenizer Model
- Measuring Tokenizer Performance
- Tokenizer for Python
- Training a Tokenizer
- Saving a Custom Tokenizer on the Hub
- Training a Model from Scratch
- Initializing the Model
- Implementing the Dataloader
- Defining the Training Loop
- Der Training Run
- Results and Analysis
- Large Datasets
- ChatGPT API mit Python
- Authentication
- Model Fine-Tuning for own Custom Dataset
- Preparing Dataset
- Advanced Usage
- Weights & Biases
- Fine-Tuning Text-Classification Code Example
- Fine-Tuning Question-Answering
- Zusammenfassung des Kurses, Q&A
- Einführung Transformer
- Von GPT-1 zu ChatGPT (GPT-4)
- ChatGPT-Anwendungen
- Text Completion
- Code Completion
- Image Generation
- Embeddings
- Einführung Transformer
- Das Encoder-Decoder Framework
- Attention Mech ...
Lernziele
Sie lernen
- Grundprinzipien von Transformern
- Tokenisierung, Training und Implementierung von Transformern
- Text-Übersetzungen, Text-Zusammenfassungen, Text-Generierung
- Semantische Suche
- Text-zu-Bild-Suche
- Siamesische Netzwerke
- Transformer für eigene Applikationen zu nutzen
- Die Nutzung des HuggingFace Ökosystems
Sie lernen
- Grundprinzipien von Transformern
- Tokenisierung, Training und Implementierung von Transformern
- Text-Übersetzungen, Text-Zusammenfassungen, Text-Generierung
- Semantische Suche
- Text-zu-Bild- ...
Zielgruppen
Data Scientists, Data Engineers, Python-Entwickler
Termine und Orte
| Datum | Dauer | Preis | ||
|---|---|---|---|---|
| Webinar | ||||
| 22.07.2024 - 26.07.2024 | 35 h | Mehr Informationen > | Jetzt buchen › | |
| 14.10.2024 - 18.10.2024 | 35 h | Mehr Informationen > | Jetzt buchen › | |
| 27.01.2025 - 31.01.2025 | 35 h | Mehr Informationen > | Jetzt buchen › | |
| 05.05.2025 - 09.05.2025 | 35 h | Mehr Informationen > | Jetzt buchen › | |