| Ders Adı | Kodu | Yarıyıl | T+U Saat | Kredi | AKTS |
|---|---|---|---|---|---|
| Advanced Natural Language Processıng | SWE 530 | 0 | 3 + 0 | 3 | 6 |
| Ön Koşul Dersleri | |
| Önerilen Seçmeli Dersler | Deep Learning |
| Dersin Dili | İngilizce |
| Dersin Seviyesi | YUKSEK_LISANS |
| Dersin Türü | Seçmeli |
| Dersin Koordinatörü | Dr.Öğr.Üyesi BEYZA EKEN |
| Dersi Verenler | Dr.Öğr.Üyesi BEYZA EKEN, |
| Dersin Yardımcıları | |
| Dersin Kategorisi | Diğer |
| Dersin Amacı | Gain knowledge on fundamental NLP tasks
Learn theory and practice of algorithms to solve NLP tasks
Gain practical text processing skills
Gain knowledge on the core concepts, architectures, and practical uses of LLMs |
| Dersin İçeriği | Basic concepts of natural language processing. Text classification algorithms and its applications. N-grams, Statistical and neural language models. Large language models. Prompt engineering. Retrieval augmented generation (RAG). |
| # | Ders Öğrenme Çıktıları | Öğretim Yöntemleri | Ölçme Yöntemleri |
|---|---|---|---|
| 1 | Explain the fundamental concepts of Natural Language Processing, including basic text processing, n-grams, language models, and meaning representations. | ||
| 2 | Implement and evaluate traditional NLP methods such as text classification. | ||
| 3 | Describe the architecture of Transformers and explain how attention mechanisms enable contextual representation learning. | ||
| 4 | Analyze masked language models (e.g., BERT) and explain the differences between encoder-based, decoder-based, and seq2seq models. | ||
| 5 | Use language models for text generation tasks and interpret model outputs critically. | ||
| 6 | Design effective prompts for large language models and evaluate their impact on output quality. | ||
| 7 | Explain the principles of Retrieval-Augmented Generation (RAG). | ||
| 8 | Critically read and present research papers related to NLP and LLMs. | ||
| 9 | Design and implement a small-scale NLP/LLM-based project, including problem formulation, methodology selection, and evaluation. | ||
| 10 | Compare classical NLP techniques with modern Transformer-based approaches in terms of performance, scalability, and applicability. |
| Hafta | Ders Konuları | Ön Hazırlık |
|---|---|---|
| 1 | Overview of NLP | |
| 2 | Basic text processing, Text classification | |
| 3 | Text pre-processing, morphological analysis, edit distance algorithm | |
| 4 | N-grams, Language models, Meaning representations | |
| 5 | Transformers architecture | |
| 6 | Masked language models, BERT | |
| 7 | Machine Translation, Seq2seq models | |
| 8 | Text generation | |
| 9 | Midterm | |
| 10 | Prompt engineering | |
| 11 | Retrieval-augmented generation | |
| 12 | Extra topics (sequence labeling, dependency parsing) | |
| 13 | Student paper presentations | |
| 14 | Student project presentations |
| Kaynaklar | |
|---|---|
| Ders Notu | |
| Ders Kaynakları | Speech and Language Processing, Daniel Jurafsky and James H. Martin, 2024, 3rd Edition Draft. Natural Language Processing, Jacob Eisenstein, 2018. Foundations Of Statistical Natural Language Processing, Manning & Shütze, MIT Press, 1999. Hands-On Large Language Models, Language Understanding and Generation. Alammar & Grootendorst, 2024. O'Reilly Media, Inc. Natural Language Processing with Transformers, Building Language Applications with Hugging Face. Tunstall et al., 2022. O'Reilly Media, Inc. Generative AI on AWS: Building context-aware multimodal reasoning applications. Fregly et al., 2023. O'Reilly Media, Inc. |
| Sıra | Program Çıktıları | Katkı Düzeyi | |||||
|---|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | |||
| 1 | Yaşadığı toplumun bilgi toplumu olmasına katkıda bulunmak, toplumsal, bilimsel, kültürel ve etik sorunlara çözüm sunmak amaçlarıyla alanındaki bilimsel, teknolojik, sosyal veya kültürel ilerlemeleri ulusal ve uluslararası bilimsel ortamlarda (toplantılarda) tanıtır. | ||||||
| 2 | Alanında bilimsel araştırma yaparak bilgiye genişlemesine ve derinlemesine ulaşır, alanında güncel teknik ve yöntemler ile bunların kısıtları hakkında kapsamlı bilgiye sahip olup ve elde ettiği bilgiyi değerlendirir, yorumlar ve uygular. | X | |||||
| 3 | Alanı ile ilgili problemleri tanımlar ve formüle eder, yeni ve/veya özgün fikir ve yöntemler geliştirir; karmaşık sistem veya süreçleri tasarlar ve tasarımlarında yenilikçi/alternatif çözümler ile gelişmekte olan yenilikçi yöntemleri kullanır. | X | |||||
| 4 | Kuramsal, deneysel ve modelleme esaslı araştırmaları tasarlar ve uygular, belirsiz, sınırlı ya da eksik verileri bilimsel yöntemlerle tamamlar; verilerin toplanması, yorumlanması, duyurulması aşamalarında ve mesleki tüm etkinliklerde toplumsal, bilimsel ve etik değerleri gözetir. | X | |||||
| 5 | Alanındaki uygulamaların sosyal, çevresel, sağlık, güvenlik, hukuki boyutlarını ve iş hayatı uygulamalarını bilir ve bunların getirdiği kısıtların farkındadır. Disiplin içi ve çok disiplinli takımlarda etkin bir biçimde birlikte ve ya bağımsız çalışabilir ve sorumluluk alır. | ||||||
| 6 | Her ölçekte yazılım sistemi için proje planlaması; zaman, kaynak, bütçe ve risk yönetimi yapar, alternatif çözüm yolları belirler. | ||||||
| # | Ders Öğrenme Çıktılarının Program Çıktılarına Katkısı | PÇ 1 | PÇ 2 | PÇ 3 | PÇ 4 | PÇ 5 | PÇ 6 |
|---|---|---|---|---|---|---|---|
| 1 | Explain the fundamental concepts of Natural Language Processing, including basic text processing, n-grams, language models, and meaning representations. | ||||||
| 2 | Implement and evaluate traditional NLP methods such as text classification. | ||||||
| 3 | Describe the architecture of Transformers and explain how attention mechanisms enable contextual representation learning. | ||||||
| 4 | Analyze masked language models (e.g., BERT) and explain the differences between encoder-based, decoder-based, and seq2seq models. | ||||||
| 5 | Use language models for text generation tasks and interpret model outputs critically. | ||||||
| 6 | Design effective prompts for large language models and evaluate their impact on output quality. | ||||||
| 7 | Explain the principles of Retrieval-Augmented Generation (RAG). | ||||||
| 8 | Critically read and present research papers related to NLP and LLMs. | ||||||
| 9 | Design and implement a small-scale NLP/LLM-based project, including problem formulation, methodology selection, and evaluation. | ||||||
| 10 | Compare classical NLP techniques with modern Transformer-based approaches in terms of performance, scalability, and applicability. |
| Değerlendirme Sistemi | |
|---|---|
| Yarıyıl Çalışmaları | Katkı Oranı |
| 1. Ara Sınav | 25 |
| 1. Performans Görevi (Seminer) | 12 |
| 2. Performans Görevi (Seminer) | 12 |
| 1. Proje / Tasarım | 7 |
| 2. Proje / Tasarım | 6 |
| 3. Proje / Tasarım | 38 |
| Toplam | 100 |
| 1. Yıl İçinin Başarıya | 60 |
| 1. Final | 40 |
| Toplam | 100 |
| AKTS - İş Yükü Etkinlik | Sayı | Süre (Saat) | Toplam İş Yükü (Saat) |
|---|