| Ders Adı | Kodu | Yarıyıl | T+U Saat | Kredi | AKTS |
|---|---|---|---|---|---|
| Büyük Veriye Giriş | BSM 461 | 7 | 3 + 0 | 3 | 5 |
| Ön Koşul Dersleri | |
| Önerilen Seçmeli Dersler | |
| Dersin Dili | Türkçe |
| Dersin Seviyesi | Lisans |
| Dersin Türü | Seçmeli |
| Dersin Koordinatörü | Dr.Öğr.Üyesi SÜMEYYE KAYNAK |
| Dersi Verenler | Dr.Öğr.Üyesi SÜMEYYE KAYNAK, Prof.Dr. ZAHOOR-UR-REHMAN ZAHOOR-UR-REHMAN, |
| Dersin Yardımcıları | |
| Dersin Kategorisi | Diğer |
| Dersin Amacı | Verinin tek bir makineye sığmadığı ya da tek makinede makul sürede işlenemediği durumlarda ortaya çıkan bölümleme, çoğaltma, tutarlılık ve gecikme ödünleşimlerini aktarmak; dağıtık depolama, toplu ve akış işleme, NoSQL veri modelleri, arama ve tablo biçimlerini araç kataloğu olarak değil mekanizma düzeyinde incelemek; öğrenciyi uçtan uca bir büyük veri hattını gerekçelendirerek tasarlayabilecek, kurabilecek ve nerede kırılacağını önceden söyleyebilecek duruma getirmek. Uygulamalar Python (PySpark, DuckDB) ve Docker Compose ile çalışan araçlarla (Apache Spark, S3 uyumlu nesne deposu, MongoDB, Elasticsearch, Apache Kafka) yürütülür. |
| Dersin İçeriği | Büyük veri eşiği ve zarf arkası ölçek hesapları; dikey ve yatay ölçekleme, Amdahl yasası; bellek, dosya biçimleri, sütunlu depolama ve Parquet; dağıtık sistemlerin temelleri: kısmi arıza, idempotentlik, bölümleme ve çoğaltma; tutarlılık ve mutabakat (quorum, CAP, PACELC, Raft); HDFS ve nesne deposu; MapReduce programlama modeli, shuffle, combiner, birleştirme desenleri ve veri çarpıklığı; Apache Spark: tembel değerlendirme, aşamalar ve görevler, Catalyst ve fiziksel plan; NoSQL veri modelleri, parçalama anahtarı ve arama (ters indeks, Elasticsearch, Türkçe metin analizi); veri gölü, ambar, göl-ev ve tablo biçimleri; Apache Kafka ve olay akışları; akış işleme: olay zamanı, pencereler, watermark ve teslim garantileri; uçtan uca büyük veri mimarisi ve dönem projesi. |
| Özel Koşullar | |
| Sektör Desteği | |
| Destekleyen Firma | |
| Destekleyen Eğitmen |
| # | Ders Öğrenme Çıktıları | Öğretim Yöntemleri | Ölçme Yöntemleri |
|---|---|---|---|
| 1 | Bir veri probleminin tek makineye sığıp sığmadığına zarf arkası hesapla karar verir; satır ve sütun düzenli dosya biçimlerinin (CSV, Parquet) okuma maliyetini hesaplayarak karşılaştırır. | Problem Çözme, Gösterip Yaptırma, | Çoktan Seçmeli Testler, |
| 2 | Bölümleme, çoğaltma ve tutarlılık stratejilerini (quorum, CAP/PACELC, Raft) bir senaryoya uygular; HDFS ve nesne deposunun tasarım kararlarını gerekçelendirir. | Problem Çözme, | Çoktan Seçmeli Testler, Ödev / Evde-Çöz Sınavlar, |
| 3 | Bir problemi map/reduce olarak ifade eder ve Spark'ın fiziksel planını okur; yavaş ya da hatalı bir toplu işin nedenini (veri çarpıklığı, shuffle, birleştirme stratejisi, tekrarlanan kayıt) belirti ve ölçümden teşhis eder. | Problem Çözme, Deney ve Laboratuvar, | Çoktan Seçmeli Testler, |
| 4 | NoSQL veri modellerini, arama altyapısını (ters indeks) ve veri gölü, ambar ve göl-ev yaklaşımlarını erişim desenine ve çözdükleri probleme göre karşılaştırır; parçalama anahtarı seçimini gerekçelendirir. | Tartışma, Soru-Cevap, | Çoktan Seçmeli Testler, |
| 5 | Kafka ve akış işlemenin garantilerini (sıralama, olay zamanı, pencere, watermark, teslim garantileri) dikkate alarak uçtan uca bir büyük veri hattı oluşturur; mimarisini, ölçümlerini ve kırılma noktalarını raporlayıp sunar. | Proje, | Yazılı Sınavlar (Kısa ve Uzun Yanıtlı), Performans Değerlendirme, |
| Hafta | Ders Konuları | Ön Hazırlık |
|---|---|---|
| 1 | Büyük veriye giriş: verinin tek makineye sığmadığı eşik, dikey ve yatay ölçekleme | Haftanın ders notu, etkileşimli sunumu ve Colab defteri |
| 2 | Tek makinenin sınırları: bellek, dosya biçimleri, sütunlu depolama ve Parquet | Haftanın ders notu, etkileşimli sunumu ve Colab defteri |
| 3 | Dağıtık sistemlerin temelleri: yanılgılar, kısmi arıza, idempotentlik, bölümleme ve çoğaltma | Haftanın ders notu, etkileşimli sunumu ve Colab defteri |
| 4 | Tutarlılık ve mutabakat (CAP, PACELC, Raft); dağıtık depolama: HDFS ve nesne deposu | Haftanın ders notu, etkileşimli sunumu ve Colab defteri |
| 5 | HDFS ve nesne deposunun devamı; MapReduce programlama modeli: map, shuffle, reduce, combiner, birleştirme desenleri (reduce ve map tarafı join) ve veri çarpıklığı | Haftanın ders notu, etkileşimli sunumu ve Colab defteri |
| 6 | Apache Spark I: tembel değerlendirme, aşamalar ve görevler, Catalyst ve sorgu planı | Haftanın ders notu, etkileşimli sunumu ve Colab defteri |
| 7 | Örnek proje uygulaması (Sakarya otobüs binişleri): ham verinin incelenmesi, Parquet'e dönüştürme, tarihe göre bölümleme, sıcak anahtar ve kirli veri tespiti, Spark ile toplu işleme ve performans ölçümü | Örnek proje asistan kılavuzu ve proje başlangıç kiti |
| 8 | NoSQL veri modelleri: erişim desenine göre model seçimi, NoSQL'in dört türü, MongoDB belge deposu, gömme ve referans, belge boyutu sınırı | Haftanın ders notu, etkileşimli sunumu ve Colab defteri |
| 9 | Parçalama (aralık ve hash, parçalama anahtarı seçimi), Dynamo ve ayarlanabilir tutarlılık; arama: ters indeks, Elasticsearch, analiz zinciri ve Türkçe metin analizi | Haftanın ders notu, etkileşimli sunumu ve Colab defteri |
| 10 | Veri gölü, ambar ve göl-ev; tablo biçimleri (Delta Lake): atomik commit ve zaman yolculuğu | Haftanın ders notu, etkileşimli sunumu ve Colab defteri |
| 11 | Olay akışları: Apache Kafka, bölüm ve ofset, üretici ve tüketici, teslim garantileri | Haftanın ders notu, etkileşimli sunumu ve Colab defteri |
| 12 | Akış işleme: olay zamanı, pencereler, watermark ve kontrol noktası | Haftanın ders notu, etkileşimli sunumu ve Colab defteri |
| 13 | Proje sunumları I: uçtan uca mimari şeması, ölçümler ve "bu sistem nerede kırılır?" analizi | Dönem projesi raporu, kodu ve sunumu (tek teslim: 12. haftanın sonu) |
| 14 | Proje sunumları II: uçtan uca mimari şeması, ölçümler ve "bu sistem nerede kırılır?" analizi | Dönem projesi raporu, kodu ve sunumu (tek teslim: 12. haftanın sonu) |
| Kaynaklar | |
|---|---|
| Ders Notu | Haftalık ders notları, etkileşimli ders sunumları ve doldurmalı Colab defterleri (dersin birincil kaynağıdır; öğretim üyesi tarafından paylaşılır). |
| Ders Kaynakları | Haftalık ders notları, etkileşimli ders sunumları ve Colab defterleri (birincil kaynak) Designing Data-Intensive Applications, Martin Kleppmann, O'Reilly (önerilen ana kitap) Spark: The Definitive Guide, Bill Chambers, Matei Zaharia, O'Reilly Big Data Fundamentals, Thomas Erl, Wajid Khattak, Paul Buhler Mining of Massive Datasets, 2nd edition, Jure Leskovec, Anand Rajaraman, Jeffrey D. Ullman (Stanford CS246; çevrimiçi: http://infolab.stanford.edu/~ullman/mmds.html) Big Data: Principles and Best Practices of Scalable Real-Time Data Systems, Nathan Marz, James Warren (tarihsel okuma: Lambda mimarisi) Hands-On Big Data Modeling, James Lee, Tao Wei, Suresh Kumar Mukhiya An Introduction to Data Science, 3rd edition, Jeffrey Stanton R Programming for Data Science, Roger D. Peng Brigham Young University, Big Data Science & Capstone Course: http://bigdata.cs.byu.edu/ Apache Spark, Apache Kafka, Delta Lake, MongoDB, Elasticsearch ve DuckDB resmî belgeleri |
| Sıra | Program Çıktıları | Katkı Düzeyi | |||||
|---|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | |||
| 1 a | Matematik, fen bilimleri ve ilgili mühendislik disiplinine özgü konularda yeterli bilgi birikimi; | X | |||||
| 1 b | Bu alanlardaki kuramsal ve uygulamalı bilgileri, karmaşık mühendislik problemlerinin çözümünde kullanabilme becerisi. | X | |||||
| 2 a | Karmaşık mühendislik problemlerini tanımlama, formüle etme ve çözme becerisi; | X | |||||
| 2 b | Bu amaçla uygun analiz ve modelleme yöntemlerini seçme ve uygulama becerisi. | X | |||||
| 3 | Karmaşık bir sistemi, süreci, cihazı veya ürünü gerçekçi kısıtlar ve koşullar altında, belirli gereksinimleri karşılayacak şekilde tasarlama becerisi; bu amaçla modern tasarım yöntemlerini uygulama becerisi. | X | |||||
| 4 | Mühendislik uygulamalarında karşılaşılan karmaşık problemlerin analizi ve çözümü için gerekli olan modern teknik ve araçları seçme ve kullanma becerisi; bilişim teknolojilerini etkin bir şekilde kullanma becerisi. | X | |||||
| 5 a | Karmaşık mühendislik problemlerinin veya disipline özgü araştırma konularının incelenmesi için deney tasarlama becerisi. | ||||||
| 5 b | Deney yapma, veri toplama, sonuçları analiz etme ve yorumlama becerisi. | X | |||||
| 6 a | Disiplin içi takımlarda etkin biçimde çalışabilme becerisi. | X | |||||
| 6 b | Çok disiplinli takımlarda etkin biçimde çalışabilme becerisi. | ||||||
| 6 c | Bireysel çalışma becerisi. | X | |||||
| 7 a | Sözlü ve yazılı etkin iletişim kurma, etkin rapor yazma ve yazılı raporları anlama, tasarım ve üretim raporları hazırlayabilme becerisi, | X | |||||
| 7 b | En az bir yabancı dil bilgisi. | ||||||
| 7 c | Etkin sunum yapabilme becerisi. | X | |||||
| 7 d | Açık ve anlaşılır talimat verme ve alma becerisi. | ||||||
| 8 | Yaşam boyu öğrenmenin gerekliliği konusunda farkındalık; bilgiye erişebilme, bilim ve teknolojideki gelişmeleri izleme ve kendini sürekli yenileme becerisi. | X | |||||
| 9 a | Etik ilkelerine uygun davranma, mesleki ve etik sorumluluk hakkında bilgi, | X | |||||
| 9 b | Mühendislik uygulamalarında kullanılan standartlar hakkında bilgi. | ||||||
| 10 a | Proje yönetimi, risk yönetimi ve değişiklik yönetimi gibi, iş hayatındaki uygulamalar hakkında bilgi; | ||||||
| 10 b | Girişimcilik, yenilikçilik hakkında farkındalık | ||||||
| 10 c | Sürdürülebilir kalkınma hakkında bilgi. | ||||||
| 11 a | Mühendislik uygulamalarının evrensel ve toplumsal boyutlarda sağlık, çevre ve güvenlik üzerindeki etkileri ve çağın mühendislik alanına yansıyan sorunları hakkında bilgi; | ||||||
| 11 b | Mühendislik çözümlerinin hukuksal sonuçları konusunda farkındalık. | ||||||
| 12 | Bilişim Teknolojilerinin yönetim, denetim, gelişim ve güvenliği/güvenilirliği hakkında bilgi sahibi olma ve farkındalık, | ||||||
| # | Ders Öğrenme Çıktılarının Program Çıktılarına Katkısı | PÇ 1 a | PÇ 1 b | PÇ 2 a | PÇ 2 b | PÇ 3 | PÇ 4 | PÇ 5 a | PÇ 5 b | PÇ 6 a | PÇ 6 b | PÇ 6 c | PÇ 7 a | PÇ 7 b | PÇ 7 c | PÇ 7 d | PÇ 8 | PÇ 9 a | PÇ 9 b | PÇ 10 a | PÇ 10 b | PÇ 10 c | PÇ 11 a | PÇ 11 b | PÇ 12 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Bir veri probleminin tek makineye sığıp sığmadığına zarf arkası hesapla karar verir; satır ve sütun düzenli dosya biçimlerinin (CSV, Parquet) okuma maliyetini hesaplayarak karşılaştırır. | 3 | 3 | 0 | 3 | 0 | 4 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 2 | Bölümleme, çoğaltma ve tutarlılık stratejilerini (quorum, CAP/PACELC, Raft) bir senaryoya uygular; HDFS ve nesne deposunun tasarım kararlarını gerekçelendirir. | 0 | 3 | 3 | 3 | 3 | 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 3 | Bir problemi map/reduce olarak ifade eder ve Spark'ın fiziksel planını okur; yavaş ya da hatalı bir toplu işin nedenini (veri çarpıklığı, shuffle, birleştirme stratejisi, tekrarlanan kayıt) belirti ve ölçümden teşhis eder. | 0 | 0 | 4 | 4 | 0 | 5 | 0 | 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 4 | NoSQL veri modellerini, arama altyapısını (ters indeks) ve veri gölü, ambar ve göl-ev yaklaşımlarını erişim desenine ve çözdükleri probleme göre karşılaştırır; parçalama anahtarı seçimini gerekçelendirir. | 0 | 0 | 0 | 0 | 4 | 4 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 5 | Kafka ve akış işlemenin garantilerini (sıralama, olay zamanı, pencere, watermark, teslim garantileri) dikkate alarak uçtan uca bir büyük veri hattı oluşturur; mimarisini, ölçümlerini ve kırılma noktalarını raporlayıp sunar. | 0 | 0 | 0 | 0 | 5 | 5 | 0 | 3 | 4 | 0 | 3 | 4 | 0 | 4 | 0 | 3 | 2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| Değerlendirme Sistemi | |
|---|---|
| Yarıyıl Çalışmaları | Katkı Oranı |
| 1. Ara Sınav | 50 |
| 1. Ödev | 50 |
| Toplam | 100 |
| 1. Final | 50 |
| 1. Yıl İçinin Başarıya | 50 |
| Toplam | 100 |
| AKTS - İş Yükü Etkinlik | Sayı | Süre (Saat) | Toplam İş Yükü (Saat) |
|---|---|---|---|
| Ders Süresi (Sınav haftası dahildir: 16x toplam ders saati) | 14 | 3 | 42 |
| Sınıf Dışı Ders Çalışma Süresi(Ön çalışma, pekiştirme) | 14 | 3 | 42 |
| Ara Sınav | 1 | 10 | 10 |
| Ödev | 1 | 18 | 18 |
| Final | 1 | 15 | 15 |
| Toplam İş Yükü | 127 | ||
| Toplam İş Yükü / 25 (Saat) | 5,08 | ||
| dersAKTSKredisi | 5 | ||