KURUMSAL EĞİTİM, SIFIRDAN ZİRVEYE HADOOP İLE BÜYÜK VERİ İŞLEME

EĞİTİM SÜRESİ

• • 3 Gün
  • Ders Süresi: 50 dakika
  • Eğitim Saati: 10:00 - 17:00

Her iki eğitim formatında eğitimler 50 dakika + 10 dakika moladır. 12:00-13:00 saatleri arasında 1 saat yemek arasındaki verilir. Günde toplam 6 saat eğitim verilir. 3 günlük formatta 18 saat eğitim verilmektedir.

Eğitimler uzaktan eğitim formatında tasarlanmıştır. Her eğitim için Teams linkleri gönderilir. Katılımcılar bu linklere girerek eğitimlere katılırlar. Ayrıca farklı remote çalışma araçları da eğitmen tarafından tüm katılımlara sunulur. Katılımcılar bu araçları kullanarak eğitimlere katılırlar.

Eğitim içeriğinde GitHub ve Codespace kullanılır. Katılımcılar bu platformlar üzerinden örnek projeler oluşturur ve eğitmenle birlikte eğitimlerde sorulan sorulara ve taleplere uygun içeriğe cevap verir.

Eğitim yapay zeka destekli kendi kendine öğrenme formasyonu ile tasarlanmıştır. Katılımcılar eğitim boyunca kendi kendine öğrenme formasyonu ile eğitimlere katılırlar. Bu eğitim formatı sayesinde tüm katılımcılar gelecek tüm yaşamlarında kendilerini güncellemeye devam edebilecekler ve her türlü sorunun karşısında çözüm bulabilecekleri yeteneklere sahip olacaklardır.

EĞİTİM HEDEFİ

• Büyük Veri Kavramını ve Uygulamalarını Anlamak: Katılımcılar, büyük verinin bankacılık sektöründeki yeri, işlenme biçimi ve analiz yöntemlerini kavrayacak; 3V (Hacim, Hız, Çeşitlilik) bağlamında veriyle başa çıkma stratejilerini geliştireceklerdir.
• Hadoop Ekosistemini Etkin Kullanabilmek: Eğitim boyunca, Hadoop’un temel bileşenleri olan HDFS, YARN, MapReduce ve Hive hakkında kapsamlı bilgi edinilecek, katılımcılar bu teknolojileri gerçek bankacılık verileri üzerinde nasıl kullanacaklarını uygulamalı olarak öğreneceklerdir.
• Apache Spark ile Gerçek Zamanlı Veri İşleme Becerisi Kazanmak: Spark’ın bellek içi işlem gücünden yararlanarak, hızlı ve paralel veri işleme altyapılarının nasıl geliştirileceği öğretilecektir. Bankacılıkta sahtekârlık tespiti, kredi risk analizleri gibi senaryolarda Spark’ın nasıl konumlanacağı örneklerle açıklanacaktır.
• Veri Ambarı ve SQL Tabanlı Analitik Yetkinliği Geliştirmek: Hive ve Spark SQL gibi araçlarla yapılandırılmış verilerin sorgulanması, veri modellerinin tasarımı ve performanslı SQL yazımı gibi beceriler kazandırılacaktır.
• Veri Aktarımı ve Entegrasyon Senaryolarına Hakim Olmak: Katılımcılar, Sqoop ve Flume gibi araçları kullanarak ilişkisel veritabanlarından büyük veri ortamlarına veri aktarımı yapmayı ve log sistemlerinden veri akışı sağlamayı öğreneceklerdir.
• Veri Formatları ve Performans Optimizasyonu: Eğitimde, Parquet, Avro ve ORC gibi veri formatlarının kullanım alanları, sıkıştırma algoritmalarının seçimi ve bu kararların performansa etkileri detaylı şekilde ele alınacaktır.
• Veri Kalitesi, Bölümleme ve Bucketing Yöntemlerini Uygulamak: Katılımcılar, Hive üzerinde veri bölümleme ve bucketing stratejilerini nasıl kullanacaklarını, büyük veri setlerinde sorgu performansını artırmak için bu yöntemlerin nasıl uygulandığını öğreneceklerdir.
• Dağıtık Sistemlerde Hata Toleransı ve Kaynak Yönetimi: HDFS üzerindeki veri replikasyonu, YARN’ın kaynak yönetimi gibi kavramlarla sistemin sürekliliğini sağlama becerisi kazandırılacaktır.
• ETL/ELT Süreçlerini Bankacılığa Uygun Şekilde Modellemek: Gerçek hayat senaryoları üzerinden, veri kaynaklarından veri alımı, dönüşümü ve analitik yapılara aktarımı gibi süreçler modelletilecek; bu süreçlerde performans, güvenlik ve denetlenebilirlik kriterlerine dikkat edilecektir.
• Bulut Üzerinde Büyük Veri Mimarilerine Yönelik Farkındalık Kazanmak: AWS EMR, Azure HDInsight gibi platformlarda Hadoop/Spark altyapılarının nasıl çalıştığı, maliyet ve ölçeklenebilirlik avantajları ele alınarak sektörel dönüşüm yol haritası çizilecektir.

Bu eğitim, katılımcılara yalnızca teknik bilgi kazandırmakla kalmaz; aynı zamanda bankacılık sektörünün regülasyonlara uygun, performanslı ve güvenli büyük veri altyapılarını nasıl inşa edeceklerine dair uygulamalı yetkinlik kazandırmayı amaçlar.

EĞİTİM İÇERİĞİ

Modül 1: Bankacılıkta Büyük Veriye Giriş ve Hadoop Temelleri

• Senaryo: Büyük bir bankanın müşteri işlemleri verileri her geçen gün katlanarak artıyor. Geleneksel veri işleme sistemleri artık yetersiz kalmakta. Bu modülde bankacılık sektöründeki veri hacmi, çeşitliliği ve hızına çözüm olarak Hadoop mimarisi tanıtılır.
• İçerik:
  • “3V” kavramı (Volume, Velocity, Variety) ve bankacılıkta karşılığı.
  • Hadoop'un mimarisi ve HDFS ile veri saklama stratejileri.
  • YARN ile kaynak yönetimi ve bankacılık sistemlerinde ölçeklenebilirlik.
  • CLI ile HDFS işlemleri, veri replikasyonu ve fault-tolerant yapıların önemi.

Modül 2: Hadoop Ekosistemi ve Bankacılık Uygulamaları

• Senaryo: Bir bankanın kredi analiz sisteminde günlük milyonlarca işlem verisi analiz ediliyor. Hadoop ekosistemiyle bu verinin nasıl işlenip anlamlı hale getirilebileceği bu modülde ele alınır.
• İçerik:
  • MapReduce ile büyük veri işleme paradigması.
  • Hive ile banka verileri üzerinde SQL benzeri sorgular.
  • Apache Hadoop dağıtım seçeneklerinin bankacılık sistemlerine entegrasyonu.
  • Veri yükleme, küçük dosya sorunu ve performansa etkisi.

Modül 3: Apache Spark ve Hızlı Analitik

• Senaryo: Bankacılık işlemlerinde gecikmelerin önlenmesi ve müşteri davranışlarının anlık takibi için Spark tabanlı hızlı analitik uygulamaları geliştirme.
• İçerik:
  • Spark RDD ve DataFrame soyutlaması ile paralel veri işleme.
  • Spark SQL ile bankacılık işlem verilerine hızlı erişim.
  • ETL senaryolarının Spark ile modellenmesi.
  • Streaming verilerle kredi dolandırıcılığı analizine giriş.

Modül 4: Veri Entegrasyonu ve Bankacılıkta Gerçek Zamanlı Toplama

• Senaryo: ATM, mobil ve şube verilerinin entegre şekilde işlenmesi. Flume ve Sqoop ile sistemler arası veri akışı sağlanarak müşteri davranışlarının bütünsel olarak analiz edilmesi.
• İçerik:
  • Sqoop ile Oracle/SQL Server veri tabanlarından Hadoop'a veri çekme.
  • Flume ile log ve olay verilerinin HDFS'e aktarılması.
  • Veri formatları (Avro, Parquet, ORC) ve sıkıştırma algoritmalarının seçimi.
  • Partitioning ve bucketing kavramlarının performansa etkisi.

Modül 5: Gelişmiş Analiz, Optimizasyon ve Gerçek Bankacılık Senaryoları

• Senaryo: Bir bankanın kredi skorlama ve dolandırıcılık tespiti süreçlerinde gelişmiş SQL analizi ve Spark optimizasyon teknikleri kullanımı.
• İçerik:
  • Join stratejileri ve performans optimizasyonları (Broadcast Join, Shuffle azaltımı).
  • UDF ve pencere fonksiyonları ile müşteri segmentasyonu.
  • Spark job lifecycle, bellek yönetimi ve caching stratejileri.
  • Data Skew probleminin bankacılık uygulamalarında çözümü.
  • Hadoop ekosisteminde kurumsal veri akışlarının (pipelines) modellenmesi.
  • Bulut tabanlı büyük veri çözümlerinin bankacılık sektörü için karşılaştırmalı değerlendirmesi: EMR, HDInsight, Dataproc.

EĞİTİM YÖNETİMİ

• Teorik Temel ve Kavramsal Çerçeve: Büyük veri mimarileri, dağıtık sistemler ve veri mühendisliğinin temelleri, bankacılık sektörü örnekleriyle aktarılacaktır.
• Uygulamalı Senaryo Çalışmaları: Gerçek bankacılık verileri üzerinden (maskelenmiş örnekler) Spark, Hive ve HDFS üzerinde analiz çalışmaları yapılacaktır.
• Teknik Atölyeler ve Soru-Cevap: Her modül sonunda yapılan uygulamalar tartışılacak; eğitmen tarafından yönlendirilen interaktif Q&A oturumları ile pekiştirme sağlanacaktır.
• Proje Tabanlı Uygulama: Eğitimin son gününde, katılımcılar bir bankacılık iş senaryosuna uygun olarak Spark & Hive tabanlı bir veri işleme çözümü geliştirecektir. Takım çalışmasıyla gerçekleştirilecek bu projede ETL süreçleri, veri kalitesi kontrolleri ve optimizasyonlar değerlendirilecektir.

HEDEF KİTLE

1. Veri Mühendisleri: Bankacılıkta veri gölleri, analitik sistemler ve işlem hacmi yüksek veri kümeleri üzerinde çalışan teknik personel.
2. BT Altyapı Uzmanları: Büyük veri sistemlerinin kurulumu, dağıtık dosya sistemleri ve kaynak yönetimi konularında görev alan altyapı ekipleri.
3. İş Zekâsı ve Veri Ambarı Ekipleri: Mevcut veri ambarlarını büyük veri platformlarıyla entegre etmek isteyen analistler ve teknik uzmanlar.
4. Yazılım Geliştiriciler: Apache Spark, Hive, HDFS gibi teknolojilerle çalışan veya bu alanlara geçmek isteyen geliştiriciler.
5. Veri Bilimcileri: Daha verimli veri hazırlama ve işleme süreçleri geliştirmek isteyen veri bilimi profesyonelleri.
6. BT Yöneticileri ve Mimarlar: Büyük veri çözümlerinin tasarımı, bütçelendirilmesi ve yönetişimiyle ilgilenen karar vericiler.
7. Yeni Mezunlar ve Stajyerler: Büyük veri ve veri mühendisliği alanına güçlü bir teknik temel ile adım atmak isteyen genç profesyoneller.
8. Danışmanlar: Bankacılık müşterilerine büyük veri altyapısı kurulum ve optimizasyon hizmetleri sunan danışmanlık firması çalışanları.

KATILIMCILARDAN BEKLENTİLERİMİZ

• Temel düzeyde Linux terminal komutları ve dosya sistemi bilgisine sahip olunması.
• SQL ve veritabanı tasarımı konularında ön bilgi (örnek: SELECT, JOIN, GROUP BY gibi sorgu yapıları).
• Temel düzeyde yazılım geliştirme veya veri akışı mantığına hâkimiyet (Python/Java bilgisi avantaj sağlar).
• Veri yapıları, işlem mantığı, ETL süreçlerine ilgi ve teknik merak.
• Aktif katılım, problem çözme yaklaşımı ve proje bazlı uygulamalara açık bir öğrenme disiplini.