KURUMSAL EĞİTİM, APACHE KAFKA

APACHE KAFKA EĞİTİMİ

Modern yazılım sistemleri artık saniyede milyonlarca olayı işlemek zorunda: kullanıcı davranışı, işlem kayıtları, makine telemetrisi, uygulama logları ve sensör akışları eş zamanlı büyüyor. Geleneksel istek/yanıt mimarileri bu hacmi kaldıramaz; mesaj kuyrukları ise yavaş kalır. Apache Kafka bu kırılma noktasında ortaya çıktı ve gerçek zamanlı veri akışı altyapısının fiili standardına dönüştü. LinkedIn, Netflix, Uber, Airbnb ve dünyanın önde gelen şirketleri, mimarilerinin omurgasına Kafka'yı koydu.

Bu eğitim, Apache Kafka'yı kavramsal düzeyden üretim ortamına taşıyan kapsamlı bir program olarak tasarlandı. Broker, topic, partition, consumer group ve offset yönetiminden Kafka Streams ile gerçek zamanlı akış işlemeye, Kafka Connect ile çok kaynaklı veri entegrasyonundan SSL/TLS ve SASL ile güvenlik mimarisine, KRaft ile Zookeeper'sız kurulumdan Prometheus/Grafana ile izlemeye uzanan on modüle yayılan uygulamalı bir müfredat sunar.

Her modül, gerçek hayattan alınan mühendislik senaryolarıyla pekiştirilir. E-ticaret sipariş akışı, IoT telemetri pipeline'ı, gerçek zamanlı fraud tespiti ve mikroservis event bus gibi endüstri kullanım örnekleri üzerinden Kafka'nın güçlü yönleri ve sınırları dürüstçe aktarılır.

Eğitim; event-driven mimariyi kurmak, veri entegrasyon altyapısını modernize etmek veya büyük veri pipeline'larını gerçek zamanlı hale getirmek isteyen yazılım geliştiriciler, veri mühendisleri ve sistem mimarları için tasarlanmıştır. Temel Java veya Python bilgisi yeterli başlangıç noktasıdır.

EĞİTİM HEDEFİ

Bu eğitimin temel hedefi, katılımcılara Apache Kafka'yı teorik düzeyde öğretmekle kalmayıp; gerçek bir event streaming altyapısını kurma, yapılandırma, yönetme ve optimize etme yetkinliği kazandırmaktır. Eğitim sonunda katılımcılar; Kafka'nın dağıtık mimarisini (broker, partition, replication, ISR) eksiksiz kavrar ve topic tasarımı kararlarını bilinçli biçimde alır. Producer ve Consumer API'lerini kullanarak JSON ve Avro formatında mesaj üretir ve tüketir; Consumer Group ile offset yönetimini doğru uygular. Kafka Connect ile veritabanı, Elasticsearch ve S3 entegrasyonları kurar; Kafka Streams ile stateful ve stateless akış işleme pipeline'ları geliştirir. SSL/TLS, SASL ve ACL ile üretim seviyesinde güvenlik mimarisi tasarlar; Prometheus ve Grafana ile Kafka kümesinin sağlığını gerçek zamanlı izler. KRaft mode ile Zookeeper'sız modern kurulum yapar ve performans optimizasyonu için broker, producer ve consumer parametrelerini tuning eder.

EĞİTİM İÇERİĞİ

GİRİŞ VE TEMEL KAVRAMLAR — NEDEN KAFKA?

• Apache Kafka'nın Doğuşu ve Evrim Hikayesi: LinkedIn'deki orijinal problem ve Kafka'nın çözdüğü mühendislik güçlüğü; geleneksel mesaj kuyruklarından (RabbitMQ, ActiveMQ) farkı; Kafka'nın event log felsefesi ve "veri gerçeğin kaynağıdır" yaklaşımı.
• Temel Bileşenler ve Kavramlar: Broker (mesajları yöneten sunucu), Producer (veri üreten istemci), Consumer (veriyi tüketen istemci), Topic (veri kategorisi), Partition (paralel işleme birimi) ve Offset (mesaj konumu) kavramlarının birbirleriyle ilişkisi.
• Kafka'nın Çalışma Mantığı — Commit Log Modeli: Mesajların disk üzerinde sıralı append-only log olarak yazılması; sequential I/O'nun neden random I/O'dan çok daha hızlı olduğu; mesajların süre ve boyut bazlı retention politikasıyla yönetimi.
• Kafka'nın Avantajları ve Kullanım Senaryoları: Saniyede milyonlarca mesaj işleme kapasitesi; yatay ölçeklenebilirlik; kalıcı veri saklama ile yeniden tüketim; event sourcing, CQRS ve mikroservis choreography için Kafka'nın rolü.

KAFKA MİMARİSİ — DERİN DALTI

• Dağıtık Mimari ve Kafka Kümesi: Çok broker'lı küme tasarımı; broker liderlik seçimi (leader election); controller broker'ın görevi; Kafka kümesinin nasıl büyütüldüğü ve broker'ların aralarında nasıl iletişim kurduğu.
• Topic, Partition ve Offset Yönetimi: Partition sayısının throughput ve sıralama garantisine etkisi; partition anahtarı (partition key) ile veri yönlendirme stratejileri; offset commit'in exactly-once, at-least-once ve at-most-once teslimat semantikleri üzerindeki rolü.
• Replikasyon ve Hata Toleransı: Lider (leader) ve takipçi (follower) partition'ları; replication factor seçimi ve ISR (In-Sync Replicas) listesinin sağlıklı tutulması; broker arızasında otomatik liderlik devri süreci.
• Consumer Group ve Offset Yönetimi: Tüketici gruplarının partition'lara otomatik atanması (partition assignment); group rebalancing'in tetikleyicileri ve minimize edilmesi; __consumer_offsets topic'inin yapısı ve manuel offset yönetimi.
• Zookeeper'ın Rolü ve KRaft Geçişi: Geleneksel Zookeeper koordinasyon mimarisinin sınırlılıkları; Kafka 3.x ile gelen KRaft (Kafka Raft) konsensüs mekanizması; Zookeeper'sız küme kurulumunun avantajları ve geçiş yolu haritası.

KAFKA KURULUMU VE YAPILANDIRMASI

• Yerel Kurulum — Linux ve Windows: JVM bağımlılığı ve sürüm yönetimi; binary arşivden kurulum; server.properties ve zookeeper.properties yapılandırma dosyalarının anahtar parametreleri; servis olarak çalıştırma.
• Docker ile Kafka Ortamı: Docker Compose ile tek komutta broker + Zookeeper kümesi ayağa kaldırma; Confluent Platform imajları; geliştirme ortamı ile üretim ortamı konfigürasyon farkları.
• Kafka Broker Konfigürasyonu: num.partitions, log.retention.hours, log.segment.bytes, min.insync.replicas ve unclean.leader.election.enable parametrelerinin doğru ayarlanması; konfigürasyon değişikliklerinin kümeye sıcak uygulanması.
• Performans ve Ölçeklendirme için Optimum Ayarlar: Disk I/O ve ağ bant genişliği ayarları; JVM heap ve GC yapılandırması; dosya tanımlayıcı limitleri ve sistem kernel parametrelerinin Kafka için optimize edilmesi.

KAFKA İLE VERİ ÜRETME VE TÜKETME

• Producer API — Derinlemesine: acks parametresi (0, 1, all) ile güvenilirlik-performans dengesi; batch.size ve linger.ms ile toplu gönderim optimizasyonu; idempotent producer ile tam olarak bir kez (exactly-once) üretim garantisi.
• Consumer API — Derinlemesine: Poll döngüsünün anatomisi; max.poll.records ve fetch.min.bytes ile throughput ayarı; otomatik ve manuel offset commit; consumer heartbeat ve session timeout yönetimi.
• Mesaj Serileştirme — JSON ve Avro: JSON ile hızlı başlangıç ve şema sürümleme zorlukları; Apache Avro ile şema zorunluluğu ve veri doğrulama; Confluent Schema Registry ile merkezi şema yönetimi ve uyumluluk politikaları.
• Kafka Konsol Araçları ile Pratik İşlemler: kafka-topics.sh ile topic oluşturma, listeleme ve silme; kafka-console-producer.sh ve kafka-console-consumer.sh ile hızlı test; kafka-consumer-groups.sh ile tüketici grubu ve lag analizi.

KAFKA CONNECT İLE VERİ ENTEGRASYONU

• Kafka Connect Nedir ve Neden Kullanılır? Kafka ile dış sistemler arasında kod yazmadan veri köprüsü kurmanın standart yolu; Source Connector (veri çekme) ve Sink Connector (veri iletme) mimarileri; Standalone ve Distributed Connect modları.
• JDBC Source Connector ile Veritabanı Entegrasyonu: PostgreSQL ve MySQL'den değişen satırları CDC (Change Data Capture) olmadan Kafka'ya çekme; sorgulama stratejileri (timestamp, incrementing column); şema dönüşümü ve Single Message Transforms (SMT).
• Sink Connector'lar — Elasticsearch, S3 ve MongoDB: Elasticsearch Sink ile gerçek zamanlı arama indeksleme; Amazon S3 Sink ile data lake'e olay arşivleme; MongoDB Sink ile olay tabanlı belge güncelleme; batching ve flush aralıklarının ayarlanması.
• Kafka Connect Küme Yönetimi ve İzleme: REST API ile connector yaşam döngüsü yönetimi (başlatma, duraklatma, yeniden başlatma); connector hatası otomatik kurtarma; Kafdrop ve Confluent Control Center ile görselleştirme.

KAFKA STREAMS — GERÇEKZAMANLı AKIŞ İŞLEME

• Kafka Streams API'ye Giriş: Apache Spark veya Flink'ten farkı; ayrı bir cluster gerektirmeyen, Kafka'nın kendisinde çalışan kütüphane modeli; Streams DSL ve Processor API katmanlarının karşılaştırması.
• Stateless Akış Dönüşümleri: filter(), map(), flatMap(), branch() ve merge() ile olayların gerçek zamanlı filtrelenmesi, dönüştürülmesi ve zenginleştirilmesi.
• Stateful İşlemler ve KTable: KStream (olay akışı) ile KTable (durum tablosu) arasındaki fark; groupBy(), count(), reduce() ve aggregate() ile durum biriktirme; RocksDB ile yerel durum deposu yönetimi.
• Windowing ve Join Operasyonları: Tumbling, Hopping ve Session pencereleri ile zaman dilimli agregasyon; KStream-KStream ve KStream-KTable join senaryoları; zaman damgası (event time, processing time, ingestion time) farklarının pencere hesaplamalarına etkisi.
• Interactive Queries ile Gerçek Zamanlı Veri Analizi: Akış işleme sonucundaki yerel durumu REST API üzerinden sorgulama; dağıtık Interactive Queries ile tüm kümedeki duruma erişim; canlı dashboard senaryoları.

KAFKA GÜVENLİĞİ

• SSL/TLS ile Şifrelenmiş İletişim: Broker, producer ve consumer arasındaki tüm ağ trafiğinin TLS ile şifrelenmesi; sertifika zinciri oluşturma (CA, keystore, truststore); SSL handshake performans etkisinin azaltılması.
• SASL ile Kimlik Doğrulama: SASL/PLAIN, SASL/SCRAM ve SASL/GSSAPI (Kerberos) mekanizmaları; kurumsal kimlik doğrulama altyapısıyla (LDAP, Active Directory) Kafka entegrasyonu; SASL ve SSL'yi birlikte yapılandırma.
• ACL ile Yetkilendirme: Kafka ACL'lerinde kaynak türleri (topic, group, cluster, transactional ID) ve izin türleri (Read, Write, Create, Delete, Alter); kafka-acls.sh ile politika yönetimi; en az ayrıcalık prensibi (principle of least privilege) uygulaması.
• Veri Şifreleme ve Uyumluluk: Mesaj düzeyinde uçtan uca şifreleme (end-to-end encryption) stratejileri; KVKK ve GDPR kapsamındaki Kafka cluster veri işleme uyumluluğu; audit log ile güvenlik olaylarının izlenmesi.

KAFKA MONİTORİNG VE YÖNETİM ARAÇLARI

• Kafka JMX Metrikleri: Broker, producer ve consumer için kritik JMX metriklerinin kataloglanması; UnderReplicatedPartitions, OfflinePartitionsCount, ActiveControllerCount ve RequestHandlerAvgIdlePercent metriklerinin anlamı.
• Prometheus ve Grafana ile İzleme Altyapısı: JMX Exporter ile Kafka metriklerinin Prometheus'a aktarılması; hazır Grafana dashboard'larının kurulumu; uyarı kuralları (alerting rules) oluşturma ve bildirimlerin yapılandırılması.
• Consumer Lag Takibi — Burrow: Tüketici gruplarının mesaj gecikmesinin (lag) izlenmesi; lag'ın büyüme trendine göre otomatik uyarı; Burrow'un derinlemesine yapılandırması.
• Yönetim Araçları: Kafdrop ile kolay topic ve mesaj görselleştirmesi; Confluent Control Center'ın kurumsal yönetim özellikleri; CMAK (Cluster Manager for Apache Kafka) ile çok cluster yönetimi; kafka-log-dirs.sh ile disk kullanımı analizi.

KAFKA İLE UYGULAMALI PROJELER VE MİMARİ DESENLER

• E-Ticaret Sipariş Akışı Mimarisi: Sipariş oluşturma, stok güncelleme, ödeme işleme ve bildirim servisleri arasında Kafka tabanlı event-driven choreography; saga pattern ile dağıtık işlem yönetimi.
• Gerçek Zamanlı Log Analizi Pipeline'ı: Uygulama loglarının Kafka'ya akmesi, Kafka Streams ile anomali tespiti ve Elasticsearch Sink ile arama platformuna aktarımı; ELK stack ile tam log analiz mimarisinin kurulumu.
• IoT Veri Akışı Yönetimi: Yüz binlerce sensörün veri gönderdiği yüksek hacimli topic tasarımı; zaman serisi verisinin partitioning stratejisi; InfluxDB veya TimescaleDB Sink ile telemetri depolama.
• Mikroservis Mimarisinde Kafka — Event Bus Tasarımı: Servisler arası senkron REST çağrılarından asenkron Kafka olaylarına geçiş; event schema versiyonlama ve geriye dönük uyumluluk; outbox pattern ile veritabanı ve Kafka arasındaki tutarlılık garantisi.

KAFKA PERFORMANS OPTİMİZASYONU VE YENİLİKLER

• Broker Performans Tuning: num.network.threads, num.io.threads, socket.send.buffer.bytes parametreleri; log compaction stratejisi; disk RAID ve dosya sistemi (XFS vs ext4) seçiminin performansa etkisi.
• Producer Performans İyileştirme: compression.type (gzip, snappy, lz4, zstd) ile ağ ve disk tasarrufu; max.in.flight.requests.per.connection ile idempotent öncelikli sıralama; batching ve asenkron gönderim optimizasyonu.
• Consumer Performans İyileştirme: Partition sayısını paralel consumer sayısıyla hizalama; fetch.max.bytes ve max.poll.interval.ms ayarları; mesaj işleme süresini düşürmek için asenkron iş parçacığı tasarımı.
• Replikasyon Faktörü ve ISR Yönetimi: Replikasyon faktörü seçiminin dayanıklılık ve yazma gecikmesine dengesi; min.insync.replicas ile veri kaybı riskinin kontrol altına alınması; ISR'ın daralması durumunda uyarı stratejileri.
• KRaft Mode ve Kafka'nın Geleceği: Kafka 3.3+ ile production-ready KRaft; metadata quorum ve controller ile broker rolü ayrımı; KRaft'ın ölçek ve hız avantajları; Kafka 4.0'da Zookeeper desteğinin tamamen kaldırılması yol haritası.

EĞİTİM YÖNTEMİ

• Kavramsal Anlatım ve Mimari Diyagramlar: Her konu, sezgisel bir benzetme ve gerçek dünya mühendislik problemiyle açılır; ardından Kafka'nın bu problemi nasıl çözdüğü mimari diyagramlarla gösterilir. Hangi parametrenin hangi davranışı tetiklediği her zaman açıkça motivasyonuyla aktarılır.
• Uygulamalı Laboratuvarlar — Gerçek Kafka Kümesi: Her modülün karşılığı olan pratik egzersizler Docker Compose üzerinde çalışan gerçek bir Kafka kümesinde yürütülür. Katılımcılar kendi makinelerinde producer yazar, consumer çalıştırır ve Kafka Connect konfigürasyonu yapar.
• Endüstri Vaka Çalışmaları: E-ticaret sipariş akışı, gerçek zamanlı fraud tespiti, IoT telemetri pipeline'ı ve mikroservis event bus senaryoları; her vakada Kafka'nın neden seçildiği, alternatiflere karşı avantajları ve üretimde karşılaşılan zorluklar paylaşılır.
• Performans Tuning Atölyesi: Katılımcılar ölçüm yaparak somut performans sorunlarını (consumer lag artışı, yüksek üretim gecikmesi, ISR daralması) tespit eder ve yapılandırma değişiklikleriyle çözer; metrik okuma ve yorumlama pratiği kazanır.
• Mimari Tasarım Tartışmaları: Katılımcılar kendi organizasyonlarındaki veri akışı senaryosunu Kafka mimarisine dönüştürür; topic tasarımı, partition sayısı, replikasyon faktörü ve connector seçimi kararları grup tartışmasıyla alınır.
• Danışmanlık ve Açık Soru-Cevap: Her gün sonunda serbest danışmanlık zamanı; katılımcılar kendi Kafka projelerine veya mevcut sistemlerine özgü mimari sorularını uzmana yöneltir; Confluent sertifikasyon yolları hakkında rehberlik sağlanır.

HEDEF KİTLE

VERİ MÜHENDİSLERİ VE PLATFORM MÜHENDİSLERİ

• Gerçek zamanlı veri pipeline'ları kurmak, ETL/ELT süreçlerini Kafka tabanlı event streaming'e dönüştürmek, Kafka Connect ile farklı veri kaynaklarını entegre etmek ve Kafka Streams ile in-motion veri işleme kapasitesi kazanmak isteyen veri ve platform mühendisleri.

YAZILIM GELİŞTİRİCİLER VE BACKend MÜHENDİSLER

• Mikroservis mimarilerinde güvenilir event bus tasarlamak, Producer ve Consumer API'lerini uygulamalarına entegre etmek, saga pattern ve outbox pattern uygulamak ve Kafka tabanlı olay akışı sistemi geliştirmek isteyen yazılım ve backend mühendisleri.

ÇÖZÜM MİMARLARI VE TEKNİK LİDERLER

• Kurumsal veri entegrasyon mimarisini modernize etmek, event-driven mimariyi organizasyona yaymak, topic tasarımı ve partition stratejisi gibi kritik mimari kararları bilinçli şekilde almak ve Kafka kümesini üretim ortamında güvenle yönetmek isteyen çözüm mimarları ve teknik liderler.

DEVOPS VE SRE MÜHENDİSLERİ

• Docker ve Kubernetes üzerinde Kafka kümesi dağıtmak, Prometheus ve Grafana ile Kafka monitörlemesi kurmak, SSL/TLS ve SASL güvenlik yapılandırması yapmak ve üretim ortamında Kafka'nın operasyonel sorumluluğunu üstlenmek isteyen DevOps ve SRE mühendisleri.

VERİ BİLİMCİLERİ VE ML MÜHENDİSLERİ

• Gerçek zamanlı özellik mühendisliği (real-time feature store) yapılandırmak, çevrimiçi tahmin (online inference) için model besleyen event stream tasarlamak ve büyük veri analitik pipeline'larına Kafka'yı entegre etmek isteyen veri bilimcileri ve ML mühendisleri.

KATILIMCILARDAN BEKLENTİLERİMİZ

• Temel Programlama Bilgisi: Java, Python veya başka bir dilde fonksiyon, döngü ve HTTP istek/yanıt döngüsünü yazabilmek; API çağrısı yapmış olmak. İleri düzey Java uzmanlığı beklenmez; eğitim boyunca kullanılan kod örnekleri açıklamalı biçimde sunulur.
• Veri Akışı ve Mesaj Kuyruğu Farkındalığı: "Mesaj", "kuyruk", "producer" ve "consumer" gibi temel kavramları duymuş olmak; RabbitMQ, SQS veya herhangi bir mesajlaşma sistemiyle temas kurmuş olmak avantaj sağlar ancak zorunlu değildir.
• Linux Komut Satırı Temel Kullanımı: Terminal üzerinde dosya kopyalama, süreç başlatma ve konfigürasyon dosyasını düzenleme yapabilmek; Kafka kurulumu ve yönetimi komut satırında gerçekleştirildiğinden bu bilgi uygulamayı kolaylaştırır.
• Docker ile Minimal Deneyim (Önerilir): docker run ve docker-compose up komutlarını daha önce çalıştırmış olmak; laboratuvar ortamı Docker Compose üzerinde kurulur ve kurulum adımları eğitimde gösterilir.
• Sistemleri Gerçek Senaryolarda Uygulamaya Odaklanmak: Yalnızca kavramları öğrenmek değil; kendi şirketinin veri akışı problemlerine veya geliştirme projelerine Kafka'yı nasıl uygulayacağını düşünerek katılmak. Bu zihinsel hazırlık, eğitimden alınan değeri katlar.