.NET İLE APACHE KAFKA VE OLAY TABANLI MİMARİ EĞİTİMİ

.NET İLE APACHE KAFKA EĞİTİMİ

Gerçek zamanlı veri akışı artık yalnızca büyük teknoloji şirketlerinin lüksü değil; modern kurumsal yazılım mimarisinin olmazsa olmazı haline geldi. Saniyede milyonlarca olayı güvenilir biçimde işleyebilen Apache Kafka, olay güdümlü mikroservis ekosisteminin kalbinde atıyor. .NET platformunda bu gücü kurumsal standartlarda kullanmak ise iyi bir belge okumaktan fazlasını gerektiriyor.

Bu eğitim; Confluent.Kafka kütüphanesinin derinliklerinden Schema Registry ile tip güvenli veri yönetişimine, Kafka Streams ve KSQLdb ile gerçek zamanlı akış işlemeden Kubernetes üzerinde Strimzi Operator ile production-grade cluster yönetimine kadar geniş bir teknik yelpazede uygulamalı deneyim sunar. Her modül, gerçek kurumsal senaryolar üzerinde C# kodu yazılarak pekiştirilir.

Eğitim boyunca Event Sourcing, CQRS ve Saga gibi ileri mimari desenlerin Kafka ortamına nasıl uyarlandığı; Exactly-Once semantiği ve idempotent producer ile nasıl veri bütünlüğü sağlandığı; Debezium CDC ile veritabanı değişikliklerinin olay akışına nasıl dönüştürüldüğü uygulamalı olarak işlenir. Güvenlik (SASL, ACL, TLS), izleme (JMX → Prometheus → Grafana) ve CI/CD entegrasyonu karşılıklı konular değil, müfredatın bütünleşik parçalarıdır.

Bu eğitim, bir kütüphane kullanım kılavuzu değil; .NET ekosisteminde gerçek zamanlı, olay güdümlü ve ölçeklenebilir sistem tasarlama programıdır. Backend geliştiriciler, yazılım mimarları ve DevOps mühendisleri için tasarlanmıştır.

EĞİTİM HEDEFİ

Bu eğitimin temel hedefi; .NET geliştiricilerine Apache Kafka'yı kurumsal ölçekli, güvenilir ve gözlemlenebilir sistemlerde uçtan uca tasarlama ve yönetme yetkinliği kazandırmaktır. Eğitim sonunda katılımcılar; Kafka'nın commit log mimarisini, partition ve consumer group mekaniklerini anlayarak partition tasarım kararları alır, Confluent.Kafka ile yüksek performanslı producer ve consumer servisleri geliştirir. Bunların yanı sıra Exactly-Once semantiğini (EOS) idempotent ve transactional API ile uygular, Avro/Protobuf ve Schema Registry ile veri sözleşmelerini sürüm güvenli biçimde yönetir, Kafka Connect ve Debezium ile CDC (Change Data Capture) tabanlı veri entegrasyonu kurar, Kafka Streams ve KSQLdb ile gerçek zamanlı akış işleme pipeline'ları tasarlar, Event Sourcing, CQRS ve Saga desenlerini Kafka ile hayata geçirir, SASL/TLS/ACL tabanlı güvenlik mimarisi ve Prometheus/Grafana ile tam gözlemlenebilirlik sağlar, Strimzi Operator ile Kubernetes üzerinde Kafka cluster yaşam döngüsünü yönetir ve CI/CD pipeline'larına Kafka altyapısını IaC (Infrastructure as Code) ile entegre edebilir hale gelir.

EĞİTİM İÇERİĞİ

1. OLAY GELİŞTİRME MİMARİSİ VE KAFKA'YA STRATEJİK BAKIŞ

• Senkron vs Asenkron İletişim: REST/gRPC tabanlı senkron bağlaşımın ölçeklenebilirlik tavan noktaları; pub/sub ve queue desenlerinin karşılaştırması; loose coupling, yüksek erişilebilirlik ve back-pressure yönetimi açısından olay güdümlü mimarinin avantajları.
• Apache Kafka'nın Duruşu: Commit log felsefesi ve geleneksel mesaj kuyruklarından (RabbitMQ, ActiveMQ) temel farklar; Kafka'nın hem mesaj broker'ı hem dağıtık depolama hem de akış işleme platformu olarak kurumsal konumlandırılması.
• Kurumsal Referans Senaryolar: Banka işlem akışları, e-ticaret sipariş yönetimi, IoT telemetri hattı ve click-stream analitik; her sektörden gerçek Kafka kullanım vakalarının maliyet/fayda analizi.
• Kafka Ekosistemi Haritası: Kafka Core, Kafka Connect, Kafka Streams, KSQLdb, Schema Registry ve Confluent Platform bileşenlerinin birbirleriyle ilişkisi; Apache Kafka vs Azure Service Bus vs AWS Kinesis kurumsal seçim kriterleri.

2. KAFKA MİMARİSİ: BROKER, CLUSTER VE REPLIKASYON

• Cluster Bileşenleri ve KRaft: Broker rolü ve sorumlulukları; Zookeeper bağımlılığının kaldırılması ve KRaft (Kafka Raft Metadata) ile self-managed metadata mimarisine geçiş; controller quorum ve leader election mekanizması.
• Topic, Partition ve Offset: Partition sayısı kararlarında throughput, parallelism ve ordering trade-off'ları; offset yönetimi ve consumer position takibi; auto.offset.reset politikaları (earliest, latest, none).
• Replikasyon ve Yüksek Erişilebilirlik: Replication factor ve ISR (In-Sync Replicas) kavramları; leader/follower okuma mimarisi; min.insync.replicas ile veri dayanıklılığı ayarı; broker failure senaryosu simülasyonu ve otomatik leader election süreci.
• Log Retention ve Compaction: Zaman bazlı ve boyut bazlı log temizleme politikaları; log compaction ile son değer kalıcılığı (event store on Kafka); segment yapısı ve disk I/O optimizasyonu.

3. .NET İLE KAFKA PRODUCER GELİŞTİRME

• Confluent.Kafka Kurulumu ve Bağlantı Yönetimi: NuGet entegrasyonu, ProducerConfig parametreleri (BootstrapServers, ClientId, SecurityProtocol); .NET Generic Host ve IHostedService ile servis yaşam döngüsü entegrasyonu; bağlantı havuzu ve producer nesne yeniden kullanım stratejileri.
• Mesajlaşma Desenleri: ProduceAsync ile fire-and-forget ve delivery report callback; key tabanlı partition yönlendirme ve özel partitioner tasarımı; batch gönderim için linger.ms ve batch.size ayarı; header yönetimi ve mesaj meta verisi.
• Hata Yönetimi ve Dayanıklılık: Transient hata sınıflandırması (retriable vs fatal); retries, retry.backoff.ms ve max.in.flight.requests.per.connection dengelenmesi; delivery guarantee'yi bozmadan circuit breaker entegrasyonu; Dead Letter Topic (DLT) tasarımı ve yönlendirme stratejisi.
• Performans Optimizasyonu: Acks ayarlarının (0/1/all) gecikme-dayanıklılık etkisi; compression.type seçimi (snappy, lz4, zstd) ve veri tipi bazlı benchmark; asenkron batch akümülasyonu ile throughput maksimizasyonu.

4. .NET İLE KAFKA CONSUMER GELİŞTİRME VE CONSUMER GROUP

• Consumer Group Mekaniği: Group.id ile yatay ölçekleme; partition assignment stratejileri (RangeAssignor, RoundRobin, StickyAssignor, CooperativeSticky); rebalancing tetikleyicileri ve incremental cooperative rebalancing ile sıfır duraksamalı yeniden atama.
• BackgroundService Pattern: .NET Worker Service içinde IConsumer<TKey,TValue> ile CancellationToken'a duyarlı tüketim döngüsü; Consume() blocking poll ve timeout yönetimi; çok partition'lı consumer ile paralel işleme.
• Offset Yönetimi: Otomatik commit (enable.auto.commit) risklerini ve at-least-once teslimat garantisi; manuel Commit() ile işlem başarısına bağlı konumlandırma; idempotent tüketici tasarımı ile yeniden işleme güvencesi; offset seekback ve senaryoya özel offset sıfırlama.
• Ölçekleme Mimarisi: Consumer instance sayısını partition sayısıyla ilişkilendirme; Kubernetes üzerinde HPA tabanlı consumer ölçekleme; consumer lag metrikleri ile otomatik ölçekleme kararları (KEDA ile event-driven autoscaling).

5. VERİ BÜTÜNLÜĞÜ: EXACTLY-ONCE SEMANTİĞİ VE İDEMPOTENTLİK

• Teslimat Garantileri Karşılaştırması: At-Most-Once (kayıp kabul), At-Least-Once (tekrar kabul) ve Exactly-Once Semantics (EOS) arasındaki teknik farklar ve uygun kullanım senaryoları; her garantinin .NET yapılandırmasındaki karşılıkları.
• Idempotent Producer: EnableIdempotence = true ile broker tarafında tekrar gönderim tespiti ve sequence number mekanizması; acks=all ile birlikte kullanım zorunluluğu; kurumsal ödeme ve sipariş sistemlerinde kritik önemi.
• Transactional API ile EOS: TransactionalId yapılandırması; InitTransactions(), BeginTransaction(), CommitTransaction() ve AbortTransaction() akışı; read-process-write döngüsünde tam atomiklik; zombi üretici fencing mekanizması.
• Consumer Tarafında EOS: isolation.level = read_committed ile tamamlanmış transaction'ların okunması; transactional outbox pattern ile veritabanı ve Kafka arasında tutarlılık sağlama.

6. SCHEMA REGISTRY VE AVRO/PROTOBUF İLE VERİ YÖNETİŞİMİ

• Neden Schema Registry? JSON tabanlı mesajlaşmanın runtime hata riskleri ve şema evrimi sorunları; Avro ve Protobuf'un ikili (binary) format avantajları ve bant genişliği tasarrufu; merkezi şema deposunun mikroservis ekipleri arası sözleşme yönetimine katkısı.
• Avro Serileştirme (.NET): Confluent.SchemaRegistry.Serdes.Avro kütüphanesi ile .NET AvroSerializer/AvroDeserializer entegrasyonu; .avsc dosyasından C# sınıfı üretme (avrogen); Subject naming stratejileri (TopicName, RecordName, TopicRecordName).
• Protobuf ile Tip Güvenli Mesajlaşma: .proto dosyası tasarımı ve protoc ile C# kod üretimi; Confluent.SchemaRegistry.Serdes.Protobuf ile producer/consumer entegrasyonu; gRPC servislerinden Kafka'ya köprü mimarisi.
• Şema Evrimi ve Uyumluluk: Backward, Forward, Full ve None uyumluluk kuralları; alan ekleme/silme/yeniden adlandırma operasyonlarının uyumluluk analizi; Registry üzerinde otomatik şema doğrulama ve CI/CD pipeline entegrasyonu.

7. KAFKA CONNECT VE DEBEZIUM İLE VERİ ENTEGRASYONU

• Kafka Connect Mimarisi: Source Connector (harici sistemden Kafka'ya) ve Sink Connector (Kafka'dan hedef sisteme) rolleri; Standalone vs Distributed mod seçimi ve kurumsal senaryoda yüksek erişilebilirlik yapılandırması; REST API ile connector yaşam döngüsü yönetimi.
• Debezium CDC (Change Data Capture): SQL Server, PostgreSQL ve MySQL için Debezium source connector yapılandırması; transaction log tabanlı değişiklik yakalama; before/after veri yapısı ve envelope formatı; LSN/SCN koordinasyon ve resume puanı yönetimi.
• JDBC Sink ile Veri Yazımı: Kafka topic'lerinden SQL Server ve PostgreSQL tablolarına otomatik insert/upsert/delete; auto schema evolution ile tablo yapısının otomatik güncellenmesi; batch yazma ve hata yönetimi yapılandırması.
• Kurumsal Entegrasyon Senaryoları: ERP ve CRM sistemlerinden Kafka aracılığıyla gerçek zamanlı veri yayımı; legacy SOAP/REST servislerin event stream'e dönüştürülmesi; Elasticsearch Sink Connector ile tam metin arama indeksi senkronizasyonu.

8. KAFKA STREAMS VE KSQLDB İLE GERÇEK ZAMANLI AKIŞ İŞLEME

• Akış İşleme Temelleri: Sürekli (unbounded) veri akışı üzerinde filter, map, flatMap, groupBy ve aggregate operasyonları; stateful vs stateless işleme; KStream (kayıt akışı) ve KTable (güncelleme akışı) soyutlamaları ve değişim semantiği.
• Zaman ve Windowing: Event time vs processing time farkı ve Kafka timestamp türleri; Tumbling, Hopping ve Session window türleri; geç gelen olaylar (late arrivals) için grace period ve watermark stratejileri; zaman bazlı join operasyonları.
• KSQLdb ile SQL Tabanlı Akış İşleme: STREAM ve TABLE oluşturma; push query (sürekli sorgu) ve pull query (anlık durum sorgusu); windowed aggregation, JOIN ve CASE WHEN ile zengin akış dönüşümleri; HTTP API ve Confluent REST Proxy entegrasyonu.
• .NET ile Akış Entegrasyonu: Kafka Streams'in .NET uygulamalarından topic bazlı API ile koordinasyonu; Streamiz kütüphanesi ile .NET native stream processing; gerçek zamanlı fraud detection ve anomali tespiti pipeline'ı tasarımı.

9. İLERİ MİMARİ DESENLER: EVENT SOURCING, CQRS VE SAGA

• Event Sourcing ile Kafka: Uygulama durumunun değiştirilemez olay kayıtları (immutable event log) olarak Kafka'da saklanması; snapshot stratejisi ile okuma performans optimizasyonu; event replay ile zaman yolculuğu (time travel debugging) ve state rehydration.
• CQRS Mimarisi: Yazma (command) ve okuma (query) modellerinin Kafka üzerinden ayrıştırılması; command handler → Kafka topic → event consumer → okuma veritabanı (Elasticsearch, Redis) akışı; eventually consistent okuma modellerinde tutarlılık garantileri.
• Saga Pattern — Choreography: Uzun soluklu dağıtık işlemlerin (distributed transactions) Kafka olayları üzerinden koordinasyonu; her servisin kendi olayını yayımlaması ve dinlemesi; compensating event ile rollback mekanizması tasarımı; sipariş yönetimi örüntüsü üzerinden end-to-end uygulama.
• Outbox Pattern ile Tutarlılık: Veritabanı işlemi ve Kafka mesajı arasında atomiklik sağlayan Transactional Outbox deseni; Debezium-based outbox relay ile polling publisher'a alternatif; dual write risklerini tamamen ortadan kaldıran güvenli tasarım.

10. KURUMSAL KAFKA YÖNETİMİ: GÜVENLİK, İZLEME VE KUBERNETES

• Kimlik Doğrulama ve Yetkilendirme: SASL/SCRAM-SHA-256 ve SASL/PLAIN mekanizmaları; TLS/SSL ile aktarım şifreleme ve karşılıklı TLS (mTLS) yapılandırması; Kafka ACL (Access Control List) ile topic, consumer group ve transactional ID düzeyinde ince taneli erişim kontrolü; OAuth 2.0 / OAUTHBEARER entegrasyonu.
• Performans İzleme ve Gözlemlenebilirlik: JMX metrikleri ve Prometheus JMX Exporter yapılandırması; Grafana Kafka dashboard'larında kritik metrikler (consumer lag, under-replicated partitions, request latency p99, disk usage); Confluent Control Center ve Kafka UI alternatifleri; OpenTelemetry ile .NET consumer servisinden distributed tracing.
• Performans Tuning: Broker tarafı: num.io.threads, num.network.threads, log.flush.interval; Producer tuning: batch.size, linger.ms, buffer.memory, compression.type; Consumer tuning: fetch.min.bytes, fetch.max.wait.ms, max.poll.interval.ms; Consumer lag alarm eşikleri ve otomatik ölçekleme tetikleyicileri.
• Kubernetes ile Cloud-Native Kafka: Strimzi Operator ile Kafka CR (Custom Resource) tanımı; rolling update, storage ölçekleme ve konfigürasyon drift yönetimi; PodDisruptionBudget ile planlı bakım güvencesi; KEDA ile consumer lag bazlı pod otomatik ölçekleme.
• CI/CD Pipeline ve IaC: Terraform Kafka Provider ile topic, ACL ve Schema Registry yapılandırmalarının kod olarak yönetimi; GitHub Actions pipeline'ında Kafka ile entegrasyon testi (Testcontainers.Kafka); schema compatibility check ve breaking change koruması; GitOps ile Strimzi kaynak değişikliklerinin otomatik uygulama akışı.

EĞİTİM YÖNTEMİ

• Kavramsal Anlatım ve Canlı Demonstrasyonlar: Her modül; teorik altyapının aktarılmasının ardından yerel Docker Compose Kafka ortamı ve Confluent Control Center üzerinden canlı demonstrasyonlarla pekiştirilir. Producer acks, consumer lag ve partition rebalancing gibi soyut kavramlar gerçek metrikler üzerinde somutlaştırılır.
• Uygulamalı Atölye Çalışmaları: Her modülün ardından katılımcılar gerçek C# kodu yazar: producer/consumer servisi, Schema Registry entegrasyonu, EOS transactional akışı ve Kafka Connect connector yapılandırması gibi pratik görevler gerçek araçlar üzerinde tamamlanır.
• Vaka Analizi ve Mimari Tartışmalar: Banka ödeme sistemi, e-ticaret sipariş akışı ve IoT telemetri hattı senaryoları üzerinde mimari kararlar tartışılır; At-Least-Once vs Exactly-Once seçimi, partition sayısı belirleme ve consumer group tasarımı gibi ikilemler gerçek veri ile analiz edilir.
• Peer Learning ve Grup Projeleri: Katılımcılar küçük gruplar halinde belirledikleri bir veri entegrasyon problemine Kafka tabanlı çözüm geliştirir; consumer lag, schema uyumluluk ve EOS tasarımı konularında akran geri bildirimi ile öğrenme derinleştirilir.
• Kapsamlı Proje Çalışması (Capstone): Eğitimin son bölümünde katılımcılar uçtan uca bir olay güdümlü çözüm tasarlar: .NET producer/consumer servisleri, Schema Registry ile Avro sözleşmesi, Debezium CDC entegrasyonu, Event Sourcing + CQRS mimarisi, Grafana izleme ve Strimzi Operator ile Kubernetes deployment planını içeren kapsamlı teknik mimari sunumu hazırlar.
• Danışmanlık ve Açık Soru-Cevap: Her gün sonunda açık danışmanlık zamanı ayrılır; katılımcılar kendi Kafka projelerine özgü teknik mimari sorularını uzmana yöneltir, kişiselleştirilmiş geri bildirim alır.

HEDEF KİTLE

BACKEND GELİŞTİRİCİLER VE YAZILIM MİMARLARI

• C# ve .NET ekosisteminde deneyimli olup Apache Kafka'yı kurumsal uygulamalara entegre etmek isteyen backend geliştiriciler; mikroservis geçiş projelerinde olay güdümlü iletişim altyapısı tasarlamak zorunda olan yazılım mimarları ve teknik liderler; Kafka'nın veri bütünlüğü, ölçeklenebilirlik ve güvenilirlik garantilerini üretime güvenle taşımak isteyen kıdemli mühendisler.

MİKROSERVİS VE DAĞITIK SİSTEM MÜHENDİSLERİ

• Saga, Event Sourcing ve CQRS gibi ileri mimari desenleri .NET ve Kafka ortamında uygulamak isteyen dağıtık sistemler mühendisleri; servisler arası tutarlılık sorunlarını Transactional Outbox ve EOS ile çözmeye çalışan ekipler; legacy monolitik sistemleri kademeli olarak olay güdümlü mikroservis mimarisine taşıma projelerini yürüten teknik ekipler.

DEVOPS VE PLATFORM MÜHENDİSLERİ

• Kubernetes üzerinde Kafka cluster kurulumu, Strimzi Operator yönetimi ve Prometheus/Grafana izleme altyapısı kurmak isteyen platform ve SRE mühendisleri; Kafka connect bileşenlerini, topic ACL'lerini ve Schema Registry yapılandırmalarını Terraform/GitOps ile IaC olarak yönetmek isteyen DevOps ekipleri.

VERİ MÜHENDİSLERİ VE ETL/ELT UZMANLARı

• Kafka Connect ve Debezium CDC ile geleneksel batch ETL süreçlerini gerçek zamanlı veri akışına dönüştürmek isteyen veri mühendisleri; KSQLdb ve Kafka Streams ile gerçek zamanlı veri dönüşümü ve zenginleştirme pipeline'ları kurmak isteyen analitik altyapı uzmanları.

PROJE YÖNETİCİLERİ VE TEKNİK ÜRÜN LİDERLERİ

• Kafka tabanlı veri platformu veya olay güdümlü mikroservis dönüşüm projelerini teknik derinlikle yönetmek, geliştirici ekibinin mimari kararlarını değerlendirmek ve teknik riskleri paydaşlara iletmek isteyen teknik ürün yöneticileri ve takım liderleri.

KATILIMCILARDAN BEKLENTİLERİMİZ

• C# ve .NET Temeli: Async/await, Generic yapılar, Dependency Injection ve IHostedService gibi .NET kavramlarına aşinalık zorunludur; LINQ, Task ve CancellationToken konularında rahat olmak eğitimden tam verim almayı sağlar.
• Temel Dağıtık Sistem Kavramları: Servis-servis iletişim yöntemleri (REST, gRPC), HTTP istek/yanıt döngüsü ve temel ağ kavramlarını biliyor olmak; mesajlaşma kavramlarına (kuyruk, topic, abonelik) genel aşinalık beklenir.
• Docker ve Terminal Kullanımı: Docker Compose ile çok konteynerli ortam başlatabilmek; temel terminal komutlarını kullanabilmek; eğitim ortamı yerel Docker Compose tabanlıdır ve kurulum önceden paylaşılır.
• İleri Modüller İçin (İsteğe Bağlı): Kubernetes, Event Sourcing ve CQRS modüllerinden tam teknik verim almak için dağıtık sistemler tasarım kalıplarının temel düzeyde bilinmesi ve en az bir mikroservis projesinde deneyim önerilir.
• Analitik Problem Çözme Yaklaşımı: At-Least-Once vs Exactly-Once, partition sayısı ve consumer lag gibi Kafka kararları genellikle trade-off analiziyle alınır; "neden bu yapılandırma?" sorusunu sormaya alışkın, sistem düşünen bir mühendislik bakış açısı beklenir.