Veri Ambarı (DWH) Nedir? Nasıl Çalışır? Ne İşe Yarar?

Photo by Michael Dziedzic on Unsplash

Verilerin ne kadar önemli bir hale geldiğini sanırım bu jenerasyon kendi gözleriyle gördü. Ancak veriler işlenebilir bir ortama kavuştuğunda bu önemin ortaya çıkabileceği bir gerçek

Kolayca erişemediğimiz ya da işleyemediğimiz veri toprağın altında ulaşamadığımız petrol gibidir.

Bu yazımda şirketler için istihbarat havuzu olarak adlandırılabilecek veri ambarlarının (DWH) tanımı, türleri ve örneklerinden bahsedeceğim.

Veri Ambarı (Data Warehouse | DWH) Nedir?

Veri ambarı, çeşitli kaynaklardan gelen şirket için anlamlı olan içeriklerin tutulduğu ve yönetildiği ortamdır. Karmaşık sistemlerden gelen verilere kolayca erişim ve analiz imkanı sağlar. BI (Business İntelligence | iş zekası | iş istihbaratı) ekiplerinin merkezde konumlandırdığı veri ambarı analitik ve raporlama işleri için kullanılır.

Veri ambarı, verilerin stratejik kullanımına yardımcı olan teknolojilerin ve bileşenlerin bir karışımından oluşur. İşlem (transaction) tabloları dahil olmak üzere çok yüksek boyuttaki verilerin dönüştürüldüğü ve sorgularla kısa zamanda alınabilecek hale getirildiği veri ambarlarının temel amacında iş bilgisine kolay erişim bulunmaktadır.

Veri Ambarının (DWH) Avantajları

• Veri ambarı, kullanıcıların farklı kaynaklardaki kritik verilere tek bir ortamdan hızla erişmesine olanak tanır. Böylece zamanından tasarruf sağlar.
• Farklı kaynaklardan gelen veriler için standardizasyon, kalite ve tutarlılık sağlar.
• Mevcut durumu bütünsel bir bakış açısıyla görme imkanı veren veri ambarı fırsatları ve riskleri değerlendirmeye yardımcı olarak şirketlere rekabet avantajı sağlar.
• Anlık raporlama ve sorgulamayı da destekler.
• Yapılandırma ve entegrasyon konularında esnektir.
• Veri ambarı, büyük miktarda geçmiş veriyi depolayabilir. Böylece analitik olarak geçmiş veriye bakılarak öngörücü tahminlerde bulunulması sağlanır.

Veri Tabanı ve Veri Ambarı

Bir şirketin operasyonel işlerinin yürütülmesini sağlayan sistemler veri tabanı olarak görev yaparlar. Veri tabanı içerisinde birbirinden bağımsız olarak duran farklı şema ve tablolar bulunabilir. Örneğin analitik bir ihtiyaç anında bu tablolara erişim ve onları bir araya getirme (join |merge) durumunda hem yavaş bir işlem gerçekleşecektir hem de operasyona zarar verme durumları ortaya çıkabilir. Bu yüzden veri ambarı sistemleri ortaya çıkmıştır. Devam eden akışı bozmadan istenilen tablolar önceden bir araya getirilmiş ve analiz ya da rapora hazır bir halde bu ambarlarda tutulabilmektedir. Veri ambarı bir ürün değildir bir yöntemdir. Ancak bu yöntem için geliştirilmiş ürünler mevcuttur.

Veri ambarları ile ilgili diğer isimlendirmeler aşağıdaki gibidir;

• Karar Destek Sistemleri (Decision Support System | DSS)
• Yönetim Bilişim Sistemleri (Executive Information System | Management Information System)
• İş Zekası | İş İstihbarı Çözümleri (Business Intelligence Solution)
• Analitik Uygulamalar (Analytic Application)
• Veri Ambarı (Data Warehouse)

Veri Ambarının Çalışma Yapısı ve Önemli Aşamaları

Bir veri ambarı, bilgilerin bir veya daha fazla veri kaynağından geldiği merkezi bir depo olarak düşünülebilir. En temelde örneğin veri tanında bulunan veriler veri ambarına aktarılırlar.

Gelen verinin genel yapısı aşağıdakilerden birisi olabilir.

1. Yapılandırılmış (Structured)
2. Yarı yapılandırılmış (Semi-Structured)
3. Yapılandırılmamış veriler (Unstructured)

Veriler, BI araçları, SQL istemcileri veya elektronik tablolar aracılığıyla veri ambarına çeşitli aşamalardan geçirilerek kullanıcıların erişebilmesi için işlenirler. Bir veri ambarı, farklı kaynaklardan gelen bilgileri tek bir kapsama sahip veri tabanında birleştirir.

Veriler ambara yüklenmeden önce, genellikle heterojen bilgilerin tek tip bir formata çevrilmesi söz konusudur. Veri ambarı, şirketin dahili veri kaynaklarından veya harici kaynaklardan beslenebilir.

1. İç Kaynaklar (Internel Data): operasyon sistemleri, kurumsal kaynak planlama sistemleri (Enterprise Resource Planning | ERP), müşteri ilişkileri yönetim sistemleri (CRM), işletim veritabanları, içerik yönetim sistemleri (CMS), diğer dosyalar (ör. Excel, CSV, Metin dosyaları), e-postalar vb.
2. Dış Kaynaklar (External data): üçüncü parti hizmet sağlayıcılar, web siteleri, sosyal medya, bulut hizmetleri, uygulamalar ve sistemler.

Veri ambarı mimarisindeki bileşenlerin iki merkezi işlevi bulunur; veri kazanımı/edinme (data acquisition) ve veri entegrasyonudur (data integration).

Python & SQLite & Pandas Bağlantısı ve Veri İşlemleri

Veri Kazanımı (Data Acquisition)

Veri kazanımı söz konusu olduğunda, aşağıdaki teknikler kullanılabilir.

1. Tetikleyici (Trigger): Tetikleyiciler, belirli olaylar gerçekleştiğinde veri tabanı üzerinde (eğer böyle bir yeteneği varsa) otomatik olarak uygulanacak işlemleri tanımlamayı mümkün kılar. Genellikle tetikleyiciler, kaynak sistemin veri tabanındaki değişikliklerle ilgilidir ve bu daha sonra DWH ile değiştirilen verilerin eşitlenmesini sağlar.
2. Log Dosyaları: Eğer kullanılan sistem tetikleme teknolojisini desteklemiyorsa, DWH log kayıtlarından yola çıkarak günlük olarak bu dosyaları işleyebilir.
3. İzleme (Monitoring) Programı: Veri kazanımı için ne tetikleyici ne de log dosyası yoksa, bir izleme programı kullanılabilir. İzlenen dosyaların düzenli olarak anlık görüntülerini oluşturan (snapshots) ve ardından bunları öncekilerle eşleştiren algoritmalar kullanılır.

Eğer yukarıdaki veri kazanma yöntemlerinden bir tanesi bile mevcut değilse manuel olarak verilerin eklenmesi mümkündür.

Veri Entegrasyonu (Data Integration)

Veri entegrasyonu söz konusu olduğunda, çoğu DWH, dosyaları çok boyutlu yapılarda sunmayı mümkün kılan OLAP fonksiyonlarını kullanır. Online Analitik İşleme (Online Analytical Processing | OLAP), süreci ETL ile ilerlemektedir. Aşağıda açıklayalım:

1. E = Çıkarma (Extraction): Veri çıkarma, çeşitli veri kaynaklarından ilgili bilgilerin seçimini içerir. Bu, bir gönderme veya alma stratejisi olarak yürütülebilir. Veri çıkarma, bir alma stratejisinin parçası olarak gerçekleşirse, veri kaynaklarına periyodik olarak DWH’a aktarmaları talimatı verilir. Bir çekme stratejisi ile DWH, veri çıkarmayı kendi başına tetikleyebilir.
2. T = Dönüştürme (Transformation): Çıkarılan dosyalar bir dönüşümün parçası olarak ayarlanır ve hedef veritabanı formatına uygun olarak çevrilir.
3. L = Yükleme (Loading): Yükleme aşaması, dönüştürülen dosyaların DWH’in ilgili hedef veritabanlarına kaydedilmesini içerir.

Kimlerin Veri Ambarına İhtiyacı Vardır?

Çeşitli türdeki kullanıcıların farklı ihtiyaçlarından kaynaklanan DWH ihtiyacı bulunur.

• Büyük miktarda veriye ihtiyaç duyan karar vericiler.
• Birden çok veri kaynağından bilgi almak için özelleştirilmiş, karmaşık süreçler kullanan kullanıcılar.
• Verilere erişmek için basit teknoloji isteyen kişiler.
• Karar vermek için sistematik bir yaklaşım isteyen kişiler.
• Raporlar, analizler veya grafikler için bir gereklilik olan büyük miktarda veri üzerinde hızlı performans isteyen kullanıcılar.
• Veri ambarı, veri akışlarının ve gruplamaların ‘gizli kalıplarını’ keşfetmek isteyenler için ilk adımdır.

Veri Ambarı Geliştirmesinde Dikkat Edilmesi Gereken Konular

• Verilerin tutarlılığını, doğruluğunu ve bütünlüğünü test etmek için bir plan belirlenmesi.
• Veri ambarının iyi tanımlanmış entegrasyon süreçlerinden geçtiğinden emin olunması.
• Veri ambarını tasarlarken doğru aracın kullanıldığından, yaşam döngüsüne bağlı kalındığından, veri uyuşmazlıklarına dikkat edildiğinden ve hatalardan ders çıkarıldığından emin olunmalıdır.
• Operasyonel (veri tabanı) sistemleri ve raporları çok fazla dokunulmamalıdır.
• Verileri çıkarmak, temizlemek ve yüklemek için çok fazla zaman harcanmamalıdır.
• Veri ambarı uygulama sürecine personeli dahil tüm paydaşların dahil edilmesi gereklidir. Veri ambarı tüm şirketin yararına olarak tasarlanacağı için ilgili herkesin geliştirmeye katılması gerekmektedir ki kullanımı artsın.
• Son kullanıcılar için bir eğitim planı hazırlanmalıdır.

Sonuç

Veri ambarı bir şirketin geleceği dair stratejik kararlar vermesinde önemli bir yer teşkil eder. Doğru kurgulanmış bir yapısı olması halinde üzerine inşa edilecek bir çok analitik uygulama ile inovatif işlerin başarılması kaçınılmaz olup iş süreçlerinin ele alınması daha kolay ve efektif olacaktır.