Data Dünyası Nereye Gidiyor?

Son birkaç yıldır yazılım dünyası AI gelişmelerinden nasıl etkilenecek diye konuşurken, sektörde eskisi kadar kolay iş bulamama ve daralma söylemleri de aynı döneme denk geldi. Pandemi ile yazılım sektörüne artan rağbet de bugün yaşanan sıkıntıların bir yansıması bence. Biz de kendi perspektifimizden konuya yaklaşalım ve Data Dünyası Nereye Gidiyor? sorusunun cevabını vermeye çalışalım. Bu cevaplar ile sektöre yeni girecek arkadaşlarımıza da fikir sahibi olmaları gereken konular hakkında yardımcı olabiliriz.

Data’nın Dünü ve Bugünü

Aslında AI gelişmelerinin temelinde, artık dünyanın sahip olduğu devasa boyutlardaki data yer alıyor. 2010’lu yılların başından itibaren, ilişkisel veritabanları sahip olduğumuz düzensiz(unstructured) veriyi depolamak için yetersiz kalmaya başladı. Hayatımıza nosql veritabanları ve big data kavramları girdi. Ve aslında data dünyamızın dönüşümü de başladı. Bugün dünya üzerinde tutulan verinin %80’e yakını düzensiz veridir. Kullanmayı çok sevdiğim bir grafiği burda tekrar paylaşıyorum, 2010 yılından beri dünya üzerinde ölçümlenen data boyutunu birlikte inceleyelim;

2020 yılından beri dünya üzerinde data boyutu her yıl ortalama %24 artmış görünüyor. 2025 yılında da %25’lik bir artış ile 180 ZB’lara ulaşacağını görüyoruz. Son ölçümlere göre dünyada hergün ortalama 324 milyon terabyte data oluşuyor. Ve dijital dünyada bu rakamlar hiç de azalacak gibi görünmüyor.

Data Dünyasının Geleceği

Bu data kurumlar için sahip olduğu en kıymetli varlıktır. Bu kurum kar amacı güden bir işletme ise, müşterisini daha iyi tanıyıp, sağlam temel ve öngörülere dayanan kararlar almayı data sayesinde başarır. Kar amacı gütmeyen bir devlet kurumu ise, toplumun faydasına olacak birçok projeyi bu data sayesinde hayata geçirebilir.

Bugün bu datayı nosql ve ilişkisel veritabanları, big data sistemleri ile depoluyoruz ve işliyoruz. Veriden anlamlı sonuçlar çıkarılmadığı sürece de depolanan veri maliyet’den başka birşey değildir. O yüzden veri kadar, veriyi işleme ve anlamlandırma süreci de önemlidir. Big data mimarisinin ortaya çıkışında Hadoop ekosistemi temel roldeydi. Özellikle büyük hacimli verinin, dağıtık mimaride depolanıp işlenmesi, datayı değil işlem sonuçlarını taşımaya dönük yaklaşımı birçok sorunun çözümünü sağladı. Bugün de hala bu mimari geçerliliğini korumaktadır.

Ancak teknoloji dünyası çok hızlı dönüşmekte. Son yıllarda Hadoop ölüyor mu sorusunu kendine konu alan çok fazla yazı okudum. Çoğunun sonuç kısmında Hadoop’un bir ekosistem ve mimari olarak geçerliliğini uzun yıllar koruyacağı fikri yer alıyor. Çünkü Hadoop ekosistemi kurulumu, yönetimsel maliyeti, geliştirme maliyeti düşünüldüğü zaman öyle kolayca dönüştürülebilecek bir yapıya sahip değil.

Peki data dünyası nasıl dönüşüyor? Sorunun cevabı tabiki, cloud. Cloud platformları tarafından sunulan SaaS çözümler bizim dünyamıza da fazlasıyla dokunuyor. Artık neredeyse her farklı use case için farklı bir teknoloji çözümü bulunuyor. Her firmanın altyapısında birkaç nosql çözümü, birkaç RDBMS, birkaç search engine ve big data sistemleri yer alıyor. Bu kadar farklı teknolojiyi yönetecek ekipleri kurmak da, yetişmiş eleman bulmak da zor hale geliyor. Bunun için en azından maintenance eforunu düşürebilmek adına cloud üzerinde data servislerini kullanmak makul görünüyor. Tabi Türkiye özelinde regülasyonları düşündüğümüz zaman da bu iş o kadar kolay olmuyor. Onprem de bahsettiğim şekilde çalışan şirketler için de, cloud ready hale gelebilmek kesin bir strateji. Yani cloud kullanamıyorsun ama onprem’de kurduğun sistemleri, otomasyonlarla destekleyerek kendi maintenance eforunu düşürmek gidilebilecek bir nokta.

Altyapılarımızda yer alan bu kadar farklı data çözümüne ek olarak bir de AI projelerinde sıkça kullanılan vektör database’ler portföyümüze dahil oldu. Bununla ilgili daha detaylı ayrı bir yazı paylaşacağım.

Bir diğer nokta da bu kadar farklı veri kaynağının olduğu şirketlerde; data’nın çoklanma ve taşınması maliyeti. Birçok data kaynağındaki bilgiye ihtiyaç duyan süreçler için Data virtualization uygulamaları da gittikçe daha popüler hale gelmektedir. Ayrıca data lake kavramı ile de big data sistemlerini bu açıdan güçlendirmek mümkündür.

Önümüzdeki süreçte özet olarak, Data altyapılarının cloud entegrasyonu, Data lake, Vector databases, Nosql Databases, Data virtualization çözümleri, Big Data ortamlarında Data Governance, Object storage üzerinde data depolama konuları sıkça hepimizin gündeminde olacaktır.

AI projelerinin gitmek istedikleri seviyeye ulaşabilmeleri için daha çok data’ya ihtiyacı vardır. Bu sistemleri yönetmek için de daha fazla yetişmiş insan gücüne ihtiyaç vardır. Data boyutları bu seviyelerde büyüdüğü sürece, hem maliyetleri düşürmek, hem performansı arttırabilmek hem de yeni teknolojilere uyumlanmak bizim temel sorumluluklarımız olacaktır. Temel motivasyonumuz da bir ürünün adminliğini yapmaktan çok, “kurumun en değerli varlıklarından biri olan data’yı yönettiğimizin farkındalığı” olmalıdır. Bu sayede yeni teknolojik gelişmelere daima açık kalabilir, trendleri kolayca takip edebiliriz.

Okuduğunuz için Teşekkürler.

REF:
https://explodingtopics.com/blog/data-generated-per-day