Büyük Veri Nedir ve Nasıl Analiz Edilir?

Büyük veri, insan davranışlarını tahmin etmek ve anlamak üzere kullanılabilecek devasa boyutlardaki verileri işlemek için ele alınan yeni bir bilim dalıdır. Büyük veri ayrıca “öngörü analizi” olarak da adlandırılabilir.

Twitter gönderilerini, Facebook paylaşımlarının, internet aramalarının, GPS verilerinin ve ATM makinelerinin analizi, büyük veri örnekleri olarak gösterilebilir. Güvenlik kameralarını, trafik verilerini, hava durumu geçmişini, uçuş kayıtlarını, cep telefonu vericilerinin girişlerini ve kalp monitörlerini takip etmek de bu alanda veri analizlerinden bazılarıdır. Büyük veri karmaşık ve yeni bir bilim dalı olmakla birlikte, sadece bir avuç insan tarafından tam olarak anlaşılabilmektedir.

Gündelik Hayatımızdaki Büyük Veri Örnekleri

Birçok büyük veri projesi fazlasıyla anlaşılmaz olsa da, halen günlük hayatımıza etki eden örnekler bulmak mümkün. Bu örneklerden bazıları şunlardır.

• Ortaya Çıkması Muhtemel Virüsleri Tahmin Etmek: Sosyopolitik veriler, hava durumu ve ikli verileri ile hastane / klinik verilerini değerlendiren bilim insanları, dang humması salgınını 4 hafta kadar önce tahmin edebilir hale geldiler.
• Cinayet Nöbeti: Bu proje, Amerika Birleşik Devletleri’nin Başkenti Washington DC.’deki cinayet kurbanlarının, cinayet şüphelilerinin ve suçluların profillerini ele alıyor. Hem hayatını kaybedenlerin anısına saygı göstergesi olan, hem de farkındalık yaratan bu proje, büyük veri alanında etkileyici bir yere sahip.
• Transit Gezi Planlama: Amerika Birleşik Devletleri’nin New York kentinde WNYC radyosunda program sunan Steve Melendez, kentin metro sisteminin çevrimiçi sefer programı ile bir gezi yazılımını bir araya getirdi. Melendez’in programı, New York’ta yaşayanların harita üzerinden konumlarını seçerek tren ile seyahat süreleri ile trenin ne zaman geleceği hakkında bilgi edinmesini sağlıyor.
• Xerox Firmasının İş Gücü Kaybını Önleme Yöntemi: Çağrı merkezinde çalışmak duygusal anlamda yorucu bir iştir. Bu nedenle Xerox firması, büyük veri tabanlarını profesyonel analistler yardımı ile inceleyerek çağrı merkezi için alınacak elemanların şirkette kalıcı olmalarını sağlamak için yollar geliştirdi.
• Teröre Karşı Destek: Sosyal medya, finansal kayıtlar, uçuş rezervasyonları ve güvenlik verilerini inceleyen güvenlik güçleri, şüpheli teröristleri, amaçlarını gerçekleştiremeden belirleyebiliyor.
• Sosyal Medya Yorumlarından Yararlanarak Markanın Tanıtımını Yapmak: İnsanlar hızla ve hiç düşünmeden gittikleri restoranların, barların ya da spor salonlarının hakkında düşüncelerini internette paylaşıyorlar. Paylaşılan bu milyonlarca yorumu analiz edip, firmalara geri dönüş sağlamak ve insanların işletmeleri hakkında ne düşündüklerini anlatmak mümkün.

Büyük Veriyi Kimler Hangi Amaçlarla Kullanır?

Birçok firma, sundukları hizmet, ürün ve fiyatları ayarlayarak müşterilerinin memnuniyetini artırmak amacı ile büyük veriyi kullanırlar. Bu alanda bazı örnekler ise şunlardır:

• Macy Mağazası 70 milyondan fazla ürününün fiyatını belirlemek için büyük veriden yararlanıyor. Firma müşterilerinin ilgilenebileceğini düşündüğü ürünleri listelediği kişisel e-postalar atarak da onları kendilerine bağlamaya çalışıyor.
• Boston Maratonu Patlamasına Polis Müdahalesi: Video ve güvenlik kameraları görüntüleri ile elde edilen büyük veri incelemesi sonucunda, polis şüpheliler için oluşturduğu arama alanını kısa sürede daraltmayı başardı.
• Morton Steakhouse restoranı, Twitter aracılığı ile büyük veriyi kullanarak pazarlama stratejisi oluşturuyor.
• Visa firması dolandırıcıları belirlemek ve yakalamak için büyük veriden yararlanıyor. Milyonlarca veriyi takip ederek, dolandırıcılık düzenini gözler önüne serebiliyor.
• Facebook kişiye özel reklam sunmak için büyük veriyi kullanıyor. Facebook beğenilerinizin ve tarama alışkanlıklarınızın dikkatlice incelenmesi, sosyal medya devinin zevklerinizi öğrenmesi için mükemmel bir yol. Facebook akışınız sırasında karşınıza çıkan reklamlar, Facebook alışkanlıklarınızı takip eden, oldukça özel ve karmaşık bir algoritma sayesinde belirlenen reklamlar.

Büyük Veri Neden Bu Kadar Önemli?

Büyük veriyi önemli kılan öne çıkan dört başlık bulunuyor.

1. Devasa Boyutlardaki Veri: Tek bir hard disk sürücüye sığamayacak kadar büyük boyutlardaki veriler ile çalışılır. Bu verinin boyutu, insan aklının tahayyül edemeyeceği kadar büyüktür. Burada bahsettiğimiz, milyarlarca megabyte verinin milyarlarca kat fazlası.
2. Kullanılan Veri Karmaşık ve Belirli Bir Yapısı Yok: Büyük veri ile çalışmanın yüzde 50 ile yüzde 80’i, bu verinin arma ve sıralama yapılabilecek hale getirmek için dönüştürülüp temizlenmesi işidir. Dünyada sadece birkaç bin insan, bu veriyi nasıl temizleyebileceğini biliyor. Bu uzmanlar, işlerini yapabilmek için de HPE ve Hadoop gibi özelleştirilmiş yazılımlara ihtiyaç duyar. Önümüzdeki on yıl içerisinde bu uzmanların sayısı fazlasıyla artabilir, fakat günümüzde, zor bulunan büyük veri uzmanlarının yaptığı iş halen gizemini koruyor.
3. Veriler Alınıp Satılabilen Mülkler* Haline Geldi: Firmaların ve kişilerin terabaytlarca sosyal medyadan ya da başka yollarla toplanan verileri alabileceği veri marketleri bulunuyor. Bu verinin çoğu bulut tabanlı teknolojiler ile saklanıyor. Zira bahsi geçen verinin bir hard diske sığmasına imkan yok. Veri satın almak genellikle üyelik isteyen ve bulut hizmetine bağlanma zorunluluğu olan bir işlemdir.* Büyük veri alanındaki lider firmalar Amazon, Google, Facebook ve Yahoo’dur. Zira bu firmalar milyonlarca insana çevrimiçi hizmet sunuyor ve bu hizmetleri karşılığında topladıkları veriler ile lider konuma yükselmeleri şaşırtmıyor.
4. Büyük Verinin Sunduğu Olasılıkların Neredeyse Sınırı Yok: Günün birinde doktorların, hastaların kalp krizini haftalar öncesinde tespit edebilmesi, pek de imkansız bir olasılık değil. Uçak ve otomobil kazalarının, mekanik, trafik ve hava durumu verilerinin analiz edilerek azaltılması mümkün. İnternet üzerinden eş bulmak, kişisel büyük veri uzmanınız sayesinde çok daha kolay hale gelebilir. Hedef kitlenin değişen zevklerini anlayabilen müzisyenler, uygun besteler yapabilir. Beslenme uzmanları, marketlerden alınan hangi gıda kombinasyonlarının, kişinin sağlığını iyi ya da kötü etkileyebileceğini öngörebilir. Büyük verinin henüz sadece yüzeyi kazınabildi ve her geçen gün bu alanda yeni bir şey keşfediliyor.

Karmaşık Büyük Veri

Büyük veri öngörülebilir bir analiz ve devasa boyutlardaki karmaşık veriyi, arama yapılabilir, sıralanabilir hale getirme işidir. Bu karmaşık ve kaotik alanda çalışmak, özel bir bilgi birikimi ile sabır gerektirir.

UPS kargo firmasını ele alalım. UPS için çalışan programlamacılar, sürücülerin GPS verilerini ve akıllı telefonlarından aldıkları verileri analiz ederek onlar için en verimli ve trafiksiz güzergâhları belirler. Akıllı telefonlardan ve GPS’lerden alınan bu veri, devasa olmasının yanı sıra, işlenmeye de hazır değildir. Bahsi geçen veri, çeşitli GPS cihazlarından, harita veri tabanlarından ve farklı akıllı telefonlarından gelir. UPS için çalışan programlamacılar, aylarca bu veriler üzerinde çalışarak onları analiz edilebilir, arama yapılabilir ve sıralanabilir bir hale getirirler. Öte yandan bu muazzam emek, karşılığını da verir. UPS, büyük veri analistleri ile çalışmaya başladığından beri, 30 milyon litreden fazla yakıt tasarrufu sağladı.

Büyük verinin bu denli büyük karmaşık ve temizliği uzun süren bir yapıya sahip olması, bu alanda çalışan analistlerin “veri hademesi” lakabı kazanmasına neden oldu.

Öte yandan büyük veri ve öngörü analizi her geçen gün daha da gelişiyor. Gidişatın bu hızda devam etmesi halinde, 2025 yılına gelindiğinde, büyük verinin herkesin kullanımına uygun ve ulaşılabilir olacağı düşünülüyor.

Büyük Veri Kişisel Hayatın Gizliliğine Karşı Bir Tehdit Mi?

Eğer yasalar ve kişisel veri güvenliğimiz yeterince dikkate alınmazsa, büyük veri kişisel hayatımızın gizliliği için tehdit olarak görülebilir. Zira Google, Youtube ve Facebook, halihazırda sizin günlük hayatınızı takip ediyor. Akıllı telefonunuz ve bilgisayarınız, arkanızda ekmek kırıntıları bırakarak çalışıyor. Gelişmiş firmalar da bu ekmek kırıntılarını dikkatle takip ediyor.

Büyük veri ile ilgili yasal düzenlemeler ise gün geçtikçe gelişiyor. Özel hayat ve gizlilik artık sahip olduğunuz bir hak olmaktan çıkıp korumak zorunda olduğunuz bir kavram halini almaya başladı.
Peki özel hayatınızı korumak için ne yapabilirsiniz?

Yapabileceğiniz en önemli koruma, günlük rutin İnternet kullanımınızda VPN kullanmak olacaktır. VPN hizmetleri yolladığınız sinyalleri karıştırarak kimliğinizi ve yerinizi gizleyerek takip edenleri uzak tutar. Bu yöntem yüzde 100 gizli kalmanızı sağlamasa da, çevrimiçi hareketlerinizin bir nebze olsun gölgede kalmasını sağlar.

Gerçekten Önemli Olan Şeyi Bulmak

Netflix 2013 yılında “House of Card” isimli yapımı ile ilgili ayrıntıları paylaştığında, hepimiz şaşkına döndük. Kevin Spacey ve David Fincher, bir televizyon dizisinde harcamak üzere 100 milyon dolar parayı ortaya koydu. Birçoğumuz için anlamsız gibi gelen bu harcamanın, sonradan ne kadar mantıklı olduğu ortaya çıktı. Peki neden?

Bu dizinin televizyon endüstrisini değiştirmesi, şans ile açıklanamaz. Aksine, yapımcılar ödevlerini iyi yaptı ve verileri düzgün bir şekilde inceledi. Dizi son sezonu ile hayal kırıklığı yaratmış olsa da, dikkatleri üzerine çeken bir yenilik olarak hayatımızda yer etti. Dahası “#netflixandchill” sloganını ortaya çıkaran değişim, kendinden çok daha fazla bahsettirmeye ve taklit edilmeye başladı. Pazarlama dünyasında bu eşsiz bir başarı olarak kabul edilebilir.

Netflix ve türevlerinden öncesi ile sonrası arasındaki ana farklılık, izleyicinin ihtiyaçlarının ön plana alınmasıdır. Bu sistemler, yeni neslin ihtiyaçlarına yönelik yapımlar ortaya çıkarmaya başladı. Fakat bu ihtiyaçların belirlenmesi, eski usullerle yani gençlere yönelik anket çalışmaları ile değil, birçok internet sitesinden toplanan veriler analiz edilerek başarılabildi. Bu analizlerden bazıları; izleyicilerin neler izlediği? Hangilerini durdurduğu, geri sardığı ya da tekrar izlediği gibi bilgileri incelemek üzerinden yürütüldü. Topladıkları devasa boyuttaki veriler ile ortaya çıkan sonuç, yeni çıkacak film ve dizilerin başarılı olup olmayacağının belirlenmesinde önemli rol oynadı. Sonuç olarak, veriler sayesinde belirledikleri yol haritası işe yaradı. Zira “House of Cards” yapımı için harcanan 100 milyon dolar, birkaç ay içerisinde kendini amorti etmeyi başardı. Dahası, bu yöntem sayesinde, yeni çıkan yapımların sadece yüzde 30’luk bir kısmı iptal edildi.

İki Boyutlu Veri Büyümesi

Yapılan bir araştırmaya göre, 2020 yılında dünya genelinde 44 zettabyte’lık veri yaratılacak. Ortaya çıkan veri her yıl üstel olarak artmaya, verileri değerlendirmek de her geçen gün daha mobil hale gelmeye devam ediyor. Karşılaşılabilecek fırsatları en iyi şekilde değerlendirebilmek için, hemen her büyük firma, büyük veriyi aklının bir köşesinde tutmalı. İşin en önemli kısmı ise veriyi becerikli bir şekilde kullanabilmek.

İnternet alanındaki gelişmeler ve yeni teknolojiler, iki boyutta ilerliyor. Bunlardan ilki, yukarıda bahsi geçen, devasa büyüklükte yüklenen veriler, diğeri ise bunun doğal sonucu olan, kaliteli veri ihtiyacı. Artık Facebook gibi ağlardaki takipçi sayısının önemi kalmadı. Arzu edilen; iletişim kurulabilen ve sadık takipçiler. Zira açık hava reklamları bile günümüzde lokal olarak değerlendirilir oldu.

5 Adımda Büyük Veri Analizi Nasıl Yapılır?

Bahsettiğimiz veri denizinden faydalı sonuçlar elde edebilmek için yapmamız gereken iş, onları analiz etmektir. Bazı firmalar işinin ehli veri analistleri ile çalışmayı seçiyor. Öte yandan veri analisti olmak için birkaç kursa gitmek pek de yeterli değil. “Data Divination: Big Data Strategies” kitabının yazarı BobGourley’e göre, çok büyük hedefleriniz olmasa bile, bu alanda bir stratejiye ihtiyacınız olacak. Büyük veriye karşı ilginiz var ise, bu noktada aşağıdaki beş adımı göz önüne almanızı öneririz.

1- Parçalara Ayır

Son günlerin en cazip pazarlama yöntemi özelleştirilmiş e-postalardır. Kişiselleştirilmiş iletişimin kilit noktası, hedef kitlenizin çoğunluğu hakkında bilgi sahibi olmaktır. Fakat bu kitledeki her bir kişi farklı ihtiyaçlara sahip insanlardır. Bire bir iletişim imkansız olsa da, bölümlere ayırarak hedef kitlenizi daraltmak, etkileşim anlamında çok daha etkili olacaktır. Ne kadar fazla veri toplarsanız, özelleştirdiğiniz kümeler ile o kadar iyi iletişim kurabilirsiniz. Bu noktada büyük veriyi, birçok küçük bilgiden oluşan bir dağ olarak görüp bu bilgilerin size destek olacağını düşünebilirsiniz.

2- Yayıl

Birçok farklı hedef kitleye ulaşmak istediğiniz göz önüne alınırsa farklı veri setlerini incelemeniz kaçınılmaz olacaktır. Firmanızın hedefi ve yapılandırılmış ya da yapılandırılmamış verileriniz için birden fazla teknik kullanabilirsiniz. Bu teknikleri kullanırken her zaman 2 kere kontrol etmeniz sizin faydanıza olacaktır. Bu sayede verileriniz arasındaki bağlantılı bilgileri bulma yöntemlerini karşılaştırabilme imkanınız olur. Büyük veri analizi söz konusuysa, aşağıdaki maddeleri kontrol etmeniz yararınıza olacaktır.

• Veri Madenciliği: Veri madenciliği, verilerin içerisindeki ipuçlarını bulma yoludur. Bu, tekrar eden şeylerin önemli olduklarını varsayarak tahmin yürütme yolu olarak açıklanabilir.
• Küme Analizi: Küme analizi, benzer özelliklerden faydalanarak bilgileri gruplandırmakta kullanılacak adım olarak değerlendirilebilir.
• Tahmine Dayalı Modelleme: Büyük veriler kullanarak yapılan medyumluk olarak tanımlanabilecek bu modelleme, cinler ve perilerden ziyade, meteorolojist tarzında bir tahmin yürütme işi yapmanızı sağlar. Büyük veriye bu yöntemle bakış, olasılıkları değerlendirerek en mantıklı sonuca ulaşmaya yarar.
• Metin Analizi: Profesyonel bir şekilde tasarlanmış algoritmalar sayesinde, sadece sayıları değil, metinleri de değerlendirebilen programlar, çevrimiçi yorumlardaki duygu durumunu, yazanın cinsiyetini ya da yaşadığı yeri tahmin etmenizi sağlayacak ipuçları içerebilir. Bu bilgilerde sizin ve işiniz için faydalı sonuçlar doğurabilir.

3- Anı Yakala

Günün gerekliliklerine göre hareket etmeniz gerekir. Zamanında yapılan güncellemeler, işletmelerin başarısını artıran en önemli etkenlerdendir. Büyük veri için büyük bir fark yaratmayacak gibi görünse de, zamanında yapılan doğru hamleler, devasa verilerin analizinde esnek olmanızı sağlar. Aksi halde, uzun süren analizlerin ardından, çoktan yapmış olmanız gereken güncellemelerin olduğunu fark edebilirsiniz. Örneğin e-ticarette büyük veri sayesinde yapmanız gereken fiyat güncellemelerini öğrenebilirsiniz. Misal, farklı günlerde uçak bileti fiyatlarını bakıp bunun nasıl kullanıldığını görebilirsiniz. Bu örnek, gerçek zamanlı veri analizinin kullanıldığını ve harcanan her miktara ve emeğe değdiğini gösteriyor.

4- Hazırlanın

Daha açık olmak gerekirse, verileriniz işlemeye hazır olmalı. Verileriniz, grafikleriniz ve tablolarınız, sonuç çıkarmak için incelemeye hazır olmalı. Özellikle de büyük boyutlardaki veri ya da çevrimiçi yorumlar ile çalışıyorsanız hazır olmak çok daha önemli hale geliyor. Bu konuda yapmanız gereken, ihtiyacınız olan verileri değerlendirerek doğru şekilde görselleştirecek bir analiz programı bulmaktır. Böylece verileri daha kolay bir şekilde yorumlayıp ona göre hareket edebilirsiniz. Örneğin; olumsuz yorum sayıları arttıkça size uyarı veren SentiOne gibi bir sistem kullanarak zaman kazanabilirsiniz.

5- Dikkatli Olun

Büyük veri sayesinde zaman ve paradan tasarruf etseniz de, gözünüzü dört açmanızda fayda var. İnsanların İnternet üzerinden paylaştıkları şeyler ile ilgili dikkat edilmesi gereken bazı noktalar bulunuyor. Öncelikle kişisel verilerin gizliliği önemli bir konudur. Tüm bilgi işlem dünyası, bu alana müdahale etmeden hareket etmeye çalışır Tescilli bir sistem kullanarak verileri analiz ettiğiniz sürece, bu konuda bir sıkıntınız olma ihtimali düşüktür. Dikkat etmeniz gereken şey ise, klasik analiz hatalarından uzak durmaya çalışmaktır. Uygun bir program kullanıyor olsanız bile, bu programı düzgün bir şekilde ayarladığınıza emin olmalısınız.

Sağlıklı büyük veri politikasına sahip olmanız son derece önemlidir. Büyük veri için kullanacağınız strateji sizin faydanıza olmalıdır. Eğer büyük verinin işlerinizi uçuşa geçirebilecek sihirli bir değnek olduğunu düşünüyorsanız, bu konuda daha fazla bilgi edinmeniz gerekiyor demektir. Büyük verinin işe yarayabilmesi için, “House MD” dizisinin baş karakteri House gibi birinin, tüm ipuçlarını doğru şekilde toplayabilmesi gerekir. Zira büyük verinin başarılı bir şekilde sonuç vermesi, insan dokunuşundaki beceriye bağlıdır. “Derin öğrenme” adı verilen teknoloji ne kadar hızlı ve başarılı olsa da, sonuçta kararı vreecek olan gerçek bir insandır. Fakat bu kararı ne kadar fazla veri destekliyorsa, karar o kadar başarılı olmaya yakın olacaktır.

İlginizi çekebilir

Büyük Veri Hakkında Bilmeniz Gerekenler

İşinizi Büyütmek İçin Büyük Veriden Nasıl Faydalanabilirsiniz?