Kirli Veri Kararları Bozar: Veri Temizleme ve Görselleştirme Pratikleri

Analitik ekiplerinin yıllardır tekrarladığı bir söz vardır: Bir veri projesinin zamanının yüzde 80'i veriyi temizlemekle, yüzde 20'si asıl analizle geçer. Kulağa sıkıcı gelse de bu aşama pazarlık konusu değildir; çünkü kirli veri, en gelişmiş modeli bile yanıltır. Bu yazıda veri temizlemenin somut adımlarını ve temiz veriyi doğru görselleştirmenin ilkelerini ele alıyoruz.

Kirli Verinin Yaygın Biçimleri

Veri kirliliği tek bir şey değildir; birçok farklı şekilde karşınıza çıkar. Önce düşmanı tanıyalım.

• Eksik değerler: Boş hücreler, doldurulmamış alanlar.
• Tutarsız format: "İstanbul", "istanbul", "IST" aynı şehir için üç farklı yazım.
• Tekrar eden kayıtlar: Aynı müşterinin birden fazla kez girilmesi.
• Aykırı değerler: Yaş alanında 200, fiyat alanında negatif değer.
• Yanlış tipler: Sayı olması gereken alanın metin olarak saklanması.

Eksik Verilerle Ne Yapmalı?

Eksik veriyi ele almanın tek doğru yolu yoktur; seçim, eksiğin neden oluştuğuna bağlıdır. Önce soruyu sorun: Bu değer rastgele mi eksik, yoksa eksik olmasının bir anlamı mı var?

Seçenekler arasında satırı silmek (eksik oran çok düşükse), ortalama veya medyan ile doldurmak, ya da "bilinmiyor" kategorisi olarak ayrı işaretlemek bulunur. Kritik olan, ne yaptığınızı belgelemek ve eksikliğin analizi ne yönde etkileyebileceğini bilmektir.

Standartlaştırma ve Doğrulama

Aynı bilginin farklı şekillerde yazılması, gruplama ve birleştirme işlemlerini bozar. Standartlaştırma, tüm değerleri tutarlı bir biçime getirir: tarih formatları, telefon numaraları, şehir isimleri ve para birimleri gibi.

• Metin normalizasyonu: Boşluk kırpma, büyük-küçük harf birliği.
• Referans doğrulama: Şehir/ülke gibi alanları geçerli bir listeye karşı kontrol.
• Kural tanımlama: "Yaş 0-120 arası olmalı" gibi iş kuralları ile filtreleme.

Temizliği Otomatikleştirmek

Veriyi bir kez elle temizleyip bırakmak büyük bir hatadır; çünkü yeni veri sürekli akar ve aynı kirlilikler tekrar eder. Temizleme mantığını tekrarlanabilir bir sürece dönüştürün. Böylece her yeni veri partisi aynı kurallardan geçer ve kalite zamanla düşmez.

Bu sürecin bir parçası olarak veri kalitesi testleri ekleyin: Beklenen değer aralıkları, benzersizlik kontrolleri ve boş oran eşikleri otomatik çalışsın, kurallar ihlal edildiğinde uyarı versin.

Görselleştirmede Dürüstlük

Temiz veri bile kötü bir grafikle yanıltıcı olabilir. İyi görselleştirmenin ilk kuralı dürüstlüktür: Eksen manipülasyonu, kesik y-ekseni veya yanıltıcı ölçekler verinin anlattığı hikayeyi çarpıtır.

• Sıfırdan başlayan eksen: Çubuk grafiklerde y-ekseni sıfırdan başlamalı.
• Doğru grafik türü: Trend için çizgi, karşılaştırma için çubuk.
• Aşırı süslemeden kaçınma: Üç boyut ve gereksiz renk bilgiyi gizler.

Mesajı Öne Çıkaran Tasarım

Her grafiğin tek bir net mesajı olmalıdır. İzleyicinin ne görmesini istiyorsanız onu vurgulayın: İlgili veri noktasını renkle öne çıkarın, geri kalanı soluklaştırın. Başlık bir etiket değil, bir çıkarım olmalı: "Aylık Satışlar" yerine "Satışlar üçüncü çeyrekte yüzde 20 düştü."

Veri temizleme ve görselleştirme, analitiğin gösterişsiz ama en belirleyici aşamalarıdır. Temiz, doğrulanmış ve tutarlı veri olmadan hiçbir pano veya model güvenilir değildir; dürüst ve net bir görselleştirme olmadan da en doğru veri karara dönüşmez. Bu iki disipline emek verdiğinizde, ekibiniz sayılara değil onların anlattığı gerçeğe güvenmeye başlar.