Kirli Veri Kararlari Bozar: Veri Temizleme ve Gorsellestirme Pratikleri

Analitik ekiplerinin yillardir tekrarladigi bir soz vardir: Bir veri projesinin zamaninin yuzde 80'i veriyi temizlemekle, yuzde 20'si asil analizle gecer. Kulaga sikici gelse de bu asama pazarlik konusu degildir; cunku kirli veri, en gelismis modeli bile yaniltir. Bu yazida veri temizlemenin somut adimlarini ve temiz veriyi dogru gorsellestirmenin ilkelerini ele aliyoruz.

Kirli Verinin Yaygin Bicimleri

Veri kirliligi tek bir sey degildir; bircok farkli sekilde karsiniza cikar. Once dusmani taniyalim.

• Eksik degerler: Bos hucreler, doldurulmamis alanlar.
• Tutarsiz format: "Istanbul", "istanbul", "IST" ayni sehir icin uc farkli yazim.
• Tekrar eden kayitlar: Ayni musterinin birden fazla kez girilmesi.
• Aykiri degerler: Yas alaninda 200, fiyat alaninda negatif deger.
• Yanlis tipler: Sayi olmasi gereken alanin metin olarak saklanmasi.

Eksik Verilerle Ne Yapmali?

Eksik veriyi ele almanin tek dogru yolu yoktur; secim, eksigin neden olustuguna baglidir. Once soruyu sorun: Bu deger rastgele mi eksik, yoksa eksik olmasinin bir anlami mi var?

Secenekler arasinda satiri silmek (eksik oran cok dusukse), ortalama veya medyan ile doldurmak, ya da "bilinmiyor" kategorisi olarak ayri isaretlemek bulunur. Kritik olan, ne yaptiginizi belgelemek ve eksikligin analizi ne yonde etkileyebilecegini bilmektir.

Standartlastirma ve Dogrulama

Ayni bilginin farkli sekillerde yazilmasi, gruplama ve birlestirme islemlerini bozar. Standartlastirma, tum degerleri tutarli bir bicime getirir: tarih formatlari, telefon numaralari, sehir isimleri ve para birimleri gibi.

• Metin normalizasyonu: Bosluk kirpma, buyuk-kucuk harf birligi.
• Referans dogrulama: Sehir/ulke gibi alanlari gecerli bir listeye karsi kontrol.
• Kural tanimlama: "Yas 0-120 arasi olmali" gibi is kurallari ile filtreleme.

Temizligi Otomatiklestirmek

Veriyi bir kez elle temizleyip birakmak buyuk bir hatadir; cunku yeni veri surekli akar ve ayni kirlilikler tekrar eder. Temizleme mantigini tekrarlanabilir bir surece donusturun. Boylece her yeni veri partisi ayni kurallardan gecer ve kalite zamanla dusmez.

Bu surecin bir parcasi olarak veri kalitesi testleri ekleyin: Beklenen deger araliklari, benzersizlik kontrolleri ve bos oran esikleri otomatik calissin, kurallar ihlal edildiginde uyari versin.

Gorsellestirmede Durustluk

Temiz veri bile kotu bir grafikle yaniltici olabilir. Iyi gorsellestirmenin ilk kurali durustluktur: Eksen manipulasyonu, kesik y-ekseni veya yaniltici olcekler verinin anlattigi hikayeyi carpitir.

• Sifirdan baslayan eksen: Cubuk grafiklerde y-ekseni sifirdan baslamali.
• Dogru grafik turu: Trend icin cizgi, karsilastirma icin cubuk.
• Asiri suslemeden kacinma: Uc boyut ve gereksiz renk bilgiyi gizler.

Mesaji One Cikaran Tasarim

Her grafigin tek bir net mesaji olmalidir. Izleyicinin ne gormesini istiyorsaniz onu vurgulayin: Ilgili veri noktasini renkle one cikarin, geri kalani soluklastirin. Baslik bir etiket degil, bir cikarim olmali: "Aylik Satislar" yerine "Satislar ucuncu ceyrekte yuzde 20 dustu."

Veri temizleme ve gorsellestirme, analitigin gosterissiz ama en belirleyici asamalaridir. Temiz, dogrulanmis ve tutarli veri olmadan hicbir pano veya model guvenilir degildir; durust ve net bir gorsellestirme olmadan da en dogru veri karara donusmez. Bu iki disipline emek verdiginizde, ekibiniz sayilara degil onlarin anlattigi gercege guvenmeye baslar.