Pandas - isnull

isnull() Fonksiyonu

Veri çerçevesinde boş, eksik, kayıp veri (excel tablosundaki boş hücre gibi düşünebiliriz) olup olmadığını isnull() fonksiyonu ile tespit edebiliriz. isnull ifadesini, boş mu?, geçersiz mi?, kayıp/eksik mi? sorusu olarak düşünebilirsiniz. Bu fonksiyonu çalıştırdığımızda veri çerçevesinin satır ve sütun başlıkları ekrana yazdırılır ancak veri yerine True ya da False bilgisi görüntülenir.

Öncelikle Pandas Kütüphanesini içe aktarıp, kodlama esnasında hızlı olması adına bu kütüphaneye pd adını atayalım;

import pandas as pd

Basit bir Veri Çerçevesi (Data Frame) oluşturalım ve oluşturduğumuz Veri Çerçevesinin içeriğini görelim;

sozluk = {"isim" : ["Mustafa", "Halil", "Burak", "Emre", "Ersin", "Sertaç", "Furkan","Murat","Ahmet","Abdülkadir"], 
                    "yaş" : [25, 38, 41, 23, 37, 52, 30, 23, 40, 38],
                    "iş-meslek" : ["mühendis", "programcı", "akademisyen","yönetici","amir","mühendis","yönetici","müdür","veteriner","yönetici"]}

veri = pd.DataFrame(sozluk)
print(veri)

isnull() Fonksiyonunun Kullanımı

isnull() fonksiyonu aşağıdaki şekilde kullanılır.

print(veri.isnull())

any() Fonksiyonu

isnull() fonksiyonuna any() Fonksiyonunu da eklersek, veri çerçevesi tümüyle görüntülenmez sadece veri çerçevesi başlıkları ve bu başlıklarda (sütunlarda) eksik/kayıp veri bulunup bulunmadığı bilgisi görüntülenir.

print(veri.isnull().any())

isim         False
yaş          False
iş-meslek    False
dtype: bool

Görüyoruz ki, veri çerçevemizde hiç eksik/kayıp veri bulunmamaktadır. Yukarıdaki sözlük yapısında bazı verileri boş bırakarak yeni bir veri çerçevesi oluşturalım ve isnull() fonksiyonunu çalıştırıp sonuçları inceleyelim.

sozluk_2 = {"isim" : ["Mustafa", pd.NaT, "Burak", "Emre", "Ersin", "Sertaç", "Furkan","Murat","Ahmet","Abdülkadir"],
                    "yaş" : [25, 38, 41, pd.NaT, 37, 52, 30, 23, 40,  pd.NaT],
                   "iş-meslek" : ["mühendis", "programcı", "akademisyen", "yönetici","amir","mühendis", "yönetici","müdür","veteriner","yönetici"]}
veri_2 = pd.DataFrame(sozluk_2)
print(veri_2)

1 nolu İndeksteki isim, 3 nolu ve 9 nolu İndekslerdeki yaş bilgilerin boş olduğunu görüyoruz.

print(veri_2.isnull())

1 nolu İndeksteki isim, 3 nolu ve 9 nolu İndekslerdeki yaş bilgileri eksik olduğu için bu değerler True, diğer hücrelerde ise eksik veri olmadığı için False değeri ile gösterilmektedir.
Sütun bazlı eksik/kayıp veri olup olmadığını incelersek;

print(veri_2.isnull().any())

isim          True
yaş           True
iş-meslek    False
dtype: bool

Çıktıdan anlıyoruz ki;

• isim ve yaş sütunlarında Eksik veri bulunuyor
• iş-meslek sütununda hiç eksik veri bulunmuyor.

Bir bakşa örneği daha inceleyelim, IMDB listemizde eksik veri var mı? varsa hangi sütunda ne kadar eksik veri var?

imdb = pd.read_excel("Veri_Setleri/imdb.xlsx")
print(imdb.isnull())

247 rows × 4 columns

Görüldüğü üzere, bu fonksiyon, veri çerçevesindeki her hücreye, kayıp/eksik veri olup olmadığı verisini yazıyor. False Yanlış, yani Eksik/Kayıp veri YOK, True ise Doğru yan, Eksik/Kayıp veri VAR anlamına gelir.

sum() Fonksiyonu

Yukarıdaki imdb tablosuna tek tek bakmak yerine, tüm sütunlardaki eksik/kayıp verileri python'a saydırıp, sonucu görüntüleyebiliriz. Python'da aşina olduğumuz sum() fonksiyonu işimize yarayacaktır.

print(imdb.isnull().sum())

Film_Adı        0
Yıl             0
Puan            0
Oylayan_Kişi    0
dtype: int64

Gördüğümüz kadarıyla tüm sonuçlar sıfır, yani veri çerçevemizde hiç eksik/kayıp veri bulunmamaktadır.

İçerisinde Kayıp/Eksik veri olan bir Calc tablosunu, veri çerçevesine dönüştürerek inceleyelim.

veri = pd.read_excel("Veri_Setleri/eksik_veri.ods")
print(veri)

isnull().sum() metodlarıyla, yeni veri çerçevemizdeki eksik verilerin bilgilerini görelim

print(veri.isnull().sum())

Film_Adı        0
Yıl             1
Puan            0
Oylayan_Kişi    2
dtype: int64

Yıl sütununda 1, Oylayan_Kişi sütununda 2 adet eksik veri olduğu görünüyor.