Claude Shannon ve bilginin ölçüsü: Bit ve entropi

Bir mesajda ne kadar bilgi vardır? Bu soruya “sayfa sayısı” ya da “harf sayısı” diye cevap vermek cazip gelir. Ama “Yarın güneş doğacak” ile “Yarın sınav iptal” cümlelerinin uzunlukları yakın olsa da biri size neredeyse hiçbir yeni şey söylemez, diğeri ise gününüzü değiştirebilir.

Amerikalı matematikçi ve mühendis Claude Shannon, 1948’de yayımladığı bir makalede bu sezgiyi kesin bir matematiğe dönüştürdü. Bilginin birimini bit olarak belirledi ve bir kaynağın ürettiği ortalama bilgiyi entropi adını verdiği bir sayıyla ölçtü. Bu yazıda bit ve entropiyi yazı-tura örnekleriyle adım adım hesaplayacak, bu fikirlerin bugün telefonlarımızda ve internette nasıl yaşadığını göreceğiz.

Claude Shannon kimdi?

Shannon 30 Nisan 1916’da ABD’nin Michigan eyaletinde doğdu. Michigan Üniversitesi’nde hem matematik hem elektrik mühendisliği okudu. 1937’de MIT’de hazırladığı yüksek lisans tezinde, George Boole’un mantık cebirinin elektrik anahtarlarından oluşan devreleri tasarlamak için kullanılabileceğini gösterdi. Bu fikir, dijital devre tasarımının temel taşlarından biri oldu. Boole’un cebirini mantık cebiri yazımızda anlatıyoruz.

Shannon uzun yıllar telefon şirketinin araştırma laboratuvarı Bell Labs’ta çalıştı. 1948’de şirketin teknik dergisinde iki bölüm hâlinde “A Mathematical Theory of Communication” başlıklı makalesini yayımladı. Makale bilgi kuramının kurucu metni kabul edilir. 1949’da şifreleme sistemlerinin matematiği üzerine de önemli bir makale yazdı. Daha sonra MIT’de profesör oldu ve 24 Şubat 2001’de hayatını kaybetti.

Bilgi, belirsizliğin azalmasıdır

Shannon’ın temel fikri şudur: Bir mesajın taşıdığı bilgi, mesajın anlamıyla değil, mesajı almadan önceki belirsizliğimizle ilgilidir. Sonucunu zaten bildiğimiz bir olay bize bilgi vermez. Çok şaşırtıcı bir sonuç ise çok bilgi verir.

Shannon, mesajların anlamını bilinçli olarak bir kenara bıraktı. Mühendisin sorunu, gönderilen sembollerin karşı tarafa doğru ulaşmasıydı. Bu yaklaşım sayesinde metin, ses ve görüntü aynı ölçüyle ele alınabildi.

Bit: Bir evet-hayır sorusunun cevabı

En basit belirsiz durum, eşit olasılıklı iki sonuçtur. Adil bir para atıldığında yazı mı tura mı geldiğini öğrenmek, tam olarak 1 bit bilgidir. Bit kelimesi İngilizce “binary digit” (ikili basamak) ifadesinin kısaltmasıdır. Shannon makalesinde bu kısaltmayı Bell Labs’tan meslektaşı John Tukey’nin önerdiğini belirtir.

Birden fazla eşit olasılıklı sonuç olduğunda kaç bit gerekir? Kendi örneğimizle düşünelim. Bir arkadaşınız 1’den 8’e kadar bir sayı tuttu ve siz yalnızca evet-hayır soruları sorabiliyorsunuz.

1. “Sayı 4’ten büyük mü?” Hayır. Kalan: 1, 2, 3, 4.
2. “Sayı 2’den büyük mü?” Evet. Kalan: 3, 4.
3. “Sayı 3 mü?” Hayır. Sayı 4’tür.

Her soru olasılıkları yarıya indirdiği için 8 seçenekte tam 3 soru yeter. 8 = 2³ olduğundan bilgi miktarı 3 bittir. Genel olarak N eşit olasılıklı sonuç için gereken bilgi log₂ N bittir:

• 2 sonuç → log₂ 2 = 1 bit
• 8 sonuç → log₂ 8 = 3 bit
• 64 sonuç (örneğin satranç tahtasında bir kare) → log₂ 64 = 6 bit
• 6 sonuç (bir zar) → log₂ 6 ≈ 2,585 bit

Zar örneği tam sayı çıkmıyor. Bu, tek bir zar atışı için tam sayıda soru sormak gerekse de çok sayıda atışın sonucunu birlikte kodlarken ortalamanın atış başına 2,585 bite yaklaştırılabileceği anlamına gelir. Logaritmanın burada neden doğal olarak ortaya çıktığını merak ediyorsanız Napier ve logaritma yazımıza göz atabilirsiniz.

Entropi: Olasılıklar eşit değilse

Peki para hileliyse? Diyelim ki bir para %90 olasılıkla tura, %10 olasılıkla yazı geliyor. Sonucu öğrenmek hâlâ 1 bit mi eder?

Sezgimiz hayır der: Zaten büyük olasılıkla tura geleceğini biliyoruz. Shannon, bir sonucun olasılığı p ise o sonucun taşıdığı bilginin log₂(1/p) bit olduğunu kabul etti. Bir kaynağın entropisi ise bu bilgilerin olasılıklarla ağırlıklı ortalamasıdır:

H = p₁ × log₂(1/p₁) + p₂ × log₂(1/p₂) + …

Aynı ifade Σ işaretiyle H = −Σ pᵢ × log₂ pᵢ olarak da yazılır.

Adil para

p₁ = p₂ = 0,5 için:

• log₂(1/0,5) = log₂ 2 = 1
• H = 0,5 × 1 + 0,5 × 1 = 1 bit

%90’a %10 hileli para

• Tura: log₂(1/0,9) ≈ 0,152 bit. Beklenen sonuç az şaşırtır.
• Yazı: log₂(1/0,1) = log₂ 10 ≈ 3,322 bit. Nadir sonuç çok şaşırtır.
• H ≈ 0,9 × 0,152 + 0,1 × 3,322 ≈ 0,137 + 0,332 ≈ 0,47 bit

Başka iki para

• %75’e %25: H ≈ 0,75 × 0,415 + 0,25 × 2 ≈ 0,311 + 0,5 ≈ 0,81 bit
• %99’a %1: H ≈ 0,08 bit
• Her zaman tura gelen para (%100): Hiç belirsizlik yoktur, H = 0 bit

Bu değerleri bir grafiğe koyarsak, yatay eksende turanın olasılığı, dikey eksende entropi olmak üzere bir tepe elde ederiz. Tepe tam ortada, p = 0,5’te 1 bittir. İki uca, yani p = 0 ve p = 1’e doğru eğri sıfıra iner. Bu yazının kapağındaki eğri tam olarak budur: Belirsizlik en çok, sonuçlar eşit olasılıklıyken büyüktür.

Entropi neden işe yarar? Sıkıştırma

Shannon’ın en önemli sonuçlarından biri şudur: Bir kaynağın ürettiği mesajları, ortalamada sembol başına entropiden daha az bitle, bilgi kaybetmeden kodlayamazsınız. Ama entropiye istediğiniz kadar yaklaşabilirsiniz.

Hileli paramızla bir deney yapalım. 1000 atışlık bir sonuç dizisini kaydetmek istiyoruz.

• Her atışı 1 bitle yazarsak (tura = 0, yazı = 1): 1000 bit.
• Entropi 0,47 bit olduğuna göre, uygun bir kodlamayla bu diziyi ortalamada yaklaşık 470 bite sığdırmak mümkündür.

Bunun bir yolu, atışları gruplamak ve sık görülen grupları kısa, nadir grupları uzun kodlarla yazmaktır. Örneğin atışları ikişer ikişer ele alalım. “Tura-tura” çiftinin olasılığı 0,9 × 0,9 = 0,81’dir. Bu çifte 1 bitlik “0” kodunu verelim. Diğer üç çifte “10”, “110” ve “111” kodlarını verelim. Çift başına ortalama uzunluk:

0,81 × 1 + 0,09 × 2 + 0,09 × 3 + 0,01 × 3 = 0,81 + 0,18 + 0,27 + 0,03 = 1,29 bit

Bu, atış başına 1,29 ÷ 2 ≈ 0,645 bit demektir. 1 bitten belirgin biçimde az, ama 0,47’nin hâlâ üzerinde. Daha büyük gruplar ve daha akıllı kodlarla entropiye yaklaşılır, ama altına inilemez. Dosya sıkıştırma yöntemlerinin arkasındaki temel fikir budur. Görüntü ve ses sıkıştırmanın bir adım ötesini JPEG ve MP3 yazımızda bulabilirsiniz.

Gürültülü kanallar ve hata düzeltme

Shannon’ın ikinci büyük sonucu, gürültülü iletişimle ilgilidir. Her iletişim kanalının (telefon hattı, radyo dalgası, kablo) bir kapasitesi vardır. Saniyede gönderilen bilgi bu kapasitenin altında kaldığı sürece, uygun kodlarla hata olasılığı istenildiği kadar küçültülebilir.

Bu, o dönemin mühendisleri için şaşırtıcıydı. Gürültüye karşı tek çare mesajı defalarca tekrarlamak gibi görünüyordu. Shannon, akıllıca eklenmiş fazladan bitlerle çok daha verimli bir koruma yapılabileceğini gösterdi. Ancak bu kodların nasıl kurulacağını ayrıntılı olarak vermedi. Pratikte kapasiteye yaklaşan kodların geliştirilmesi on yıllar sürdü. Bu fikrin gündelik bir örneğini QR kodları ve hata düzeltme yazımızda görebilirsiniz.

Bugün nerede karşımıza çıkar?

• Dijital iletişim: Cep telefonları, Wi-Fi ve uydu bağlantıları, Shannon’ın kapasite ve kodlama fikirleri üzerine kuruludur.
• Veri sıkıştırma: ZIP dosyaları, görüntü ve ses biçimleri entropi fikrinden yararlanır.
• Makine öğrenmesi: Modellerin ne kadar “şaşırdığını” ölçen kayıp fonksiyonları, entropi ile yakından ilişkilidir.
• Lise matematiği: Entropi hesabı olasılık, logaritma ve ağırlıklı ortalama konularını bir araya getirir. Olasılık kavramının tarihine Pascal ve Fermat yazımızda değiniyoruz.

Kapanış

Shannon bilgiyi, anlamı bir kenara bırakarak ölçülebilir hâle getirdi. Paradoks gibi görünse de bu soyutlama, bugün her türlü anlamlı mesajı dünyanın bir ucundan diğerine hatasız taşımamızı sağlıyor. Bir dahaki sefere yazı-tura atarken, sonucun size tam olarak 1 bit bilgi verdiğini hatırlayın. Para hileliyse biraz daha az.