İstatistik Okurken Kandırılmamak İçin Dikkat Edilmesi Gerekenler
istatistik, kimi zaman kötü niyetli kişilerin başkalarını kandırma aracı haline gelir.
sayılarla, yüzdelerle, araştırma veya istatistik adıyla bize gelen bilgiler gardımızı düşürür ve kendimizi inanmak zorunda hissederiz. ama birilerinin bize istatistik ve bilim ambalajıyla sunduğu bilgi ya yalansa? kandırılmamak için yardım alınması gereken merci ise yine istatistik biliminin kendisidir. istatistik okuryazarlığı işte bu noktada devreye giriyor.
peki, istatistik okuryazarı olmak istiyorsak bize sunulan istatistiksel bilgilerde nelere dikkat etmeliyiz?
1. araştırmayı veya anketi kim finanse etmiş?
"falan marka tıraş bıçağını kullananların % 95'i bu markayı öneriyor" (ingiltere kralı, rahmetli başkan kennedy, taçsız kral pele, beckenbauer dahil) veya "filan saç bakım ürününü kullananların saç dökülmesi %60 azaldı" gibi bir bilgi okuduğunuzda hemen bu anketi/araştırmayı kimin yaptırdığına bakın. genelde bu tür araştırmalar ürün sahibi firma tarafından finanse edilir. araştırmayı yapan kurum ne kadar güvenilir olursa olsun (üniversite, ünlü alman bilmem ne enstitüsü vs. dahil), parayı kimin ödediği önemli. bu, sonuçların tamamen yalan olduğu anlamına gelmez ama bağımsız kuruluşlar tarafından finanse edilen araştırmalar çok daha güvenilirdir.
2. araştırmaya konu edilen kişiler veya nesneler nasıl seçilmiş?
konservatuvarın önünde yapılan müzik türleri beğenileri anketinde çıkan oranlar üniversite genelini yansıtmayacaktır. amaç o üniversitenin öğrencilerinin müzik türü beğenilerini ortaya koymaksa tüm öğrencilerin olduğu listeden rastgele seçilen gruba anket uygulanmalıdır (bkz: random sampling). benzer şekilde, falan marka ve model bir otomobilin en sık gösterdiği arıza türleri ve oranlarını tespit etmek için şehir merkezinde yapılan bir araştırma ülke genelini yansıtmayacaktır. (bkz: sample selection bias)
3. araştırmaya konu edilen kişiler veya nesnelerin sayısı yeterli mi?
yeterli veya yetersiz tespiti yapmak maalesef adam akıllı istatistik bilgisi gerektiriyor ama konunun önemini anlatmak için örnekler vereceğim. falan marka ve model 4 çamaşır makinesinden 2 tanesinin 1 yıl içinde arıza vermesi, takdir edersiniz ki o marka ve modelin %50'sinde problem olduğunu göstermez. doğruya yakın bir oran vermek için daha fazla makinede arıza oranlarının tespiti gerekir. geri kalan her şey mükemmel olsa da (rastgele örnekleme, güvenilir kurum vs.) 100 kişi ile yapılmış bir seçim anketine güvenir miydiniz veya 20 kişide denenmiş ve herhangi bir yan etkisi tespit edilmemiş bir ilacı kullanmak ister miydiniz? (bkz: örneklem büyüklüğü)
4. neden sonuç ilişkisi olmadığı halde böyle sunulan araştırma sonuçlarına dikkat
iki şey arasında bağlantı olduğunun saptanması, her zaman bu iki şeyden birinin diğerine yol açtığı anlamına gelmez (bkz: correlation does not imply causation). örneğin pizza tüketimi ile sivilce arasında bir ilişki olup olmadığını araştıran bir bilimsel çalışmanın raporunu okuduğumuzu farz edelim. toplumdan rastgele seçilmiş bir grup insanın pizza tüketim miktarları anketle sorulmuş ve sivilce durumları dermatologlar tarafından belirlenmiş olsun. araştırma sonucuna göre çok pizza yiyenlerde sivilce problemi yüzdesinin daha yüksek olduğu ortaya çıkmış olsun. böyle bir araştırmayı okuyan hemen herkes çok pizza yemenin sivilceye yol açtığını düşünecektir, ama öyle değil. çünkü çok pizza tüketen grubun çoğunluğu gençtir ve bunlarda daha çok sivilce görülür. dolayısıyla buradaki sivilcenin gerçek sebebi aşırı pizza tüketimi değil genç olmaktır. tabii ki bu hayali bir araştırma (belki de gerçekten yapılmıştır ama ben haberdar değilim), fakat gerçekten de çoğu bilim insanına göre pizza dahil yağlı yiyecekler ve fast food sivilceye yol açmıyor. neyse konumuz bu değil. burada olduğu gibi iki şey (pizza ve sivilce) arasında bir ilişki olması (hayali araştırmamıza göre gerçekten bir ilişki var) neden sonuç ilişkisi olduğunu kanıtlamaz. bunun için ayrıca olayın mekanizmasına, diğer araştırmaların sonuçlarına, uzmanların ne dediğine bakılmalıdır (bkz: neden sonuç ilişkisi). bizim örneğimizde sonuca (sivilce), etkisi araştırılan şey (pizza) değil başka bir şey (genç olmak) sebep olmuştur. bu tür hatalardan kaçınmak için her zaman "bulunduğu ileri sürülen sonucun alternatif bir nedeni olabilir mi" sorusunu sormalıyız. istatistiksel ilişkiyi/bağlantıyı başka bir şekilde açıklayabiliyorsanız neden sonuç ilişkisi kurmak zorlaşır.
5. bilimsel dergiler negatif sonuçlardansa pozitif sonuçları yayınlamaya meyillidir
örneğin bir bitkinin olumlu sağlık etkileri olduğu sonucunu bulmuş bir araştırmanın yayınlanma ihtimali, aynı bitkinin olumlu etkilerini tespit edememiş başka bir araştırmadan daha yüksektir. yani muhtemelen raporunu okuduğunuz veya haberlerde duyduğunuz pozitif sonuçlu araştırmalardan sayıca daha fazla negatif sonuçlu araştırma var fakat bundan haberdar değilsiniz. (bkz: publication bias)
6. objektif ölçüm yöntemleri yerine subjektif yöntemler mi kullanılmış?
iştahı azaltarak zayıflattığını iddia eden bir bitkisel ürün üreticisi, araştırmada yer alan kişilerin ürünü kullanmadan önceki ve kullandıktan sonraki ağırlıklarının ölçüm sonucu yerine neden ürünün iştahlarını azalıp azalmadığına dair anket sonucunu yayınlar?
7. ortalama değer yerine en iyi değer mi bildirilmiş?
falan kepek şampuanıyla %70'e kadar daha az kepek. peki kepeği ortalama olarak ne kadar azaltıyor? beni asıl ilgilendiren ortalama, çünkü ben kullandığımda elde edeceğim sonuç o değere yakın olacak.
8. ortalamaya dönüş
(bkz: regression to the mean) ölçülen veya araştırılan şeyler hiçbir zaman sabit değildir, zaman içerisinde az veya çok -ama mutlaka- değişim gösterir. araştırma için seçilen ve o an için ekstrem değere sahip olan kişiler veya nesneler zamanla kendi ortalama değerlerine döner. buna ortalamaya dönüş denir. normal olan bu değişimin, etkisi araştırılan şeyden kaynaklandığının iddia edilmesi ile kandırmaca ortaya çıkar. örnekler açıklayıcı olacak. bel ağrılarına karşı "gerçekte tamamen etkisiz olan" bilmem ne bitkisel kürünün test edileceğini var sayalım. bütün biyolojik olaylarda olduğu gibi bel ağrısı da zamanla artıp azalır, yani dalgalanmalar gösterir. böyle bir araştırmada yer almayı kabul edecek kişilerin çoğu şiddetli bel ağrısı dönemlerinde olup çözüm arayan kişiler olacaktır. ortalamaya gerileme nedeniyle bir müddet sonra ağrıların azalması ise hatalı olarak "mucizevi" bitki kürünün işe yaradığı şeklinde yorumlanacaktır. bu sorunun kesin çözümü bir kontrol grubunun oluşturulmasıdır (bkz: kontrollü deney). ama nedense (!) bitkisel ürün üreticileri kontrol grubu ile kıyaslama şeklinde araştırma yapmaktansa öncesi-sonrası kıyaslaması yapıyor. başka bir örnek olarak, bir fabrikanın, imal ettiği üründe hata oranının artması üzerine üretim hattında bir iyileştirmeye gittiğini düşünelim. sanayide hatalı ürün oranları partiden partiye değiştiği gibi haftadan haftaya ve aydan aya da değişir. hatalı ürün oranının fazla olduğu bir dönemde yapılan böyle bir müdahale sonrası gözlenen düzelmenin üretim hattına yapılan müdahalenin kendisinden mi yoksa ortalamaya dönüşten mi kaynaklandığı iyi düşünülmelidir.
özetle; bir istatistik okuduğunuzda sadece başlığa ve başlıktaki sayılara/oranlara değil, içeriğe de bakın.