Replication crisis nedir ?

Irem

New member
Bu teoriye göre kişi, dikkatini kontrol etmek veya bir dürtüsüne karşı koymak gibi zihinsel açıdan zorlayıcı bir görev yaptığında, sonraki özdenetim görevinde daha kötü performans gösterebilir. Örneğin bütün gün kendini kontrol etmeye çalışmış birinin akşam sağlıklı beslenme kararını sürdürmekte zorlanabileceği düşünülür.

İlk bakışta oldukça mantıklı görünen bu yaklaşım, kişisel gelişim kitaplarından iş hayatına kadar pek çok alanda karşılık buldu. Ancak araştırmacılar etkiyi daha sıkı yöntemlerle sınadıklarında tablo karmaşıklaştı.

2016 yılında yayımlanan çok laboratuvarlı bir tekrarlama çalışmasında 23 laboratuvar, toplam 2.141 katılımcıyla standartlaştırılmış bir deney protokolünü uyguladı. Sonuçta hesaplanan etki büyüklüğü Cohen'in d ölçüsüne göre 0,04 olarak bulundu. Yüzde 95 güven aralığı -0,07 ile 0,15 arasındaydı; başka bir deyişle, veriler sıfır etkiyle uyumluydu.

Bu sonuç, çalışmanın kullanılan yöntem altında güçlü bir tükenme etkisini desteklemediğini gösteriyordu.

2021 yılında yayımlanan başka bir araştırma ise 36 laboratuvarda 3.531 katılımcıyı bir araya getirdi. Önceden belirlenmiş doğrulayıcı analizlerde etki büyüklüğü d = 0,06 olarak hesaplandı ve istatistiksel açıdan anlamlı bulunmadı. Araştırmacıların Bayesçi analizleri de verilerin sıfır etki hipotezi altında, belirli bir büyüklükteki alternatif etki hipotezine göre dört kat daha olası olduğunu gösterdi.

Buradaki Bayesçi sonuç, her koşulda irade tükenmesi diye bir şeyin bulunmadığını kanıtlamıyor. Belirli varsayımlar altında, gözlenen verilerin etkisizlik açıklamasını daha fazla desteklediğini gösteriyor.

Kaynaklar:

- Hagger ve arkadaşları, A Multilab Preregistered Replication of the Ego-Depletion Effect, Perspectives on Psychological Science, 2016.

- Vohs ve arkadaşları, A Multisite Preregistered Paradigmatic Test of the Ego-Depletion Effect, Psychological Science, 2021.

Bu örnekte benim dikkatimi çeken nokta, günlük hayatta sezgisel olarak doğru görünen bir fikrin bilimsel açıdan aynı güçte desteklenmeyebilmesi. İnsanlar gerçekten yorulur, dikkatleri dağılır ve karar vermekte zorlanabilir. Ancak bu gözlemler, iradenin herkes için aynı şekilde işleyen, ölçülebilir ve sınırlı bir kaynak olduğu yönündeki daha özel teoriyi tek başına doğrulamaz.

Bir teorinin makul görünmesi ile deneysel olarak doğrulanması arasındaki fark, tekrarlanabilirlik krizinin neden önemli olduğunu çok iyi açıklıyor.

5. Many Labs 2: Aynı Sonuç Her Ülkede Geçerli mi?

Bir araştırmanın farklı laboratuvarlarda tekrarlanması kadar farklı kültürlerde ve toplumsal koşullarda sınanması da önemlidir.

2018 yılında yayımlanan Many Labs 2 araştırması, 36 ülke ve bölgeden 15.305 katılımcıyı içeren 125 örneklemde, daha önce yayımlanmış 28 psikolojik bulguyu inceledi.

Araştırmacılar, deney protokollerini veri toplanmadan önce kayda geçirdi. Böylece sonuçlar görüldükten sonra yöntem değiştirme ve yalnızca olumlu sonuçları öne çıkarma risklerini azaltmayı amaçladılar.

Sonuçlar şöyleydi:

- 28 bulgunun 15'i, yani yaklaşık yüzde 54'ü, ilk çalışmayla aynı yönde istatistiksel olarak anlamlı sonuç verdi.

- 21 tekrarlama çalışmasında, yani yüzde 75'inde, etki büyüklüğü ilk araştırmadakinden daha küçüktü.

- Karşılaştırılabilir etki büyüklüklerinin medyanı, ilk araştırmalarda 0,60 iken tekrarlama çalışmalarında 0,15 olarak hesaplandı.

Medyan, sonuçlar küçükten büyüğe sıralandığında ortada kalan değerdir. Bu nedenle 0,60'tan 0,15'e düşüş, tek başına bütün araştırmaların aynı oranda zayıfladığı anlamına gelmez. Ancak incelenen bulguların tipik etki büyüklüğünün belirgin biçimde küçüldüğünü gösterir.

Araştırmanın diğer önemli sonucu, bazı bulguların farklı örneklemlerde aynı güçte ortaya çıkmamasıydı. İnsan davranışları kültürden, sosyal normlardan, ekonomik koşullardan ve araştırmanın yürütüldüğü ortamdan etkilenebilir.

Kaynak: Klein ve arkadaşları, Many Labs 2: Investigating Variation in Replicability Across Samples and Settings, Advances in Methods and Practices in Psychological Science, 2018.

Buradan Türkiye açısından da önemli bir soru çıkıyor: ABD'deki üniversite öğrencileriyle gerçekleştirilen bir araştırmanın sonucunu Türkiye'deki lise öğrencilerine, çalışan yetişkinlere veya farklı sosyoekonomik gruplara doğrudan uygulayabilir miyiz?

Bence cevap, araştırmanın konusuna ve kullanılan yönteme bağlı. Bazı psikolojik mekanizmalar farklı kültürlerde benzer şekilde işleyebilir; bazılarıysa sosyal çevreye oldukça duyarlıdır. Bilimsel genelleme yaparken bu iki ihtimali birbirinden ayırmamız gerekiyor.

6. Krizin Günlük Hayata Etkileri: Sağlık, Eğitim ve İş Dünyası

Tekrarlanabilirlik krizi yalnızca akademik tartışmalarda kalmıyor. Araştırmalara dayalı kararların uygulamaya geçirildiği her alanda sonuçları olabilir.

Sağlık alanında

Bir tedavinin veya beslenme yönteminin etkili olduğunu ileri süren tek bir araştırma, insanların sağlık kararlarını değiştirebilir. Ancak araştırmanın küçük bir örneklemle yürütülmüş olması, sonuçların başka gruplarda doğrulanmaması veya olumsuz bulguların yayımlanmaması yanlış beklentilere yol açabilir.

Bu nedenle sağlık alanında tek bir çalışmanın başlığından çok, sistematik derlemelere, meta-analizlere, klinik araştırmaların kalitesine ve bağımsız doğrulamalara bakmak gerekir.

Burada risk yalnızca para kaybı değildir. İnsanlar etkisiz bir yönteme güvenerek zaman kaybedebilir veya etkili bir tedaviyi erteleyebilir. Bu yüzden kanıtların kalitesi, doğrudan insan sağlığı ve güvenliğiyle ilişkilidir.

Eğitim alanında

Bir öğretim yönteminin öğrencilerin başarısını artırdığı iddia edilebilir. Fakat ilk araştırmada elde edilen fark başka okullarda görülmüyorsa, yöntemin bütün öğrencilere aynı şekilde fayda sağlayacağını söylemek doğru olmaz.

Örneğin belirli bir dijital öğrenme uygulaması, teknolojiye erişimi yüksek öğrenciler arasında başarılı sonuç verebilir. Aynı uygulama, internet erişimi sınırlı veya farklı öğrenme ihtiyaçları olan öğrencilerde aynı etkiyi göstermeyebilir.

Bu noktada başarı puanları kadar öğrencilerin deneyimi, öğretmenlerin iş yükü ve eğitim kaynaklarına erişim gibi etkenleri de incelemek gerekir.

İş dünyasında

Şirketler işe alım, performans değerlendirmesi ve çalışan motivasyonu gibi konularda bilimsel araştırmalardan yararlanıyor. Ancak belirli bir yöntemin bir şirkette başarılı olması, her kurumda aynı sonucu vereceğini göstermez.

Örneğin çalışanlara verilen ödüllerin üretkenliği artırdığına ilişkin bir bulgu, farklı iş kollarında farklı sonuçlar doğurabilir. Bazı görevlerde bireysel ödüller fayda sağlayabilirken ekip çalışmasının önemli olduğu ortamlarda iş birliğini zayıflatabilir.

Bu nedenle yöneticilerin araştırma sonuçlarını doğrudan evrensel kurallara dönüştürmek yerine, kendi kurumlarında ölçülebilir sonuçlarla sınaması daha sağlıklı olacaktır.

Toplumsal güven açısından

Bir gün bir besinin son derece faydalı olduğunu, birkaç ay sonra aynı besinin sanıldığı kadar faydalı olmadığını söyleyen haberlerle karşılaşmak insanları yorabilir. Her yeni araştırmanın önceki bilgileri geçersiz kıldığı izlenimi, bilimsel kurumlara duyulan güveni zayıflatabilir.

Oysa bilimsel bilginin zaman içinde değişmesi her zaman başarısızlık değildir. Yeni veriler, önceki sonuçların sınırlarını gösterebilir ve daha iyi açıklamalar geliştirilmesini sağlayabilir.

Asıl sorun, ilk bulguların kesin gerçeklermiş gibi sunulması ve belirsizliklerin kamuoyuyla yeterince paylaşılmamasıdır.

7. Erkeklerin ve Kadınların Bakış Açıları: Sonuçlar Kadar İnsanlar da Önemli

Bu konuyu tartışırken toplumsal etkileri de göz ardı etmemek gerekiyor. Ancak erkeklerin daha pratik, kadınların ise daha duygusal düşündüğünü varsaymak bilimsel açıdan doğru olmaz. Araştırmaların değerlendirilmesinde cinsiyetten çok kişinin deneyimi, uzmanlığı, değerleri ve içinde bulunduğu koşullar belirleyici olabilir.

Bununla birlikte, forum tartışmalarında iki tamamlayıcı bakış açısını ele alabiliriz.

İlk bakış açısı, pratik sonuçlara ve kararların doğruluğuna odaklanıyor. Bu açıdan bakıldığında temel sorular şunlardır: Bir araştırma hangi kararı değiştirmeli? Uygulanan yöntem gerçekten işe yarıyor mu? Hatalı bir bulgunun maliyeti ne kadar? Bir şirket veya kamu kurumu, sınırlı bütçesini hangi kanıta dayanarak kullanmalı?

Örneğin bir işletme, çalışan verimliliğini artırdığı iddia edilen bir programa yatırım yapmadan önce bağımsız araştırmaları inceleyebilir ve programı küçük bir grupta deneyebilir. Böylece hem kaynaklarını korur hem de kararının sonuçlarını ölçebilir.

İkinci bakış açısı, insanlar üzerindeki sosyal ve duygusal etkileri öne çıkarıyor. Bir araştırmanın yanlış çıkması, yalnızca istatistiksel bir düzeltme değildir. O araştırmaya güvenerek karar veren insanlar hayal kırıklığı yaşayabilir, kendilerini suçlayabilir veya daha önce inandıkları bilgilerin tamamından şüphe etmeye başlayabilir.

Örneğin bir ebeveyn, çocuğunun gelişimi için etkili olduğu söylenen bir yöntemi uygulamışsa ve daha sonra yöntemin kanıtlarının zayıf olduğu ortaya çıkarsa, kendisini gereksiz yere suçlayabilir. Burada bilimsel iletişimin sorumluluğu, insanları korkutmak veya utandırmak değil, kanıtların sınırlarını anlaşılır biçimde açıklamaktır.

Bu iki yaklaşım birbirine karşıt değildir. Güvenilir bilim, hem doğru kararlar alınmasını hem de insanların bu kararların sonuçlarından korunmasını amaçlamalıdır.

Ayrıca araştırmalara katılan kişilerin kim olduğu da önemlidir. Kadınların, erkeklerin, farklı yaş gruplarının ve farklı toplumsal koşullarda yaşayan insanların araştırmalarda yeterince temsil edilmemesi, sonuçların herkese genellenmesini zorlaştırabilir. Özellikle sağlık ve davranış bilimlerinde örneklem çeşitliliği, yalnızca eşitlik meselesi değil, bilimsel geçerlilik meselesidir.
 
Üst