Araştırma Yöntemleri

Hikâye

2,4 milyon yanıt, yanlış kazanan

Ekim 1936. ABD başkanlık seçimine haftalar var ve Literary Digest dergisi kimin kazanacağını öğrenmek için yaklaşık 10 milyon kişiye posta oyu pusulası göndermiş. Yaklaşık 2,4 milyonu geri dönmüş: bugünkü hiçbir anketin hayal bile edemeyeceği bir sayı. Dergi, Cumhuriyetçi aday Alfred Landon’ın oyların yüzde 54’ünü alarak kazanacağını duyurdu.

Seçimi Franklin Roosevelt kazandı: oyların yüzde 60’ından fazlasını ve 523 seçmen oyunu aldı.

Ne olmuştu? Adres listesi ağırlıklı olarak telefon rehberlerinden ve otomobil kayıtlarından derlenmişti; Gallup’un teşhisi, bu listenin varlıklıları fazla temsil ettiği yönündeydi. Üstelik pusulaların yalnızca yaklaşık yüzde 24’ü geri dönmüştü. Sonraki incelemeler işin öbür yüzünü de gösterdi: Squire’a göre hem örneklem hem de kimin yanıt verdiği çarpıktı ve ikisi birleşince tahmin fırlamıştı. Ama herkes yanıt verseydi bile dergi en azından kazananı doğru bilirdi.

Derse bu hikâyeyle başlıyoruz, çünkü bütün yöntem dersi tek bir soruya çıkar: bu sayı nereden geldi? İletişim araştırmalarında okuduğun her yüzde, her “etki”, her manşet bir yöntemin ürünü. Yöntemi anlamadan sonucu okumak, tarifi görmeden yemeğe puan vermeye benziyor.

Kart

Yöntemlerin takvimi: bir avuç dönüm noktası

Yöntemler gökten inmedi; her biri bir öncekinin körlüğüne verilmiş bir cevap. Bu dersin iskeleti şu:

• 1933: Payne Fund çalışmalarının ilk ciltleri yayımlandı; filmlerin çocuklara etkisi üç ayrı tasarımla incelendi (bir sonraki kart).
• 1936: Literary Digest anketi, büyük ama çarpık örneklemin simgesi oldu.
• 1940: Erie County seçmen paneli: 600 kişiyle Mayıs’tan Kasım’a aylık görüşmeler. Yöneten Paul Lazarsfeld; kitap 1944’te çıktı.
• 1946: Robert K. Merton ile Patricia Kendall’ın “odaklı görüşme” makalesi.
• 1952: Bernard Berelson’un Content Analysis in Communication Research kitabı.
• 1969: George Gerbner, “Kültürel Göstergeler” programını ve mesaj sistemlerinin çözümlenmesini ortaya koydu.
• 1976: Gene Glass “meta-analiz” terimini ortaya attı. 1979: Robert Rosenthal, “dosya çekmecesi” sorununa karşı ne kadar sıfır sonuç gerektiğini hesaplayan yöntemler önerdi.
• 1982: Iyengar, Peters ve Kinder’in televizyon haberi deneyleri, siyasal iletişimde deneyin geri çağrılmasını savundu.
• 2011–2015: Simmons ve arkadaşlarının yanlış pozitif uyarısı (2011) ve 100 çalışmayı yeniden yapan Açık Bilim İş Birliği (2015).

Tarih ezberlemek yerine sırayı hatırla: önce “kimi seçtin” (örneklem), sonra “neyle karşılaştırdın” (tasarım), en sonda “buna güvenebilir miyiz” (tekrar, meta-analiz).

Hikâye

1933: Üç tasarım, bir soru, dürüst bir itiraf

1928’de Motion Picture Research Council’ın yöneticisi William H. Short, üniversitelerden psikolog, sosyolog ve eğitimcileri toplayıp o günün büyük sorusunu ortaya attı: sinema çocuklara ne yapıyor? Çalışma başkanı W. W. Charters’ın önsözüne göre o güne kadar kimse bunun cevabını genel ve kişisel olmayan biçimde bilmiyordu; herkes kendi anekdotunu anlatıyordu. Payne Fund’ın parasıyla 1929–1932 arasında dört yıl çalışıldı ve sonuç, Macmillan’ın ciltler hâlinde yayımladığı on iki çalışma oldu; ilk ciltler 1933’te çıktı.

Bu on iki çalışmanın üçü, üç ayrı yöntem dersi gibi okunabilir:

• Deney (Peterson ve Thurstone). Öğrencilere bir tutum ölçeği verilir, sonra bir film izlenir, ertesi sabah ölçek tekrarlanır. Soru: tek bir film tutumu oynatır mı?
• Karşılaştırmalı anket (Shuttleworth ve May). Sık film izleyen çocuklar seyrek izleyenlerle kıyaslanır; gruplar yaş, sınıf, cinsiyet ve aile arka planı bakımından denkleştirilir. Soru: film alışkanlığı hangi davranışlarla birlikte görülüyor?
• Yaşam öyküleri (Blumer). Gençler ve çalışanlar “sinema otobiyografisi” yazar: 634 üniversite öğrencisi, 481 kolej öğrencisi, 583 lise öğrencisi, 67 büro ve 58 fabrika çalışanı. Soru: filmler yaşamlarına nasıl giriyor?

Dürüst itiraf da metinlerin içinde. Shuttleworth ve May, karşılaştırmalı tasarımın kesin deneysel denetimden yoksun kaldığını, gözlenen farkın ne kadarının filmlere bağlanacağını söylemenin güç olduğunu yazıyor. Blumer ise kendi saydığı sıklıkların kesin sayılmaması gerektiğini belirtiyor. Yöntemin sınırını bilen araştırmacı, sonucu da o sınırın içinde konuşturur.

Kart

Temel iddia: bulgu, yöntemin izin verdiği kadar güçlüdür

Bu dersin iddiası şu: bir araştırma bulgusu, yalnızca onu üreten yöntemin izin verdiği kadar güçlüdür; bu yüzden bir çalışmayı okurken “ne buldular?” sorusundan önce “kimden, neyle ölçerek, neyle karşılaştırarak buldular?” diye sormak gerekir.

Üç soru bütün dersin omurgası:

1. Kimden? Yanıt verenler ya da incelenen mesajlar, konuşulan bütünü temsil ediyor mu? (örnekleme; Literary Digest.)
2. Neyle ölçerek? Ölçüm, ölçtüğünü sandığı şeyi ölçüyor mu, her seferinde aynı sonucu veriyor mu? (geçerlik, güvenirlik.)
3. Neyle karşılaştırarak? Fark gerçekten incelenen nedenden mi geliyor, yoksa başka bir şeyden mi? (ilişki ve nedensellik.)

Önceki derste (Kuram Nedir? Paradigmalar ve Sınıflamalar) kuramların sınanabilir olması gerektiğini konuştuk. Sınamanın kendisi burada başlıyor: bir hipotez bir yöntemle veriye dönüşmezse dilek olarak kalır. Sonraki derslerin çoğu bir çalışma anlatıyor; örneğin Payne Fund Çalışmaları ve Mars'tan Gelen İstila, Seçmen Araştırmaları ve Sınırlı Etkiler ve Gündem Belirleme. Hepsinde bu üç soruyu sorabileceksin.

Bir uyarı: yöntem bilmek şüpheci olmak demek, alaycı olmak değil. Hiçbir yöntem kusursuz değil; iyi araştırmacı kusurunu bilen ve sonucu o kusurun izin verdiği kadar iddialı söyleyendir. Bu ders bir yöntemin “kötü” olduğunu söylemiyor; her birinin neyi gördüğünü ve neyi göremediğini gösteriyor.

Kart

Yöntem dili: on başlıkta sözlük

Yöntem tartışmaları birkaç sözcüğün etrafında döner. Sözlüğün:

• Evren ve örneklem (örnekleme): evren, hakkında konuşmak istediğin bütün topluluk; örneklem, gerçekte ölçtüğün bölüm. Temsil gücünü büyüklük değil, seçilme biçimi belirler.
• Değişken: farklı değerler alan şey (izlenen dakika, haber türü, korku puanı).
• İşlemselleştirme: soyut bir kavramı ölçülebilir hâle getirmek. “Haber maruziyeti” = son yedi günde akşam haberini izlediğin gün sayısı, gibi.
• Güvenirlik (güvenirlik): ölçümün tutarlılığı; Türkçe kaynaklar bunu ölçüm değerlerinin kararlılığının göstergesi olarak anlatır.
• Geçerlik (geçerlik): ölçmek istediğini gerçekten ölçme derecesi. İç geçerlik: fark gerçekten incelediğin nedenden mi geliyor? Dış geçerlik: bulgu başka insanlara, ortamlara ve zamanlara uzanır mı?
• Karıştırıcı (üçüncü) değişken: iki şeyin birlikte değişmesine yol açan üçüncü etken (ilişki ve nedensellik).
• Etki büyüklüğü (etki büyüklüğü): farkın ya da ilişkinin ne kadar büyük olduğu. İstatistiksel anlamlılık ise yalnızca “tesadüf olabilir mi?” sorusunu yanıtlar.
• Meta-analiz (meta-analiz): çok sayıda çalışmanın sonuçlarını birleştirmek.
• Tekrar (replikasyon) (tekrarlanabilirlik krizi): aynı çalışmayı yeniden yapıp aynı sonucun çıkıp çıkmadığına bakmak.
• Deney, anket, içerik çözümlemesi, nitel yöntem: dört ana yöntem ailesi; yeri geldikçe göreceksin (deney yöntemi, anket araştırması, içerik çözümlemesi, nitel araştırma).

Laboratuvar

Mini laboratuvar: soruya yöntem seç

Elinde dört alet ve dört soru var. Aletleri tanı:

• Anket (anket araştırması): bir kitleye aynı soruları sorar. Cevapladığı soru: ne kadar, kaç kişi, hangi gruplarda?
• Deney (deney yöntemi): koşulu sen değiştirirsin, insanları kurayla gruplara bölersin, farkı izlersin. Cevapladığı soru: neden, bu şey ona yol açıyor mu?
• İçerik çözümlemesi (içerik çözümlemesi): insanlara değil mesajlara sorar. Cevapladığı soru: ne sıklıkta, nasıl, kimlerle?
• Nitel yöntemler (nitel araştırma): görüşme, gözlem, metin okuma. Cevapladığı soru: nasıl, hangi anlamda?

Şimdi sorular (hepsi hayalî):

1. Bir haber sitesinin manşetlerinde “şok” sözcüğü son beş yılda sıklaştı mı?
2. Gençlerin yüzde kaçı haberi öncelikle telefondan izliyor?
3. Yanlış haberin altına düzeltme notu koymak, ona inanmayı azaltır mı?
4. Yaşlı bir izleyici için akşam haberi günlük yaşamda ne anlama geliyor?

Kural: her sorunun “en uygun” bir aleti var, ama başka bir alet de yan bilgi verebilir. Asıl alışkanlık şu: bir çalışmayı okurken önce sorunun türünü, sonra yöntemin ona uyup uymadığını sor.

Yanlış anlama avı

“Nitel araştırma keyfî yorumdur” mu?

İnsanlar ne sanır. Sayı yoksa bilim de yoktur; görüşme, gözlem ve metin okuma “sadece yorum”dur, araştırmacı ne isterse onu bulur.

Kanıtlar ne diyor. Nitel gelenek bu itirazı ciddiye aldı ve kendi güvenilirlik ölçütlerini yazdı. Yvonna Lincoln ve Egon Guba, nitel (doğalcı) araştırma için inandırıcılık (credibility), aktarılabilirlik (transferability), tutarlılık (dependability) ve teyit edilebilirlik (confirmability) ölçütlerini önerdi; bunlar sırasıyla iç geçerlik, dış geçerlik, güvenirlik ve nesnellik gibi geleneksel ölçütlerin karşılıkları olarak düşünüldü. Yani soru “ölçüt var mı?” değil, “hangi ölçüt, hangi soruya uygun?”.

Kendi sınırını yazan nitel araştırmacıya örnek: David Morley, Nationwide adlı televizyon programının izleyicileriyle yaptığı 29 grup görüşmesinde bireysel görüşme yerine grup görüşmesini seçmişti; çünkü bireysel görüşmelerin çoğu insanı toplumsal bağlamından kopuk bir birey gibi ele alıyordu. Sonradan kendi eksiğini de not etti: gruplarla okul gibi ortak yerlerde konuşmuştu, yani televizyonun normalde izlendiği evde değil.

Bizim yorumumuz: sayılar da varsayım taşır. “Günde iki saat televizyon izliyorum” cümlesi bir ölçümdür ve doğruluğu ayrıca sınanmalıdır (ölçüm kartına bak). Nitel–nicel ayrımı “bilimsel–bilimsel olmayan” ayrımı değil, farklı soruların ayrımıdır; Kuram Nedir? Paradigmalar ve Sınıflamalar dersindeki “yorumlayıcı paradigma” tam da bu soruları soran gelenekti.

Adım adım

Anket, adım adım: nerede “Literary Digest” olunur?

1. Evreni tanımla. Kim hakkında konuşacaksın: “üniversite öğrencileri” mi, “18–29 yaşındaki herkes” mi? Evren bulanıksa örneklem de bulanık olur.
2. Örneklem çerçevesini bul. Evrenin ulaşılabilir bir listesi lazım. 1936’da bu liste ağırlıklı olarak telefon rehberleri ve otomobil kayıtlarıydı; çerçeve evrenden eksik kalınca örneklem baştan çarpık başlar.
3. Örneklemi seç. Herkesin hesaplanabilir bir seçilme şansı olan rastgele seçim ile eline ilk geçenlere sormak (kolayda örnekleme) aynı şey değil. Sayı büyüklüğü, seçilme biçiminin eksiğini kapatmaz.
4. Soruyu yaz ve dene. Sözcük seçimi cevabı oynatır (derin karta bak). Soruyu birkaç kişiyle önceden dene.
5. Alana çık ve yanıt oranını izle. Kimler yanıt vermiyor? Digest’te yanıt oranı yaklaşık yüzde 24’tü.
6. Yanıtsızlığı düzelt, ama abartma. Lohr ve Brick, Digest’in 1932 oylarına dair topladığı bilgiyle ağırlıklandırma yapılsaydı Roosevelt’in kazanacağının görüleceğini, ama yanlılığın yine de çok büyük kalacağını gösterdi.
7. Sınırı yaz. “Bu sonuç şu evren, şu dönem, şu yanıt oranı için geçerli.”

Bir tasarım seçimi daha var. Kesit araştırma herkese bir kez sorar ve bir anın fotoğrafını verir. Panel araştırma aynı kişilere tekrar döner ve kimin fikri nasıl değişti sorusunu yanıtlar (derin kart: Erie County paneli). anket araştırması

Hikâye

Kapıya bedava gazete geldi

2005 sonbaharı, Virginia. Araştırmacılar, Washington’a 25 mil kadar uzaklıktaki Prince William ilçesinde yaşayan ve Washington Post’a da Washington Times’a da abone olmadığını söyleyen 3.347 haneyi seçti. Sonra bir kura çekildi: kimine Post, kimine Times on hafta ücretsiz gönderilecek; üçüncü grup hiçbir şey almayacaktı. Gazetelerden biri görece liberal, öbürü muhafazakâr sayılıyordu. Soru: gazete okumak insanı değiştirir mi?

Seçimden bir hafta sonra yapılan görüşme ve devlet kayıtları şunu gösterdi: iki gazete de siyasal bilgiyi, açıklanan görüşleri ya da katılımı ölçülebilir biçimde değiştirmedi. Ama hangisini alırsa alsın, gazete alan haneler Demokrat adaya biraz daha fazla destek verdi. Yazarlar bunu, gazetenin çizgisinden çok gazeteyle karşılaşmanın kendisine bağlıyor.

Bu, deneyin mantığı: kura (rastgele atama) hanelerin baştan birbirine benzemesini sağlar; artık farkı yalnızca gazete açıklayabilir. Bu güvenceye iç geçerlik diyoruz. Bedeli de var: çalışma yalnızca gazete almayan hanelerde, tek ilçede yapıldı ve son görüşmeye 3.347 haneden 1.081’i yanıt verdi. Bulgunun başka insanlara, başka yerlere uzanıp uzanmadığı (dış geçerlik) ayrı bir soru. Alan deneyi (gerçek hayatta, kurayla) bu yüzden değerli; laboratuvar deneyi denetimi artırır ama ortamı yapay kılar. deney yöntemi

Adım adım

İçerik çözümlemesi: insanlara değil mesajlara sor

Anket ve deney kişilere sorar; içerik çözümlemesi mesajın kendisine. Berelson’un 1952 tarihli klasik tanımı bunu, iletişimin görünen (yüzeydeki) içeriğini nesnel, düzenli ve sayısal biçimde betimleyen bir teknik olarak koyar. Yani “dizi ne anlatıyor?” değil, “bu dizilerde kadın karakterlerin oranı ne, kimin kime zarar verdiği kaç sahnede var?”.

1. Soruyu daralt. “Haberler şiddet dolu mu?” değil; “akşam bültenlerinde suç haberlerinin payı yıllar içinde nasıl değişti?”.
2. Örneği seç. Hangi kanal, hangi dönem? Kültürel Göstergeler’de her yıl seçilen birer haftalık yayın kaydedilir. mesaj sistemi çözümlemesi
3. Sayım birimini belirle. Haber mi, paragraf mı, sahne mi, karakter mi sayacaksın?
4. Kod kitabı yaz. Her kategori öyle net olmalı ki iki kişi aynı kararı versin.
5. Kodlayıcıları eğit, önce bir deneme yap.
6. Kodlayıcılar arası güvenirliği ölç. İki kişi aynı içeriği birbirinden bağımsız kodlar, uyumları hesaplanır. Yüzde uyum kolaydır ama tesadüfen tutan uyumu da “uyum” sayar; Hayes ve Krippendorff, Krippendorff alfasını standart ölçü olarak önerdi.
7. Say ve yorumla. içerik çözümlemesi

Lombard ve arkadaşları, 1994–1998 arasında yayımlanmış 200 içerik çözümlemesini inceleyince kodlayıcılar arası güvenirliğin çoğu zaman ölçülmediğini ya da raporlanmadığını, yüzde uyumun sık kullanıldığını buldu; yazarlar bu ölçüyü aşırı cömert (liberal) bir ölçüt sayıyor.

Kart

Nitel yöntemler: aynı odaya dört kapı

Sayıların yanıtlayamadığı soru şu: bu insanlar için bunun anlamı ne? Nitel yöntemler bunun için var (nitel araştırma). Dört kapı:

• Derinlemesine görüşme: tek kişiyle, önceden hazırlanmış ama esnek sorularla uzun uzun konuşmak. Kimsenin aklına gelmeyen bir cevap çıkabilir; karşılığında az kişiyle çalışırsın.
• Odak grup görüşmesi: birkaç kişiyi birlikte konuşturmak. Merton ve Kendall’ın 1946 tarihli “odaklı görüşme” makalesi, araştırmacının önceden çözümlediği bir duruma (örneğin bir radyo programına) maruz kalmış kişilerin tepkilerini belirlemek için tasarlanmış bir görüşmeyi anlatır. Morley’in Nationwide izleyicileriyle yaptığı 29 grup görüşmesi de buna yakın bir mantık izler (bizim yorumumuz).
• Etnografi: kendini bir topluluğun gündelik yaşamına uzun süre koyup gözlemlemek. Medya çalışmalarında izleyici etnografisi, 1980’lerden itibaren alıcı araştırmalarının önemli bir koluna dönüştü.
• Metin ve söylem çözümlemesi: bir metni (haber, mektup, dizi) yakından okuyup nasıl anlam kurduğuna bakmak. Ien Ang’ın Watching Dallas kitabı, kendi verdiği ilana cevap olarak yazılan kırk iki izleyici mektubunu okuyarak yapılmış bir çözümlemedir.

Ortak yanları: küçük ve bilerek seçilmiş gruplar, açık uçlu veri, yorumlama. Ayıran şey ne incelediğin: görüşme söyleneni, etnografi yapılanı, metin çözümlemesi bırakılmış izi. Bedeli de aynı: “yüzde kaç?” sorusuna yanıt veremezsin. Mektup yazanlar kendini seçmiş kişilerdir; çalışma “kaç kişi”yi değil “nasıl bir anlam”ı gösterir (bizim yorumumuz).

Yanlış anlama avı

“Sorarsan söyler” mi? Ölçümün iki sınavı

İnsanlar ne sanır. Bir kişinin ne kadar haber izlediğini öğrenmenin en doğru yolu ona sormaktır.

Kanıtlar ne diyor. Markus Prior, anketlerdeki haber izleme beyanlarını Nielsen ölçümleriyle karşılaştırdı; Nielsen, kişinin kendi bildirimine dayanmayan bir ölçüm. Anket tahminleri ulusal ağların haber bültenlerinin izlenmesini ortalama üç kat, bazı gruplarda sekiz kata kadar şişiriyordu. Prior’un vardığı sonuç rahatsız edici: görünürdeki “medya etkileri”, gerçek maruziyet farkından değil, insanların maruziyeti ne kadar doğru bildirdiğindeki bilinmeyen farklardan doğabilir.

Bir ölçümün iki sınavı var:

• Güvenirlik: aynı koşulda tekrar ölçünce aynı sonuç çıkıyor mu? güvenirlik
• Geçerlik: ölçtüğüm şey, ölçmek istediğim şey mi? geçerlik

Ölçüm merdiveni de şöyle: soyut kavram (haber maruziyeti) → işlemsel tanım (son yedi günde akşam haberi izlenen gün sayısı) → madde (“son hafta kaç akşam haber izledin?”) → puan. Her basamakta bir şey kaybolabilir. Güvenirlik geçerliği garanti etmez: her seferinde aynı şişkin sayıyı veren bir anket çok güvenilirdir ve yine de yanlıştır.

Bu, öz bildirimin işe yaramadığı anlamına gelmiyor; anlamı, her soru için hangi ölçümün yettiğine bakman gerektiği.

Laboratuvar

Mini laboratuvar: tek sayfalık çalışma tasarla

Hayal et: bir üniversitenin öğrenci gazetesi merak ediyor: kısa video özetleri, uzun haberden daha çok bilgi bırakır mı? Kâğıda ya da zihnine beş kutu çiz:

1. Evren ve örneklem. Kimi merak ediyorsun: bütün öğrencileri mi, yalnızca gazetenin okurlarını mı? Kimleri çağırabilirsin?
2. Yöntem. Anket mi, deney mi? Nedensellik soruyorsan hangisi?
3. Ölçüm. “Bilgi bırakmak” ne demek? Beş soruluk bir test mi? Testin güvenirliğini ve geçerliğini nasıl gözlersin?
4. Karşılaştırma. Videoyu ve metni kim, nasıl görecek? Gruplara kim, nasıl atanacak?
5. Tehditler. Sonucu bozabilecek üç şey yaz.

Bir ipucu: gönüllülerin kendi seçtiği biçimi karşılaştırırsan, farkın nedeni biçim değil, o biçimi seçen insanlar olabilir; kurayla atarsan bu sorun kalkar. Testi çok kolay kurarsan herkes tam puan alır ve fark görünmez. Grupları tek bir sınıftan alırsan, sonucun başka öğrencilere uzanıp uzanmadığını bilemezsin.

Bir cevap anahtarı yok. İyi tasarımın iki işareti var: soruyla yöntemin uyumu ve sınırlarının açıkça yazılmış olması.

Hikâye

Televizyon mu korkutuyor, mahalle mi?

Bir bulgu düşün: televizyonu çok izleyenler dünyayı daha tehlikeli buluyor. Akla gelen ilk açıklama, televizyonun korkuttuğu. İki araştırmacı, Anthony Doob ve Glenn Macdonald, sıkıcı ama akıllıca bir soru sordu: bu insanlar gerçekten suç oranı farklı mahallelerde mi yaşıyor?

Toronto’da kapı kapı anket yaptılar. Şehir merkezinde ve banliyöde birer yüksek, birer düşük suç oranlı bölge seçtiler. Katılımcılar medya kullanımlarını ve kendilerinin şiddet mağduru olma ihtimalini nasıl gördüklerini bildirdi. Dört bölge birlikte havuzlandığında önceki bulgu tekrarlandı: çok televizyon izleyen daha çok korkuyordu. Ama bölge içinde bakıldığında ortalama ilişki anlamsızdı; yani mahallenin gerçek suç düzeyi sabit tutulunca televizyon izleme ile korku arasında genel bir ilişki kalmıyordu.

Bir ilişki gördüğünde üç açıklama var (ilişki ve nedensellik):

• X, Y’ye yol açıyor (televizyon korkutuyor);
• Y, X’e yol açıyor (örneğin korkanlar evde oturup daha çok televizyon izliyor);
• bir üçüncü şey ikisine birden yol açıyor (yaşadığın mahalle).

Doob ve Macdonald’ın verisi üçüncü açıklamayı öne çıkarıyor, ama bu tek bir çalışma ve kültivasyon kuramının tartışması ayrı bir derste (Kültivasyon: Eleştiriler ve Sonraki Bulgular). Asıl alışkanlık şu: bir ilişkiyi “kanıt” diye kabul etmeden önce “başka ne olabilir?” diye sormak. Payne Fund araştırmacıları da 1933’te aynı sorunun farkındaydı; sık film izleyen çocukları aile arka planı gibi etkenlerde denkleştirmeleri bu yüzdendi.

Kart

“Anlamlı” ile “önemli” aynı şey değil

Ocak 2012, bir hafta boyunca. Facebook üzerinde yürütülen bir deneyde 689.003 kullanıcının haber akışı kurayla değiştirildi: bir grupta olumlu paylaşımların, öbüründe olumsuzların bir kısmı gösterilmedi. Sonra kullanıcıların kendi paylaşımlarına bakıldı. Duygular “bulaşıyor” muydu?

Evet, istatistiksel olarak: olumlu paylaşımlar azaltılınca kişilerin kendi paylaşımlarındaki olumlu sözcüklerin payı da biraz düştü ve bazı karşılaştırmalarda p < 0,001 çıktı. Ama etki büyüklüğü minikti: Cohen d, dört karşılaştırmada 0,001 ile 0,02 arasındaydı. Yazarlar kendileri de etkilerin küçük olduğunu, ama bu ölçekte önemli olabileceğini savundu.

Olay şu: istatistiksel anlamlılık “bu fark tesadüf olabilir mi?” sorusunu yanıtlar ve örnek büyüdükçe çok küçük farklar bile “anlamlı” çıkar. Etki büyüklüğü ise “fark ne kadar büyük?” sorusunu yanıtlar (etki büyüklüğü). Amerikan İstatistik Derneği’nin 2016 açıklaması da bunu söyler: p değeri ya da istatistiksel anlamlılık, etkinin büyüklüğünü ya da bulgunun önemini ölçmez.

Peki “küçük” ne kadar küçük? Funder ve Ozer, korelasyon türü etki büyüklüğü (r) için şu çerçeveyi önerir: .05 tek tek olaylar için çok küçük ama zamanla sonuç doğurabilir; .10 küçük; .20 orta; .30 büyük; .40 ve üstü psikoloji araştırmalarında çoğu zaman abartılı bir tahmin.

Bir haberde “anlamlı bir etki bulundu” görürsen, ilk sorun “ne kadar?” olsun.

Adım adım

Meta-analiz: çalışmaların çalışması

Tek çalışma bir tanık ifadesidir; meta-analiz bütün tanıkları dinleyip ortak sesi çıkarmaya çalışır. Terimi 1976’da Gene Glass, benzer çalışmaların sonuçlarını istatistiksel olarak sentezlemek için ortaya attı. Adımlar (meta-analiz):

1. Soruyu ve arama kurallarını yaz. Hangi çalışmalar girer, hangi tarih ve veri tabanları taranır?
2. Topla. Yayımlanmamışları da ara.
3. Her çalışmadan bir etki büyüklüğü çıkar. Böylece farklı ölçekler karşılaştırılabilir olur.
4. Birleştir. Ortalama etki büyüklüğünü hesapla.
5. Farkları açıkla. Hangi koşulda etki büyük, hangisinde küçük?
6. Yanlılığı sına. Eksik kalan sonuçlar var mı?

Örnek: sosyal medya kullanımını inançlarla ilişkilendiren kültivasyon çalışmalarını birleştiren 2023 meta-analizi, 66 bağımsız örneklemden 460 etki büyüklüğü topladı ve genel etkiyi .123 buldu; belirli içeriğe maruz kalmaya bakan çalışmalarda, gençlerde ve Asya örneklemlerinde etki daha yüksek, aktif kullanım ölçüldüğünde daha düşüktü. Kültivasyon araştırmalarını derleyen 1997 tarihli meta-analiz ortalama etkiyi .09 bulmuştu.

İki tuzak var. Dosya çekmecesi: Rosenthal, dergilerin belki de yalnızca anlamlı çıkan çalışmalarla dolu olduğunu, anlamlı çıkmayanların çekmecelerde kaldığını, bunun ne kadar zarar verdiğini tahmin etmek için yöntemler önerdi. Kötü ölçüm: Scharkow ve Bachl’a göre içerik çözümlemesindeki ve öz bildirimdeki ölçüm hatası etki tahminlerini aşağı çeker; hatalı çalışmaları birleştirmek hatayı da birleştirir (bu son cümle bizim yorumumuz).

Hikâye

Bir şarkı seni genç yaptı mı?

Bir çalışmada 20 Pennsylvania Üniversitesi öğrencisi, Beatles’ın “When I’m Sixty-Four” şarkısını ya da “Kalimba” adlı bir enstrümantali dinledi. Sonra doğum tarihlerini yazdılar. Sonuç: birinci şarkıyı dinleyenler istatistiksel olarak yaklaşık bir buçuk yıl daha gençti (düzeltilmiş ortalamalar 20,1 ve 21,5 yaş; p = 0,040).

Bu bir şaka değil ama şakanın ardındaki tespit ciddi. Joseph Simmons ve arkadaşları bilerek imkânsız bir sonucu “kanıtladı”; makale, her şeyin gerçekten yaşandığını ve amacın, veri toplama ve çözümlemedeki esnekliklerin yanlış pozitifi ne kadar kolaylaştırdığını göstermek olduğunu söylüyor. Böyle dört esnekliği bir araya getirmek yanlış pozitif oranını yüzde 61’e çıkarabiliyor (derin kart).

Sonra sorun ölçüldü. Açık Bilim İş Birliği, üç psikoloji dergisinden 100 deneysel ve ilişkisel çalışmayı yeniden yaptı: özgün çalışmaların yüzde 97’si anlamlı sonuç vermişti; tekrarların yalnızca yüzde 36’sı anlamlıydı ve tekrar etkileri özgünlerin yaklaşık yarısı kadardı. John ve arkadaşlarının 2.000’den fazla psikologa yaptığı anket, “şüpheli araştırma uygulamalarının” şaşırtıcı ölçüde yaygın olduğunu, bazılarının norm hâline gelmiş olabileceğini düşündürdü. İletişim araştırmalarına bakan Matthes ve arkadaşları, dört önde gelen dergideki deneylerde küçük ve gerekçesiz örneklemler, raporlanmayan etki büyüklükleri ve p = .05’in hemen altında yığılma gibi işaretler buldu. (tekrarlanabilirlik krizi)

Dikkat: tekrarlanamamak sahtekârlık demek değil; çoğu zaman esnek analiz, küçük örneklem ve yayın yanlılığı bir araya geliyor.

Kart

Medya etkisi araştırmasının üç özel derdi

Örneklem, ölçüm ve karşılaştırma sorunları her alanda var. Medya etkisi araştırmasında üçü özellikle keskin:

1. İnsanlar ne izleyeceklerini kendileri seçer. Haber izleyenler, izlemeyenlerden başka türden insanlardır: farkı izlemeye mi, izleyen kişiye mi bağlayacaksın? Gerber ve arkadaşlarının kurayla dağıttığı gazeteler tam bu yüzden değerli: seçimi ortadan kaldırırlar.

2. Maruz kalmayı ölçmek zor. Prior’un çalışmasında beyanlar üç kat şişiyordu. Scharkow, internet kullanımı için öz bildirimlerin kayıt verileriyle yalnızca orta düzeyde ilişkili olduğunu, hataların rastgele değil sistematik (özellikle olduğundan fazla bildirme yönünde) olduğunu buldu. Scharkow ve Bachl’ın simülasyonu, içerik ve maruz kalma ölçümündeki hatanın etki tahminlerini aşağı çektiğini, bunun da “minimal etki” bulgularının bir kısmını yapay üretebileceğini savunuyor. Yani “sınırlı etkiler” tartışmasında yöntem, sonucun bir parçası olabilir (bizim çıkarımımız).

3. Zaman sırası. Şiddet içerikli yayınları çok izleyenler mi saldırgan oluyor, yoksa saldırgan olanlar mı bunları seçiyor? İkisine “etki” ve “seçilim” hipotezi deniyor; zaman içinde aynı kişileri izleyen (boylamsal) çalışmalar ikisini ayırmak için var (derin kart).

Üçünü bir arada görünce hem bir medya etkisi çalışmasına neden temkinle bakılması gerektiğini, hem de neden yine de boş vermemek gerektiğini anlarsın: bunlar tanınabilen, çoğu zaman çözülebilen sorunlar.

Yanlış anlama avı

“Deney altın standarttır” mı?

İnsanlar ne sanır. Nedensellik için tek yol deneydir; anketler ve gözlemler ancak ön çalışmadır.

Kanıtlar ne diyor. Deney iç geçerlik için en güçlü araçlardan biri, ama bedelini dış geçerlikten öder. David Sears 1986’da, sosyal psikolojinin 1960’tan beri ağırlıkla üniversite öğrencileriyle akademik laboratuvarlarda çalıştığını, bu dar veri tabanının disiplinin insan doğası portresini çarpıtmış olabileceğini yazdı. Henrich, Heine ve Norenzayan 2010’da davranış bilimlerindeki iddiaların çoğunlukla Batılı, eğitimli, sanayileşmiş, zengin, demokratik (WEIRD) toplumlardan örneklemlere dayandığını ve bu insanların türün geri kalanına kıyasla sık sık uç değer olduğunu savundu. Gerber ve arkadaşlarının alan deneyi de gazeteye zaten abone olmayanlarla sınırlıydı.

Öte yandan anketler geniş ve çeşitli gruplara ulaşır ama nedeni kesinleştiremez. Gündem belirleme araştırmalarının öyküsü bunu iyi gösterir: Chapel Hill’de kararsız seçmenlerin önemli saydığı konularla medya içeriğini karşılaştıran çalışma (Gündem Belirleme) ilişkiyi gösterdi; Iyengar, Peters ve Kinder’in deneyleri ise televizyon haberlerinin izleyicilerin hangi sorunları önemli bulduğunu etkilediğini gösterdi.

Sonuç: “en iyi yöntem” yok; birbirini tamamlayan yöntemler var. Kuramlar tek çalışmayla değil, farklı yöntemlerin aynı yönü göstermesiyle sağlamlaşır.

Kart

Platformlar: yeni fırsatlar, eski sorular

Sosyal medya araştırmacılara iki hediye verdi: devasa iz verileri ve platform içinde kura yapabilme imkânı. Kramer ve arkadaşlarının deneyi ikincisinin örneği: katılımcılar kullanıcı kimliğine göre rastgele seçildi ve toplam 689.003 kişiye ulaşıldı. Ama makale yayımlandıktan yaklaşık bir ay sonra PNAS’ın editörü “endişe notu” yayımladı: bilgilendirilmiş onam ve çıkma imkânına dair sorular gündeme gelmişti. Yazarlar deneyin Facebook’un veri kullanım politikasıyla tutarlı olduğunu ve bunun onam sayıldığını yazmıştı; not ise Facebook özel bir şirket olarak ilgili kurallara uymak zorunda olmasa da, veri toplamanın onam ilkeleriyle tam örtüşmemiş olabilmesini “endişe verici” buluyordu. Yani ölçek, etiği ortadan kaldırmıyor.

İz verileri (kayıtlar) ise öz bildirimin eksiğini kapatma vaadiyle geliyor. Parry ve arkadaşlarının meta-analizi, 106 etki büyüklüğüne dayanarak öz bildirilen ile kaydedilen dijital medya kullanımı arasındaki ilişkiyi r = .38 buldu; ortalama kullanım miktarını karşılaştıran 49 karşılaştırmanın yalnızca üçünde öz bildirim doğruydu. Ama kayıt “ne kadar”ı söyler; “neden”i, “ne anlamda”yı söylemez. Ve platform kullanıcıları bütün nüfus değildir.

Kural: yeni veri türü eski üç soruyu ortadan kaldırmaz; “kimden, neyle ölçerek, neyle karşılaştırarak?” sorusunu yalnızca yeni bir yere taşır.

Laboratuvar

Mini laboratuvar: bir manşeti sorgula

Hayal et: bir haber sitesinde şu manşeti görüyorsun: “Araştırma: Gençlerin yüzde 70’i haberleri artık yalnızca kısa videolardan alıyor.” (Manşet ve sayı uydurma; yalnızca alıştırma için.) Ders boyunca öğrendiklerinle altı soru sor:

1. Kimden? “Gençler” kim? Nasıl seçildiler? Kaç kişi, kaçta kaçı yanıt verdi? (Örneklem, yanıt oranı; Literary Digest.)
2. Nasıl soruldu? “Yalnızca” nasıl tanımlandı? Sözcük seçimi cevabı oynatabilir. (Rugg.)
3. Neyle ölçüldü? Kişilerin beyanı mı, kayıtlar mı? (Prior, Parry.)
4. Neyle karşılaştırıldı? “Artık” diyor: kime göre, ne zamana göre? Aynı kişiler zaman içinde mi izlendi?
5. Ne kadar büyük, ne kadar kesin? Yüzde 70 bir tahmin; hata payı var mı?
6. Başka ne olabilir? Başlık bir neden ima ediyor mu (“videolar haberi bitirdi”)?

Yapılacak: altı sorudan ikisini seç; her biri için cevabın çalışmanın raporunda nerede yazması gerektiğini düşün. Rapor bunları yazmıyorsa, bu sonuca güvenmen için bir neden eksik demektir; güvenmemen için bir neden değil. Kanıt eksikliği ile kanıt çürütmesi ayrı şeyler.

Kart

Türkçe yazında yöntem sözlüğü ve bir sınıflama kargaşası

Türkçe yazın aynı kavramlara birden çok ad veriyor; bunu bilmek kaynak okurken zaman kazandırır.

• Güvenirlik ve geçerlik. Ercan ve Kan (2004), bir ölçeğin iki temel özelliğini şöyle anlatır: güvenirlik, ölçüm değerlerinin kararlılığının göstergesi; geçerlik, ölçmeyi amaçladığı özelliği doğru ölçebilme derecesinin göstergesi. Başka Türkçe metinlerde “güvenilirlik” ve “geçerlilik” biçimleri de görülür.
• İçerik analizi / içerik çözümlemesi. Metin ve Ünal (2022), yöntemi nesnel, ölçülebilir, doğrulanabilir bilgiye ulaşmak için belgeleri, metinleri örnekleme, kodlama ve kategori gibi kurallarla çözümleyen, nitel araştırma içinde bir teknik olarak tanıtır. Makale, 2013–2021 arasında sosyoloji ve iletişim bilimlerinde bu tekniği kullanan 32 doktora tezi saptayıp 16’sını (sekizer) inceledi; iletişim tezlerinde tekniğin yardımcı bir yöntem olarak kullanılmadığını ve kategori ile kod oluşturmaya özen gösterildiğini bildirir.

İkinci madde ilginç: Berelson’un klasik tanımı içerik çözümlemesini sayısal betimleme sayar (içerik çözümlemesi). Türkçe makale ise onu nitel araştırma içinde anıyor. Bu, bir kavga gibi görünüyor ama çoğu zaman bir ad meselesi: aynı sözcük hem kategorileri sayan bir çalışmayı hem metni yorumlayan bir çalışmayı kapsayabiliyor (bizim yorumumuz). Sınavda soru hangi çerçeveyi kullanıyorsa onun diliyle yanıtla; ama kavramın ne yaptığını bil.

Kart

Sınavda böyle sorulur

Sık çıkan kalıplar

• “Örneklem büyüklüğü temsil gücünü garanti eder mi?” → Hayır; seçilme biçimi ve yanıt oranı belirleyici (Literary Digest, 1936).
• “Rastgele atama neyi sağlar?” → Grupların baştan benzer olmasını, yani iç geçerliği; genellenebilirliği (dış geçerlik) değil.
• “Güvenirlik ile geçerlik” → tutarlı olmak doğru olmak değildir.
• “İlişki nedensellik midir?” → değildir; üçüncü değişken, ters yön, zaman sırası.
• “İstatistiksel anlamlılık ile etki büyüklüğü” → anlamlı olan büyük demek değildir.
• “Meta-analiz nedir, dosya çekmecesi sorunu nedir?”
• “Panel ile kesit araştırma” → aynı kişilere tekrar dönmek (Erie County, 1940) ile tek seferlik fotoğraf.

Cazip yanlışlar

• Güvenirlik ile geçerliği yer değiştirmek.
• Rastgele atama ile rastgele örneklemi karıştırmak: biri gruplara bölmeyi, öteki evrenden seçmeyi anlatır.
• İçerik çözümlemesinin “izleyiciye etkiyi” ölçtüğünü sanmak: yalnızca mesajı sayar.
• Tekrarlanamayan bir çalışmayı hemen “sahte” saymak.

Ad–yıl çiftleri

• Berelson (1952): içerik çözümlemesi. Merton ve Kendall (1946): odaklı görüşme. Glass (1976): meta-analiz. Lazarsfeld ve ekibi: Erie County, 1940. Lincoln ve Guba: nitel araştırmanın güvenilirlik ölçütleri.

Alternatif adlar

• güvenirlik / güvenilirlik; geçerlik / geçerlilik; içerik analizi / içerik çözümlemesi; odaklı görüşme (1946) ile odak grup görüşmesi (sonraki ad) yakın ama özdeş değil.

Sınav tipi genel örüntülere göre yazıldı; hangi kaynağı okursan oku, soruyu “kimden, neyle ölçerek, neyle karşılaştırarak?” filtresinden geçir.

Özet

Özet kartı: bir çalışmayı okumak için beş soru

• Ana fikir: bulgu, yöntemin izin verdiği kadar güçlüdür. Sor: kimden, neyle ölçerek, neyle karşılaştırarak?
• Örneklem: büyüklük değil seçilme biçimi ve yanıt oranı belirler (Literary Digest, 2,4 milyon yanıt, yanlış tahmin).
• Anket: oranı verir; panel aynı kişilere dönüp değişimi yakalar (Erie County, 600 kişi); soru sözcüğü cevabı oynatır (Rugg).
• Deney: rastgele atama iç geçerlik verir, dış geçerlik ayrı bir sorudur (Gerber ve arkadaşları: 3.347 hane; Sears, WEIRD).
• İçerik çözümlemesi: mesajı sayar; kod kitabı ve kodlayıcılar arası güvenirlik şart (alfa; yüzde uyum yanıltabilir).
• Nitel yöntemler: anlamı arar; kendi güvenilirlik ölçütleri var (Lincoln ve Guba); “yüzde kaç?” sorusuna cevap vermez.
• Ölçüm: güvenirlik (tutarlılık) ≠ geçerlik (doğruluk); öz bildirim şişebilir (Prior: üç kat).
• İlişki ≠ nedensellik: üçüncü değişken, ters yön, zaman sırası (Toronto; etki/seçilim hipotezi).
• Anlamlı ≠ önemli: büyük örneklemde minik etki de anlamlı çıkar (Kramer: d 0,001–0,02); etki büyüklüğünü sor.
• Meta-analiz ve tekrar: çalışmaları birleştirir, ama dosya çekmecesi ve kötü ölçüm tuzakları var; Açık Bilim İş Birliği’nde tekrarların yüzde 36’sı anlamlıydı.
• Sınav tuzağı: güvenirlik–geçerlik, rastgele atama–rastgele örneklem, anlamlılık–büyüklük, panel–kesit.