Problem Durumu: Alanyazın incelendiğinde karma testlerde güvenirlik üzerine yapılan az sayıda araştırma olduğu görülmüştür. Bu araştırmalarda farklı madde tipleri farklı oranlarda kullanılmıştır. Ancak madde tipi oranlarının ve örneklem büyüklüğünün birlikte güvenirlik üzerindeki etkisini inceleyerek bu yöntemlerin karşılaştırıldığı bir araştırmaya rastlanmamıştır. Karma testlerde kullanılacak madde tipleri ve bunların sayısı, ayrıca güvenirlik kestirimleri için gerekli örneklem büyüklüğü, önemli tartışma ve sorun alanları arasındadır. Bu bağlamda; karma testlerde iç tutarlılık anlamında güvenirlik hesaplamalarında kullanılan katsayıların, karma testlerin yapısını belirleyen önemli değişkenler olarak farklı madde tipi oranı ve örneklem büyüklüğü dikkate alındığında, bu katsayıların nasıl değiştiği, ideal/ daha uygun katsayıların hangileri olduğu bu araştırmanın problem durumunu oluşturmaktadır.
Araştımanın Amacı: Bu araştırmanın araştırmada, karma testlerde örneklem büyüklüğü (500, 1000 ve 2000) ve kullanılan madde tiplerinin oranı (2:1; 1:1 ve 1:2) değişimlendiğinde; α, Tabakalı α, Angoff-Feldt ve Feldt-Raju güvenirlik katsayılarının nasıl değiştiğinin incelenmesi ve bu güvenirlik katsayıları arasındaki betimsel ilişkinin ortaya konması amaçlanmıştır.
Araştırmanın Yöntemi: Araştırma için belirlenen koşullara uygun veri üretmek için; WinGen program kullanmıştır. Araştırma kapsamında oluşturulan koşullarda madde tipi sayısı, very türetmede kullanılan model, toplam madde sayısı, yanıt kategori sayısı, toplam puan alma yöntemi, madde ayırıcılığı ve madde güçlüğü sabit tutulurken; örneklem büyüklüğü ve madde tipi oranı için değişimlemeler yapılmıştır. Sabit tutulan ve üzerinde değişimleme yapılan değişkenler için ilgili alanyazın dikkate alınmıştır. Theta, her bir örneklem büyüklüğü için; ortalaması 0.00 ve standart sapmaları 1.00 olan normal dağılıma uygun olacak şekilde üretilmiştir. İki kategorili puanlanan maddeler İki Parametreli Lojistik Model'le, çok kategorili puanlanan maddeler Kısmi Puan Modeli ile üretilmiştir. Örneklem sayısı (500, 1000 ve 2000) ve madde oranları (2:1, 1:1 ve 1:2) olacak şekilde değişimlenmiş ve ilk beş adım bu koşulların her biri için tekrarlanmıştır. Veri üretiminde 25 tekrar(replikasyon) yapılmıştır. Böylelikle, 3x3=9 farklı deneysel koşul için 9x25=225 farklı veri seti üretilmiştir. Elde edilen very setlerine ait her bir koşul ve tekrar için α, Tabakalı α, Angoff-Feldt ve Feldt-Raju değerleri hesaplanmış ve tablolaştırılmıştır. Bu tablo değerleri, ortalama ve standart hatalar dikkate alınarak betimsel düzeyde değerlendirilmiş ve yorumlanmıştır.
Araştırmanın Bulguları: Tüm madde oranlarında örneklem büyüklüğü arttıkça tüm güvenirlik kestirim değerlerinin de arttığı belirlenmiştir. Tüm örneklemlerde iki kategorili puanlanan madde sayısı arttıkça α ve Tabakalı α güvenirlik katsayı değerleri; çok kategorili puanlanan madde sayısı arttıkça ise Angoff-Feldt ve Feldt-Raju güvenirlik katsayı değerleri azalmaktadır. α ve Tabakalı α güvenirlik katsayı değerleri tüm örneklem büyüklükleri ve tüm madde oranlarında hemen hemen aynı değeri vermekteyken, 500 kişilik örneklemde madde oranları değişimine gore güvenirlik katsayı değerleri arasındaki farkın daha belirgin olduğu görülmüştür. Diğer bir bulgu olarak, iki madde tipi içeren bir karma testte iki kategorili puanlanan madde sayısı çok kategorili puanlanan madde sayısından daha fazla olduğunda α ve Tabakalı α güvenirlik katsayı değerlerinin bu dört güvenirlik katsayısı içersinde alt sınırı, aksi durumda üst sınırı verdiği görülmüştür.
Araştırmanın Sonuçları ve Önerileri:Örneklem büyüklüğü 500'ün üzerinde olduğunda α ve Tabakalı α güvenirlik katsayı değerlerinin benzer sonuçlar verdiği, diğer katsayıların kısmen farklılaştığı görülmüştür. Örneklem büyüklüğü 1000'in üzerinde olduğunda ise α, Tabakalı α, Angoff-Feldt ve Feldt-Raju değerleri arasındaki farkın azaldığı görülmüştür.Görece küçük örneklemlerde (n=500) kısmi farklılıklar görülmekle birlikte büyük örneklemlerde (n 1000), farklı güvenirlik katsayılarının benzer değerler verdiği, örneklem büyüklüğü arttıkça madde oranının güvenirlik kestirimleri üzerindeki etkisinin de düştüğü ya da düşme eğiliminde olduğu sonucuna ulaşılmıştır. Bu araştırmada elde edilen bulgular ve sonuçlar doğrultusunda bu alanda uygulama yapacaklara daha güvenilir sonuçlar elde edebilmek için çok kategorili puanlanan madde sayısı daha fazlaysa α ve Tabakalı α; iki kategorili puanlanan madde sayısı fazlaysa Angoff-Feldt ve Feldt-Raju güvenirlik katsayıları kullanmaları önerilebilir. Küçük örneklemlerde (n≤500) yapılacak test uygulamalarında α ve Tabakalı α güvenirlik katsayısı kullanılacaksa, testin güvenirlik düzeyini artırmak için çok kategorili puanlanan maddelerin sayısı arttırılabilir. Büyük örneklemlerde (n≥1000) ise (2:1, 1:1, 1:2) madde oranlarından elde edilen güvenirlik değerleri birbirine çok yakın oldukları için bu madde oranlarından herhangi biri kullanılabilir. Büyük örneklemlerde (n≥1000), özellikle 1:1 madde oranından oluşan bir karma test için güvenirlik değeri hesaplanmasında aynı değerleri verdiğinden α, Tabakalı α, Angoff-Feldt ve Feldt-Raju güvenirlik katsayıları kullanılabilir. 500 kişiden büyük örneklemlerde birbirleriyle hemen hemen aynı değerleri verdikleri için α yerine Tabakalı α; Angoff-Feldt yerine Feldt-Raju güvenirlik katsayısı kullanılabilir.
Anahtar Sözcükler: Karma test, güvenirlik, tabakalı α, angof-feldt, feldt-raju