ANKARA ÜNİVERSİTESİ EĞİTİM BİLİMLERİ ENSTİTÜSÜ
EĞİTİM BİLİMLERİ ANABİLİM DALI
EĞİTİMDE ÖLÇME VE DEĞERLENDİRME PROGRAMI
PERSONEL ALIMINDA KULLANILAN BİR YAZILI SINAV SONUCUNUN GENELLENEBİLİRLİK KURAMINDAKİ FARKLI
DESENLERLE KARŞILAŞTIRILMASI
YÜKSEK LİSANS TEZİ
İREM DEMİRBİLEK ZORBA
ANKARA ARALIK, 2020
ANKARA ÜNİVERSİTESİ EĞİTİM BİLİMLERİ ENSTİTÜSÜ
EĞİTİM BİLİMLERİ ANABİLİM DALI
EĞİTİMDE ÖLÇME VE DEĞERLENDİRME PROGRAMI
PERSONEL ALIMINDA KULLANILAN BİR YAZILI SINAV SONUCUNUN GENELLENEBİLİRLİK KURAMINDAKİ FARKLI
DESENLERLE KARŞILAŞTIRILMASI
YÜKSEK LİSANS TEZİ
İREM DEMİRBİLEK ZORBA
DANIŞMAN: DOÇ. DR. KAAN ZÜLFİKAR DENİZ
ANKARA ARALIK, 2020
iv ÖZET
PERSONEL ALIMINDA KULLANILAN BİR YAZILI SINAV SONUCUNUN GENELLENEBİLİRLİK KURAMINDAKİ FARKLI
DESENLERLE KARŞILAŞTIRILMASI
DEMİRBİLEK ZORBA, İrem
Yüksek Lisans Tezi, Eğitimde Ölçme ve Değerlendirme Anabilim Dalı Tez Danışmanı: Doç. Dr. Kaan Zülfikar DENİZ
Aralık, 2020, xiii + 69 sayfa
Bu araştırmanın amacı, açık uçlu maddelerden oluşmuş personel alımı sınavına katılan bireylerin cevaplarının, farklı puanlayıcılar tarafından değerlendirilmesiyle elde edilen verilere genellenebilirlik kuramındaki farklı desenler uygulanarak G ve K çalışmalarının yapılması ve bu çalışmaların sonucunda elde edilen G ve Phi katsayılarının analiz edilip yorumlanmasıdır. Araştırmanın çalışma grubu, ASYM’nin uyguladığı açık uçlu maddelerden oluşan personel alımı sınavına katılan 211 bireyin Hukuk alt testinde yer alan maddelerin iki puanlayıcı ile değerlendirilmesi ile elde edilen verilerden oluşmuştur. Testte bireylere dört soru sorulmuştur ve bu sorulardan istedikleri iki tanesini cevaplamaları istenmiştir. Bireylerin cevapları da iki puanlayıcı tarafından değerlendirilmiştir. Bireylerin en çok seçtikleri maddeler belirlenerek veri sınırlandırılmış ve 93 birey ile oluşturulan veri üzerine (bxmxp) çaprazlanmış deseni uygulanmıştır. Bireylerin maddeler ve puanlayıcılarla çapraz tasarlandığı ve maddelerin puanlayıcılara yuvalandığı (bx(m:p)) yuvalanmış deseni uygulamak amacıyla veriler sınırlandırılmış ve 40 bireyden elde edilen veri üzerinde yuvalanmış desen uygulanmıştır.
Araştırmanın alt amaçlarını analiz edebilmek amacıyla çaprazlanmış ve yuvalanmış desenleri ile G çalışması yaparak göreceli ve mutlak hata varyansları ve G ve Phi katsayıları hesaplanmıştır ve K çalışması yapılmıştır. Desenlere ait varyans bileşenlerinin tahmin edilmesi, bileşenlerin varyans açıklama yüzdelerinin hesaplanması ve K çalışmalarının yapılması amacıyla 2006 yılında Jean Cardinet tarafından geliştirilen EduG programı kullanılmıştır.
G çalışması sonuçlarına göre (bxmxp) deseninde G ve Phi katsayıları sırasıyla
v
0,33 ve 0, 29 elde edilirken (bx(m:p)) deseninde G ve Phi katsayıları sırasıyla 0,76 ve 0,64 elde edilmiştir. K çalışması sonuçlarına göre (bxmxp) deseninde puanlayıcı sayısının artırılması ile (bx(m:p)) deseninde ise madde sayısının artırılması ile güvenirliğin arttığı gözlemlenmiştir.
Anahtar Kelimeler: Genellenebilirlik Kuramı, Çaprazlanmış Desen, Yuvalanmış Desen, G çalışması, Karar çalışması.
vi
ABSTRACT
A COMPARISON OF THE RESULT OF A WRITTEN EXAM USED IN PERSONNEL RECRUITMENT WITH DIFFERENT PATTERNS
IN THE GENERALIZABILITY THEORY
DEMİRBİLEK ZORBA, İrem
Master, Department of Measurement and Evaluation in Education Supervisor: Doç. Dr. Kaan Zülfikar DENİZ
December, 2020, xiii + 69 pages
The purpose of this study is to conduct G and D studies by applying different designs in generalizability theory to the data obtained by evaluating the answers of individuals who participate in a job entrance exam consisting of open-ended items by different raters, and to analyze and interpret the G and Phi coefficients obtained as a result of these studies.
The study group of the study was obtained with the group of 211 individuals participating in the open-ended items applied by ASYM with two raters in the Law subtest. In the test, they were asked to select to answer two of four questions. Individuals' answers were also evaluated by two raters. The data was limited by determining the items that individuals chose the most and a crossed design (bxmxp) was applied on the data created with 93 individuals. Individuals are cross-designed with items and raters and items are nested to raters in order to apply (bx(m:p)) the nested design, the data were limited and nested design was applied on the data obtained from 40 individuals. In order to analyze the sub-objectives of the study, the relative and absolute error variances and G and Phi coefficients were calculated by making G study with crossed and nested designs and D study was conducted. EduG program developed by Jean Cardinet in 2006 was used in order to estimate the variance components of the designs, calculate the variance explanation percentages of the components and conduct D studies.
According to the results of the G study, the G and Phi coefficients calculated 0,33 and 0,29 for (bxmxp) design, and 0,76 and 0,64 for (bx(m:p)) design respectively.
According to the results of the K study, it was observed that increasing the number of
vii
raters in the (bxmxp) design and increasing the number of items in the design (bx (m: p)) increased the reliability.
Keywords: Generalizability Theory, Crossed Design, Nested Design, G study, Decision study.
viii
ÖNSÖZ
Eğitimde yapılan ölçme işlemleri dolaylı ölçme türüne örnektir. Bir ölçme aracı kullanılarak yapılan ölçme işlemine mutlaka belirli oranlarda hata karışır. Bu hataların en iyi derecede tespit edilip yorumlanabilmesi ölçme ve değerlendirme bilim dalının vazgeçilmez bir ayağıdır. Bu hataların tespit edilebilmesi için birçok kuram vardır. Bu kuramlardan bir tanesi de tezin çalışma alanı da olan Genellenebilirlik Kuramıdır.
Genellenebilirlik Kuramı ile ölçme süreçlerine karışan birden fazla hatanın aynı anda analiz edilebilmesine olanak sağlar. Genellenebilirlik Kuramında genellenebilirlik çalışması ve karar çalışması isimleriyle iki aşamalı bir çalışma yürütülür.
Genellenebilirlik çalışmasında, analizde kullanılan değişkenlik kaynaklarının ölçme işleminde ne kadar varyans oluşturduğu ve bu varyansın toplam varyansa ne kadar etki ettiği elde edilebilmektedir. Aynı zamanda bağıl ve mutlak hata varyanslarına dayalı olarak elde edilen G ve Phi katsayıları ölçme işleminin güvenirliği ile ilgili yorumlar yapılmasına olanak sağlamaktadır. Karar çalışması ile değişkenlik kaynaklarının sayılarının değiştirilmesi senaryoları kurularak hangi değişikliklerin daha güvenilir sonuçlar elde edilmesini sağlayacağı belirlenmeye çalışılmaktadır. Böylece analizde kullanılan değişkenlik kaynaklarının hangi düzeylerden daha güvenilir sonuçlar elde edildiğini yorumlanabilmesine olanak sağlanmaktadır.
Bu araştırmada, personel alımı sınavından elde edilen veriler üzerine G kuramı uygulanarak genellenebilirlik çalışması ve karar çalışması uygulanmıştır. Elde edilen değerler karşılaştırılıp yorumlanmıştır. En güvenilir sonuçları elde edebilmek için olması gereken değişiklikler belirlenmeye çalışılmıştır.
ix
TEŞEKKÜR
Tez çalışmam sürecinde değerli vakitlerini ayırarak her türlü sorumu yanıtlayan ve yol gösteren tez danışmanım ve kıymetli hocam Sayın Doç. Dr. Kaan Zülfikar DENİZ’e bana ve çalışmama olan katkıları için teşekkürlerimi sunarım.
Tez savunma jürimde yer alarak verdikleri geri dönütler ile çalışmama katkı sağlayan değerli hocalarım Sayın Prof. Dr. Selahattin GELBAL ve Doç. Dr. Celal Deha DOĞAN’a teşekkürlerimi sunarım.
Yüksek lisans eğitimim boyunca derslerini alarak kendilerinden çok şey öğrendiğim değerli hocalarım Sayın Prof. Dr. Nizamettin KOÇ’a, Sayın Prof. Dr. Ezel TAVŞANCIL’a, Sayın Prof. Dr. Ömay ÇOKLUK BÖKEOĞLU’na, Sayın Doç. Dr.
Deniz GÜLLEROĞLU’na ve Sayın Dr. Ömer KUTLU’ya verdikleri emeklerden ötürü çok teşekkür ederim.
Tezimi dil, anlatım ve düzen açısından inceleyen, yaşadığım her zorlukta yanımda olan sevgili eşim Ömer Özen ZORBA’ya teşekkürleri sunarım. Ayrıca tez çalışmam süresince bu kadar anlayışlı olan biricik oğlum Kerem ZORBA’ya teşekkür ederim.
Hayatım boyunca beni destekleyen, tüm başarı ve başarısızlıklarımda yanımda olan kıymetli ailem annem, babam ve ablama teşekkürlerimi sunarım.
x
İÇİNDEKİLER
Sayfa
ETİK İLKELERE UYGUNLUK ... iii
ÖZET ... iv
ABSTRACT ... vi
ÖNSÖZ... viii
TEŞEKKÜR ... ix
İÇİNDEKİLER... x
TABLOLAR DİZİNİ ... xii
ŞEKİLLER DİZİNİ ... xii
KISALTMALAR ... xiii
BÖLÜM 1 ... 1
GİRİŞ ... 1
Problem Durumu ... 1
Klasik Test Kuramı ... 1
Klasik Test Kuramında Güvenirlik ve Güvenirliğin Kestirilme Yöntemleri... 3
Klasik Test Kuramında Kestirilen Güvenirliklerin Sınırlılıkları ... 7
Genellenebilirlik Kuramı ... 8
G Kuramı ve KTK’nin Sınırlı ve Güçlü Yönlerinin Karşılaştırılması ... 9
Kabul Edilebilir Gözlemler ve G Çalışması ... 11
Sonsuz Genelleme Evreni ve Karar (K) Çalışması ... 12
Çaprazlanmış ve Yuvalanmış Desenler ... 13
Hata Varyansları ... 18
Genellenebilirlik Katsayısı ve Güvenirlik Katsayısı ... 18
Açık Uçlu Maddeler ... 20
Amaç ... 22
Alt Amaçlar ... 22
Önem ... 23
Sayıltılar ... 24
Sınırlılıklar ... 24
İlgili Araştırmalar ... 24
Yurtiçinde Yapılan Araştırmalar ... 24
Yurtdışında Yapılan Araştırmalar ... 29
BÖLÜM 2 ... 35
YÖNTEM ... 35
Araştırmanın Modeli ... 35
Çalışma Grubu... 35
Verilerin Toplanması... 35
Verilerin Çözümlenmesi ... 36
xi
BÖLÜM 3 ... 37
BULGULAR VE YORUMLAR ... 37
Birey (b), Madde (m) Ve Puanlayıcı (p) Değişkenlerinin Çapraz Tasarlandığı (bxmxp) Deseninin G Kuramı Sonuçları ... 37
(bxmxp) Deseninin G Çalışması Sonucu Kestirilen Varyans Bileşenleri ve Toplam Varyansı Açıklama Yüzdeleri ... 37
(bxmxp) Deseninde Madde ve Puanlayıcı Sayılarının Artırılması ve Azaltılmasıyla Yapılan K Çalışması ... 40
Birey (b) değişkenin çapraz, Madde (m) Ve Puanlayıcı (p) Değişkenlerinin Yuvalanmış Tasarlandığı (bx(m:p)) Deseninin G Kuramı Sonuçları ... 43
(bx(m:p)) Deseninin G Çalışması Sonucu Kestirilen Varyans Bileşenleri ve Toplam Varyansı Açıklama Yüzdeleri ... 43
(bx(m:p)) Deseninde Madde ve Puanlayıcı Sayılarının Artırılması ve Azaltılmasıyla Yapılan K Çalışması ... 46
(bxmxp) ve (bx(m:p)) Desenleri ile Kestirilen G Çalışması Sonuçlarının Karşılaştırılması ... 49
(bxmxp) ve (bx(m:p)) Desenleri ile Madde ve Puanlayıcı Sayılarının Değiştirilmesiyle Kestirilen Karar Çalışmaları Sonuçlarının Karşılaştırılması .. 50
BÖLÜM 4 ... 55
SONUÇ VE ÖNERİLER ... 55
Sonuçlar ... 55
Birinci Alt Amaca İlişkin Sonuçlar... 55
İkinci Alt Amaca İlişkin Sonuçlar ... 56
Üçüncü Alt Amaca İlişkin Sonuçlar ... 57
Dördüncü Alt Amaca İlişkin Sonuçlar ... 58
Öneriler... 59
Uygulayıcılara Yönelik Öneriler... 59
Araştırmacılara Yönelik Öneriler ... 60
KAYNAKLAR... 61
EK-1: ASYM’den alınan veri kullanımı için izin belgesi ... 67
BENZERLİK BİLDİRİMİ ... 68
ÖZGEÇMİŞ ... 69
xii
TABLOLAR DİZİNİ
Tablo Sayfa
Tablo 1. İki yüzeyli evrenlerde varyans bileşenleri ... 16 Tablo 2. Beklenen ortalama kareler ve p x t x r için tahmin edilen varyans bileşenleri ... 17 Tablo 3. Desende Kullanılan Yüzeylerin Sayısal Değerleri ... 37 Tablo 4. (bxmxp) Deseni Varyans Bileşenleri ve Toplam Varyansı Açıklama Yüzdeleri ... 38 Tablo 5. (bxmxp) Desenine Ait G ve Phi Katsayı Değerleri ... 40 Tablo 6. (bxmxp) Deseni Madde ve Puanlayıcı Sayılarının Değiştirilmesiyle Kestirilen G ve Phi Katsayı Değerleri, Bağıl ve Mutlak Hata Varyansları ... 40 Tablo 7. Desende Kullanılan Yüzeylerin Sayısal Değerleri ... 44 Tablo 8. (bx(m:p)) Deseni Varyans Bileşenleri ve Toplam Varyansı Açıklama Yüzdeleri ... 44 Tablo 9. (bx(m:p)) Desenine Ait G ve Phi Katsayı Değerleri ... 46 Tablo 10. (bx(m:p)) Deseni Madde ve Puanlayıcı Sayılarının Değiştirilmesiyle Kestirilen G ve Phi Katsayı Değerleri , Bağıl ve Mutlak Hata Varyansları ... 47 Tablo 11. (bxmxp) ve (bx(m:p)) Desenlerine Ait Varyans ve Toplam Varyans Açıklama Yüzdeleri... 49 Tablo 12. (bxmxp) ve (bx(m:p)) Desenleri için Madde ve Puanlayıcı Sayılarının Değiştirilmesiyle Oluşturulmuş Senaryolara Göre Elde Edilen Bağıl ve Mutlak Hata Varyansları ... 51 Tablo 13. (bxmxp) ve (bx(m:p)) Desenlerinin K Çalışması Sonuçlarına göre G ve Phi Katsayı Değerleri ... 52
ŞEKİLLER DİZİNİ
Şekil Sayfa
Şekil 1. Tek Yüzeyli Çaprazlanmış ve Yuvalanmış Desen Venn Şeması ... 14
xiii
KISALTMALAR
ASYM Ankara Üniversitesi Sınav Yönetim Merkezi
KTK Klasik Test Kuramı
MTK Madde Tepki Kuramı
G Kuramı Genellenebilirlik Kuramı G Çalışması Genellenebilirlik Çalışması K Çalışması Karar Çalışması
G Katsayısı Genellenebilirlik Katsayısı Phi Katsayısı Güvenirlik Katsayısı
“x” Çaprazlama
“:” Yuvalama
b Birey
p Puanlayıcı
m Madde
1
BÖLÜM 1
GİRİŞ
Birinci bölümde, araştırmanın konusu olan problem, araştırmanın önemi, amacı ve alt amaçları, sayıltıları, sınırlılıkları ve araştırmada bulunan kısaltmalar bulunmaktadır.
Problem Durumu
Ölçme ve değerlendirme bilimi, temellerini var olan farkı bulmaktan alan gözlenen değerlerden yola çıkarak gözlenemeyen değerleri tahmin etme, bir başka ifade ile gözlenebilen değişkenlerden, doğrudan gözlenemeyen değişkenlerin elde edilmesini konu almaktadır. Bu işlemi yaparken de çeşitli kurallar ve varsayımlardan yola çıkarak elde etmeye çalıştığı değişkenlere ait ölçme sonuçlarını güvenilir, geçerli ve doğru bir şekilde gözlemlemeyi amaçlar. Eğitim ve psikolojide ölçülen özellikler ve bu özelliklerin ölçülmesi sonucu elde edilen sonuçlar da ölçülen özellikler gibi değişkendir. Bu nedenle eğitim ve psikolojide yapılan ölçmelerde her zaman bir miktar hata vardır. Bu yüzden, ölçme ve değerlendirme çalışmalarının amacı, bu hata miktarını kontrol altına alarak en aza indirmeye çalışmaktır. Bunun için de çeşitli varsayımlara ve kurallara dayalı ölçme kuramları ortaya atılmıştır. Bütün kuramların temelinde, güvenilir, geçerli, doğru ve tutarlı ölçümler yaparak hatalardan arınık sonuçlar elde etmeye çalışmak vardır. Bu kuramlardan en yaygın olarak tercih edileni Klasik Test Kuramıdır (Hambleton, 2004).
Klasik Test Kuramı
Eğitim ve psikolojideki işe vuruk olmayan tanımlamalar çeşitli sayı ve sembollerle ifade edilerek işe vuruk değişkenlere dönüştürülür. Klasik test kuramı (KTK), işe vuruk olarak tanımlanamayan eğitim ve psikolojideki bazı değişkenleri, ölçme aracılığı ile bilimsel kuramlarla bir araya getirmeye ve bunları açıklamaya yardımcı olur (Lord ve Novick,1968). KTK’nin açıklamak durumunda olduğu problemin çözümü için ortaya koyduğu bazı temel kavramlar ve sayıltılar vardır. Bu kavramlar gerçek puan, gözlenen puan ve hata kavramıdır.
2
Herhangi bir ölçme işleminde, ölçülen özelliğin ölçme süresince değişmeyen durumunu gösteren, bu özelliğin gerçek değerine karşı geldiği varsayılan sayıya gerçek puan denir. Bu hipotetik bir kavramdır çünkü çoğu zaman bir niteliğin o varlıktaki gerçek miktarına ulaşmak mümkün değildir. Bu kullanılan test tekniğinden, ölçmeyi yapan bireyden, ölçülen varlıktan ve ölçülen özelliğin doğasından kaynaklanan sorunlardan kaynaklı olabilir. Eğitimde ve psikolojide, ölçtüğümüz özelliği doğrudan gözlemleyemeyiz ancak o özelliği ölçtüğünü varsaydığımız testlerle söz konusu özelliği doğrudan değil, dolaylı olarak ölçebiliriz. Bu durumda da yapılan ölçme sonucunda elde edilen sayı o özelliğin gözlenen değerini oluşturur. Bu sayıya da gözlenen puan denir (Baykul, 2010).
Eğitim ve psikolojideki ölçümlerde, bireyin davranışları gözlemlendiğinden ölçme sonuçlarına mutlaka belirli oranlarda hata karışır. Hata, ölçülmek istenmeyen değişkenlerin ölçme sonuçlarına karışmasıdır. Eğitim ve psikolojide bireyin gerçek puanlarına bir miktar karışan hata değeri, gerçek puana eklenerek bireyin gözlenen puanı elde edilmiş olur. Eşitlik (1)’de belirtilen durumun matematiksel ifadesine yer verilmiştir (Cohen ve Swerdlik, 2005).
Xgözlenen = Xgerçek + Xhata (Crocker ve Algina, 2008).
Ayrıca KTK’de varyans gerçek puan ile hatanın kareleridir ve güvenirlik katsayısı gerçek puanın sahip olduğu varyansın gözlenen puanın sahip olduğu varyansa oranı olduğu eşitlik (2)’de verilmiştir.
σgözlenen2= σgerçek2+ σhata2
ρ = σgerçek2/ σgözlenen2 (Crocker ve Algina, 2008).
Hatayı düşük bir seviyeye indirebilmek hata kaynaklarının belirlenmesi ile kontrol edilebilmektedir. Hatalar; ölçme amacıyla kullanılacak test, sınav ya da ölçekten, ölçmeye konu olan nesne ya da ölçülecek bireylerden, ölçme sürecini uygulayan ölçmeci ya da ölçmecilerden, ölçmenin yapıldığı ortam koşullarından ve ölçme aracının puanlanmasından ve bu puanların yorumlanmasından kaynaklanmaktadır (Cohen ve Swerdlik, 2005).
Ölçme işlemlerinde bulunan değişkenler, hata varyanslarına sebep olabilmektedir.
Hatalar, sabit, sistematik ve tesadüfi olarak üç türde incelenebilir (Erkuş, 2003). Bir (1)
(2)
3
ölçmeden diğerine, ölçme sonucuna etki ettiği oran değişmeyen hatalar sabit hatalardır.
Sabit hatalar, her bir ölçmede aynı miktar ve taraftadır (Baykul ve Turgut, 2011; Erkuş, 2003). Örneğin bir öğretmenin bir testteki bütün cevap kağıdına fazladan 5 puan vermesi ölçmeler için hatalı ama hata yönü ve miktarı aynı olacaktır.
Sistematik hatalar belirli bir yönü iyileştirici ya da tam tersi miktarlarda görülebilirler. Ölçülen grubun büyüklüğüne, ölçme işlemine veya ölçmenin uygulandığı koşullara bağlı olarak sistematik bir şekilde değişen hata türlerine denir (Baykul ve Turgut, 2011; Erkuş, 2003). Açıklamayı örnekleyecek olursak aynı öğretmenin yazı güzelliğinin ölçülmediği bir testte yazısı güzel olanlara fazladan 5 puan vermesi, diğerlerine ise vermemesi sistematik hatayı ortaya çıkarır.
Ölçme sonuçlarına rastgele etki eden, nereden geldiği, ne kadar büyüklükte olduğu ve etkisinin ne tarafta etkili olduğu kesin bir şekilde bilinemeyen hatalar tesadüfi hatalardır (Baykul ve Turgut, 2011). Testi alan ya da puanlayıcıdan kaynaklanan dikkatsizlik, yorgunluk, sağlık durumu, motivasyon, psikolojik durumu gibi hata kaynakları olabileceği gibi ortamın ısısının, sesli olmasının ya da ışığın testi alan kişileri etkilemesi de tesadüfi hata kaynakları olabilir. Bu tür hata kaynaklarının ne olduğu kesin bir şekilde bilinemez ve büyüklüğü hesaplanamaz ancak kestirilebilir. Sabit ve sistematik hata kaynakları önceden önlenebilir fakat psikolojideki hataların miktarı, yönü ve kaynağı çoğu zaman belli değildir ve bu nedenle önlenemez (Erkuş, 2003).
Ölçme çalışmalarında, gözlenen puanların gerçek puanlara yakın olarak elde edilebilmesi amaçlanmaktadır. Gözlenen puanların hatalardan arınıklık derecesinin yüksek olduğu durumlarda gerçekte olması beklenen sonuçlara yakın ölçme sonuçları ortaya çıkmaktadır. Tesadüfi hataların az olması ise ölçmenin güvenilir olup olmadığı ile bilgi verir. Güvenirliğin kestirilebilmesi için geliştirilmiş Klasik Test Kuramı (KTK), Madde Tepki Kuramı (MTK) ve Genellenebilirlik Kuramı (GK) kuramlar vardır.
MTK’de madde parametreleri gruptan bağımsız olduğu için testlerin güvenirlikleri hata kaynağı olan birey göz önünde bulundurulmadan kestirilebilmektedir fakat MTK’nin yerine getirilmesi güç varsayımlarının olması kuramın kullanımının sınırlı yönlerindendir (Hambleton ve Swaminathan, 1985). Bu kuramlara dayalı güvenirlik kestirme yöntemleri ve bu yöntemler üzerine uygulanabilecek istatistiki hesaplamalar vardır.
Klasik Test Kuramında Güvenirlik ve Güvenirliğin Kestirilme Yöntemleri
Cohen ve Swerdlik (2005) güvenirliği, “ölçmelerin tutarlılığı” olarak
4
tanımlamaktadır. Erkuş (2003) güvenirliğini, ölçme araçlarının olabilecek en az seviyede hata ile ölçme yapabilmesi olarak tanımlamaktadır. Turgut (1990), “ölçme sonuçlarının tesadüfi hatalardan arınıklık derecesi” olarak da tanımlamaktadır. Anastasi (1982), güvenirliği aynı ölçme aracını farklı durum ve zamanlarda alan aynı bireylerin ölçme sonuçlarının tutarlılığı olarak tanımlamıştır.
KTK’ye göre güvenirlik, güvenirlik katsayısı kavramı ile matematiksel olarak ifade edilebilir. Güvenirlik katsayısı, ölçmelerdeki hatalardan arınıklığı belirtir ve bir testin paralel iki kısmından elde edilen puanların arasındaki korelasyon olarak belirtilmektedir. KTK’ye göre güvenirlik kestirme yöntemleri vardır. Güvenirlik kestirim yöntemleri de ölçmelerde elde edilecek sonuçların hangi amaçla kullanılacağına ve ölçmelerdeki sonuca etki eden değişkenlerden hangisinin hata olarak belirlenmesi amacıyla kullanılmaktadır (Amerikan Psikoloji Birliği, 2014). Aynı ölçme aracının, aynı bireylere farklı zamanlarda aynı koşullar altında uygulanmasından elde edilen korelasyon katsayısını belirleyen test tekrar test yöntemidir. Belirlenen bu katsayı aynı zamanda kararlılık katsayısı olarak da bilinir. Test tekrar test yönteminde korelasyon katsayısını düşüren zaman problemi vardır. Testin ikinci kere uygulanması arasındaki zaman kısa tutulduğunda testi alan bireylerin test maddelerini ve cevaplarını hatırlama olasılığı olduğu için iki uygulama arasındaki korelasyon katsayısı düşer. Testin ikinci kere uygulanması arasındaki zaman uzun tutulduğunda ise ölçülen özelliği unutma ya da ölçülen özellik ile ilgili özel ders alma gibi değişkenler sonuçları etkileyebilir. Dolayısıyla aynı testin uygulanması arasındaki zaman arttıkça, testlerden elde edilen puanlar arasındaki ilişki düşer. Bu nedenle test-tekrar test güvenirliği zaman içerisinde kişilik gibi daha az değişime uğrayacak özelliklerin değerlendirilmesinde kullanılması uygun olan bir güvenirlik tahminidir. (Aiken, 2000; Anastasi, 1982; Cohen ve Swerdlik, 2005).
Ölçülmek istenen özelliği ölçen farklı maddelerden oluşan iki eşdeğer (paralel) formun farklı zamanlarda aynı bireylere uygulanmasıyla uygulanan bir yöntem eşdeğer formlar yöntemidir. Bir teste eşdeğer form denilebilmesi için her iki testin de içeriklerinin, madde sayılarının ve tiplerinin aritmetik ortalamalarının, standart sapmalarının eşit olması gerekmektedir. Eşdeğer formlar güvenirliği, eşdeğerlik katsayısı hesaplanarak kestirilmektedir. Bu katsayının yeteri kadar yüksek oluşu her iki formun da güvenilirliğinin yüksek olduğuna, yeteri kadar yüksek olmayışı da her iki formun da güvenilirliğinin düşük olduğuna delil olarak sayılmaktadır. Eşdeğer formlar güvenirliğine üç durumda hata kaynakları karışabilmektedir: (1) aynı gruba iki test uygulamak gerekmektedir, (2) test puanları motivasyon, öğrenme, terapi gibi faktörlerden
5
etkilenebilmektedir, (3) madde örneklemesinin testi alan bireylerin gerçek yeteneklerinin bir fonksiyonu olmadan bireylerin lehine ya da aleyhine çalışmasıdır (Aiken, 2000;
Baykul, 2010; Cohen ve Swerdlik, 2005).
Test, bir grup bireye sadece bir kez uygulanarak, testin kendi kendisiyle tutarlılığına bakılır. Bu bakımdan güvenirlik değerlendirme işlemleri iç tutarlılık, bulunan güvenirlik katsayısı da iç tutarlılık katsayısı olarak isimlendirilir. Tek bir testin iki eşdeğer yarılarından elde edilen iki puanın birbirleriyle ilişkilendirilmesiyle eşdeğer yarılar güvenirlik kestirimi elde edilmiş olur. İki testin kullanılmasının pratik olmadığı ya da istenmediği durumlarda uygulanan bir yöntemdir. Eşdeğer yarılar yöntemi testin içeriğinin örneklemesine ilişkin bir tutarlılık ölçüsü sağlamaktadır. Bu nedenle bu yöntem iç tutarlılık katsayısının hesaplanması olarak da adlandırılır. Eşdeğer yarılar güvenirlik katsayısı üç aşamada hesaplanmaktadır.
1. Test eşdeğer yarıya bölünür,
2. Testin iki yarısından elde edilen iki puan üzerinde Pearson Momentler Çarpımı Korelasyon Katsayısı “r” hesaplanır,
3. Eş değer yarılar güvenirliği Spearman Brown formülü kullanarak hesaplanır.
Yarı yarıya bölmenin temel amacı, her bir yarının diğerine eşit olduğu mini paralel formlar oluşturmaktır ama bu formlar oluşturulurken yeterince paralellik oluşturulamaması hata kaynağıdır (Aiken, 2000; Anastasi, 1982; Cohen ve Swerdlik, 2005).
Eşdeğer yarılar inde kullanılan Spearman Brown formülü, yarıya bölünen iki test arasında elde edilen korelasyondan iç tutarlılık katsayısının hesaplanmasına olanak sağlamaktadır. Bir testin güvenirliği, testin uzunluğundan etkilendiği için kısaltılmış ya da uzatılmış testin güvenirliğini kestirmek için bu formüle ihtiyaç vardır. Testin uzunluğu iki katına çıkarılırsa sahip olacağı güvenirliği yansıtacak şekilde düzeltilmeli ve güvenirliği yukarı doğru ayarlanmalıdır. Bu düzeltme için kullanılan formüle Spearman Brown düzeltme formülü denir ve eşitlik (3)’te bu formül gösterilmiştir:
rw = (2. rh )/(1 + rh)
“𝑟𝑤”, Spearman Brown formülü tarafından ayarlanan tüm testin güvenirliğine,
“𝑟ℎ” ise iki yarıya bölünmüş testin puanları arasındaki Pearson Momentler Çarpımı Korelasyon Katsayısı “r” ye eşit olmaktadır (Kubiszyn ve Borich, 2007).
(3)
6
Eşdeğer yarılar yönteminde güvenirliğin kestirilmesinde kullanılan formüller Kuder-Richardson-20 ve Kuder-Richardson-21 formülleridir. Bu formüller, maddelerin (1-0) olarak ikili puanlanmasına dayanan testlere uygulanmaktadır ve testin tamamına ilişkin güvenirlik katsayısı hesaplanmasında kullanılmaktadır. Maddelerin testin bütünüyle olan iç tutarlılığının bir ölçüsüdür. Testteki her maddenin aynı değişkeni ölçtüğü dolayısıyla testin homojen olduğu sayıltısına bağlıdır.
Cronbach Alfa yöntemi de testin iç tutarlılığının hesaplanabildiği bir yöntemdir.
KR 20-21 yöntemine benzerdir ancak çoklu puanlanabilen maddelerden oluşan testlere uygulanabilmektedir. Test tekrar test güvenirlik kestirimini yapabilmek için uygulanabilmektedir (Cronbach, 1990).
Güvenirlik, ölçmelerin hatalardan arınıklık derecesi olduğuna göre ölçmeye karışan hatanın ölçüsü de ölçmenin standart hatasıdır. Bu ölçüm, bireysel puanların yorumlanmasında bazı durumlarda güvenirlik katsayısına göre daha kullanışlı olmaktadır. Güvenirlik katsayısı bir korelasyon katsayısı olarak bire doğru yaklaştıkça hata oranı o ölçüde azalmakta sıfıra yaklaştıkça hata oranı o ölçüde artmaktadır. Hata oranı da güvenirlik katsayısına göre artıp azalmaktadır. Ölçmenin standart hatasını hesaplayabilmek için güvenirlik katsayısını bilmek gerekmektedir.
Ösh = S√(1 − r)
Eşitlik (4)’te ifade edilen 𝑆 test puanlarının standart sapması, r ise güvenirlik katsayısını ifade eder (Anastasi, 1982).
KTK aynı anda tek bir hata kaynağı ile ilgilenebildiği için güvenirlik kestirim yöntemleri de sadece bir hata türüne göre farklılık içermektedir. Test-tekrar test yöntemi uygulanarak elde edilen güvenirlik söz konusu olduğunda zaman içerisinde değişim önemli olmaktadır ve hata kaynağı zaman olmaktadır. Paralel testler yöntemi ile elde edilen güvenirlik ölçme aracının benzer testleri arasındaki tutarlılık önemlidir ve buradaki hata kaynağı da testlerdir. İç tutarlılık ile ilgili güvenirlik hesaplama yöntemlerinde ise ölçme aracında bulunan maddelerin birbiri ile tutarlılıkları önemlidir ve bu yöntemde hata kaynağı maddelerdir (Anastasi, 1982; Kline, 2000; Cohen ve Swerdlik, 2005). KTK’de güvenirlik kestirim yöntemlerinin bahsedilen hata kaynaklarından ötürü sınırlılıkları vardır.
(4)
7
Klasik Test Kuramında Kestirilen Güvenirliklerin Sınırlılıkları
Bir test kuramı, ölçme sürecinde problemlerin ortaya koyulması ve bu problemlere uygun çözümlerin veya açıklamaların getirilmesi ya da azaltılmasına yönelik çalışmaları içerir. KTK’nin de eğitim ve psikoloji de en yaygın kullanılan kuram olmasına karşın bazı sınırlılıkları vardır. Bu sınırlılıklar aşağıda sıralanmıştır.
a) Klasik test kuramında, madde istatistikleri gruba bağımlıdır. Bir teste yönelik güvenirlik ve geçerlik değerleri, uygulandığı gruba bağlı olarak farklı değerler almaktadır.
b) Klasik test kuramında, madde alanı örnekleme teorisi esas alındığından, puanların güvenirliğini kanıtlamak için aynı madde evreninden gelen paralel bir teste ihtiyaç duyulmaktadır. Ancak paralel testlerin oluşturulması çok zor olmaktadır. Çünkü eşit olduklarını kanıtlamak için büyük çalışmalar gerektirmektedir.
(Gulliksen,1950). Bu paralel formlar, sadece ortalama değil, standart sapmalar, güvenirlik, ayırt edicilik ve geçerlilik ölçütlerinde de benzer olmalıdırlar.
c) Klasik test kuramıyla geliştirilen testler, genellikle orta güçlükte maddelerden oluşmaktadır ve orta seviyede yetenek grubuna hitap etmektedir ve yüksek veya düşük yetenek seviyesindeki bireyleri belirlemede yetersiz kalmaktadır. Bu yüzden büyük gruplarda ve seçme amaçlı kullanılmasında sınırlı kalmaktadır.
d) Güvenirlik, grup puanları için bile ayrı ayrı elde edilemez. Bireysel puanlar için ayrı güvenirlik kestirimi yoktur. Bu da bireyleri farklı farklı etkileyen durumlar sonucu oluşan ve farklı bireylere ait olan farklı hata miktarının yok sayılıp, hesaplanan tek bir hata değerinin grup üzerine genellendiğini göstermektedir.
e) Klasik test kuramı, ölçmeye karışan tek hata olarak tesadüfi hata ile ilgilenir, sistematik hata ve sabit hatayı göz ardı etmektedir (Hambleton ve Swaminathan, 1985).
Klasik test kuramında bulunan güvenirlik kestirimleri ve hata varyanslarının puanlar üzerindeki etkilerinin neler olduğu ve bu etkilerin hangi oranda olduğunun belirlenmesinde yetersiz kaldığı görülmüştür. Bu konu üzerinde çalışanların farklı hata varyanslarını nasıl belirleyeceği üzerine yeni fikirler geliştirmelerine yol açmıştır. Aynı zamanda KTK’nin örneklem grubuna bağlı olarak istatistikler ortaya koyması sonuçların evrene uyarlanamaması gibi sınırlılıkları G Kuramına dayanak olmuştur (Crocker ve Algina, 1986; Eason, 1989). G kuramı, KTK’deki ayrıştırılmamış hatanın potansiyel
8
ölçüm hatası kaynaklarının büyük oranda açıklanmasını sağladığı kabulünden ortaya çıkmıştır (Shavelson ve Webb, 2005).
Genellenebilirlik Kuramı
Genellenebilirlik kuramı (GK), gözlemlenen puanlarda ortaya çıkan tek bir hata kaynağı yerine ölçmeye etki eden birçok hata varyansının incelenmesine olanak sağlayan kapsamlı bir kavramsal çerçeve ve güçlü istatistiksel hesaplamalar içeren bir kuramdır.
Bir araştırmacının, ortaya çıkan veya ortaya çıkacak hata varyanslarını ve gözlemlenen puanlardaki tutarsızlık kaynaklarını tespit edip ölçebilmesine olanak sağlar (Brennan, 2001). G kuramını Cronbach, Rajaratman, Nanda ve Gleser (1963 ve 1972) gibi araştırmacılar tarafından geliştirilmiş ve Crocker ve Algina (1986), Algina (1989), Brennan ve Kane (1979), Feldt ve Brennan (1989), Suen (1990), Shavelson, Webb ve Rowley (1989), Shavelson ve Webb (1991), Kieffer (1999), Marcoulides (1999,2000) Strube (2000) ve Brennan (2001)’ın katkılarıyla geliştirilmiştir (Mushquash and O’Connor, 2006; Li, Shavelson, Yin ve Wiley, 2015).
Gözlenen puanlarda var olan hatalar farklı kaynaklardan ortaya çıkabilir. Bu farklı hata kaynaklarını aynı anda ve tek bir katsayı ile ortaya çıkarma ve karşılaştırma yolu G kuramıdır. G kuramı, varyans oluşturan bütün ölçüm hatalarını ayrıştırır, tahmin eder ve ortaya çıkarır ve bulunan bu hatalar varyans bileşenleri olarak adlandırılır (Mushquash and O’Connor, 2006). G kuramı, her bir kaynağın katkıda bulunduğu varyans tahminlerini sağlayarak çeşitli kaynaklar arasındaki etkileşimlerle ilişkili varyans tahminlerini belirler (Brennan, 2001).
G kuramı, araştırmacının aşağıdaki soruları ele almasına izin verir.
1. Standart ölçme hatasını belirlemek için madde ve puanlayıcı örneklemesi yeterli midir?
2. Madde ya da puanlayıcı sayısını artırarak ölçümün güvenirliğini artırabilir miyim?
3. Test puanları bireyin başarısına ilişkin yargıda bulunmak konusunda güvenilir midir? (Shavelson ve Webb, 2005).
Yukarıdaki soruların cevapları ölçme sürecinde kestirilmeye çalışılan güvenirlik katsayısının önemli bir testte bireyler hakkında kararlar alınırken daha güvenilir değerlendirmeler yapılmasına olanak sağlamaktadır. Aynı zamanda psikoterapi gibi birçok doğrudan gözlemlenemeyen değişkenlerin etki ettiği alanlarda süreç
9
değerlendirme ölçütlerinin güvenirliğini değerlendirmek çok önemlidir. G kuramı, bahsedildiği gibi birden fazla ölçüm hatası kaynağı eş zamanlı olarak değerlendirilebilir (Wasserman, Levy ve Loken, 2009).
G kuramı, KTK’yi özel bir durum olarak ele alır ve KTK’nin kavramlarını ve ölçüm tasarımlarını barındırır (Eason, 1989). Bu nedenle G kuramı ile ilgili bir kuramsal çerçeve sunarken KTK’nin hangi eksikliklerine ya da farklılıklarına yönelik olarak G kuramının geliştirildiğinin ifade edilmesi gerekmektedir.
G Kuramı ve KTK’nin Sınırlı ve Güçlü Yönlerinin Karşılaştırılması
G kuramı, geleneksel güvenirlik kavramlarının daha geniş bir çerçevede kullanılmasına olanak verip, güvenirliği varyans bileşenlerine ve tahminlerine dayandırarak varyans analizine (ANOVA) imkan sağlamaktadır. KTK’nin, aynı anda tek bir hata kaynağı ile ilgili çıkarımlar yapabilmesine dayanan bir kuram olmasının sınırlılığını gidermek için geliştirilmiş genellenebilirlik kuramı, birçok hata kaynağının aynı anda incelenip tek bir güvenirlik kestiriminin yapılabilmesine olanak sağlamaktadır.
G kuramı bireyin gözlenen puanına KTK’den farklı olarak birçok sayıda hata karıştığını ifade eder. Eşitlik (5)’te de belirtildiği gibi gözlenen puan, evren puanına ve sonsuz sayıda hata kaynağının toplanmasıyla elde edilir.
Hata kaynakları
𝑋 = 𝜇𝑃+ 𝐸1+ 𝐸2+ . . . + 𝐸𝑁
Gözlenen puan Evren puanı
Çok sayıda hata kaynağı, G kuramında temel bir kavram olan genelleme evrenini tanımlar (Shavelson, Webb ve Rowley, 1988). KTK’nin temelini oluşturan güvenirlik kavramı G kuramında yerini, daha geniş ve esnek genelleme kavramına bırakır. KTK’de ifade edilen gerçek puan G kuramında evren puanıdır. Hata ise tek bir hata kaynağının etkisi varyans bileşenleri olarak ifade edilmektedir. Bu ikisinin toplamı da G kuramına göre gözlenen puanı vermektedir (Eason, 1989).
G kuramının KTK’nin genişletilmiş bir uzantısı olduğunu Shavelson ve Webb (1991), VanLeeuwen (1997), Brennan (2001) ve Wang (2005) beş maddeyle (5)
10 belirtmişlerdir.
1. Genellenebilirlik kuramı tek bir analizle birçok hata kaynağını kestirebilmektedir.
2. Değişkenlik kaynaklarının her birinin büyüklüğünü belirleyebilmektedir.
3. Bireylerin elde ettiği başarılarına yönelik mutlak ve bağıl değerlendirmeler aynı anda alınabilmektedir ve buna bağlı olarak iki farklı güvenirlik katsayısı hesaplanabilmektedir.
4. İstenilen ölçme durumlarında, en uygun güvenirlik katsayısının elde edilebileceği karar çalışmaları yapılabilmektedir.
5. Gelecekte yapılacak uygulamalarda etkin ölçüm prosedürleri tasarlanabilmektedir.
KTK, güvenirliği değerlendirmek için yararlı yöntemler (test-tekrar testi, paralel formlar, iç tutarlılık hesaplamaları vb.) sunsa da bir seferde ancak bir ölçüm hatası kaynağı olarak belirlenebilmektedir. Ayrıca birçok güvenirlik tahmini elde etmek için mümkün olan çok sayıda güvenirlik katsayısını birleştirmenin, çeşitli hata kaynaklarının göreceli bir önemini belirlemenin ya da hata kaynakları arasındaki olası etkileşimleri değerlendirebilemenin bir yolu yoktur. Araştırmacılara, katılımcılardan güvenilir puanlar elde etmek için kaç tane madde, test ve gözlemci gerektiğine dair açık bir bilgi vermez (Webb, Rowley, Shavelson, 1988). G kuramı, KTK’nin uzantısı olarak kabul edilse de bazı yönlerden araştırmacılara ölçme sonuçlarını ya da ölçme araçlarını geniş kapsamlı değerlendirebilmesi imkanı verdiği için çeşitli farklılıkları vardır. Aşağıda G kuramının, KTK’ye göre üstün yönleri verilmiştir.
1. G kuramı, ölçme sürecinde yer alan hata kaynaklarının hepsini aynı anda ele alınıp yorumlanabilmesine olanak sağladığından, aynı anda sadece bir adet hata kaynağının yorumlanabildiği KTK’ye göre daha geniş yorumlanabilen bir güvenirlik kestirimi yapılabilmesini mümkün kılar.
2. G Kuramı, KTK’deki gibi sadece ölçmedeki hata varyanslarının değişkenlik etkilerine değil, bu hata varyans değişkenliklerinin ortak etkilerini de göz önünde bulundurur.
3. G kuramı, birçok hata kaynağının birleşimini aynı zamanda test-tekrar test ve iç tutarlılık güvenirliği ve puanlayıcılar arası güvenirliklerin hesaplanıp birlikte değerlendirilmesine olanak sağlamaktadır.
4. G kuramında, ölçmenin güvenirliğinin kestirilmesinde bağıl ve mutlak değerlendirmeler için hesaplamalar yapılabilabilirken KTK’de ise sadece
11
bağıl değerlendirme için güvenirlik kestirilebilir.
5. G kuramında karar çalışmaları ile istenilen her değişkenlik kaynağının koşullarının sayısının değiştirildiği durumda güvenirliğin sınanmasına imkan tanır. KTK’de ise sadece bir değişkenlik kaynağının (madde/görev) sayısının değiştirilmesinin güvenirliği nasıl etkilediği Spearman-Brown formulü ile hesaplanıp elde edilebilir (Shavelson & Webb, 1991; VanLeeuwen, 1997;
Brennan, 2001).
G kuramı, genellenebilirlik çalışması (G çalışması) ile Karar (Desicion) çalışması (K ya da D çalışması) olmak üzere iki ayrı analiz aşamasını içerir. İlk aşama, sonuçların bir popülasyon için genelleştirilebilir ve genelleştirilebilirlik çalışmasını (G çalışması) analiz eder. İkinci aşama ise G çalışmasından elde edilen bilgileri kullanan karar çalışmasını (K çalışması) içerir.
Kabul Edilebilir Gözlemler ve G Çalışması
Bir değişkeni ölçmek için yola çıkan bir araştırmacı, çoğu zaman gözlemini ilgili alan ya da evrene genelleme eğilimindedir (Cronbach, 1990). Bireyin gerçek puanlarının tahminleri ve kabul edilebilir gözlemleri bir evrenin parçalarıdır. G çalışması ise, ölçümlerin evrene genellenmesiyle ilgilenmektedir. Evren ise ölçüm örnekleminin daha geniş bir ölçüm koşulu olarak tanımlanmaktadır. Ölçüm sonuçlarının istikrarı veya bir ölçekteki maddelerle ilgili çalışmaların hepsi G çalışmaları olarak kabul edilebilir. G çalışmasının temel amacı, değişkenlik kaynakları hakkında elde edilebilecek bütün bilgileri elde etmeye çalışarak hata varyansının büyüklüğünü hesaplamaya çalışmaktır. G çalışması için öncelikle ölçme örnekleminin genelleneceği evren ve değişkenlik kaynakları tespit edilmelidir. G çalışması varyans analizine dayanır. Varyans oluşturan her bir etmene değişkenlik kaynağı (facet, yüzey) denir ve G çalışması olabildiğince fazla değişkenlik kaynağı içerecek şekilde oluşturulmalıdır.
G kuramına göre bireysel gözlem ve ölçme, yalnızca olası ölçümlerin sonsuz ve çeşitli evrenlerinden elde edilen bir tahminidir. Bireyin gerçek puanlarının tahminleri ve kabul edilebilir gözlemler evreninin parçalarıdır (Brennan, 2001). Test formları, maddeler, ölçme durumları ve puanlayıcılar potansiyel bir hata kaynağı olan ölçme yönteminin herhangi bir özelliğini içerebilen (facet) yüzey olarak tanımlanabilir. Her yüzeyin içindeki farklı maddeler ya da ölçme durumları gibi düzeyler sonsuz derecede büyük olabilen koşullardır. Ölçümün amacı genellikle bir hata kaynağı olarak kabul
12
edilmeyen bireylerdir çünkü bireyler değişkendir ve bireyler arasında gerçek puan farklılıklarının olması beklenmektedir. Ölçme objesi bir hata sapması yaratmadığı için yüzey olarak kabul edilmez (Mushquash and O’Connor, 2006). Evren puanı, olası seçenekler evrenindeki bir birey üzerindeki tüm gözlemlerin beklenen bir değeri olarak tanımlanır, bu ise KTK’deki gerçek puana eşdeğerdir. Evren veya genelleme evreni, ilgilenilen yapıyı değiştirmeden bir ölçümün kabul edilebilir bütün yüzeylerini, paralel olarak kabul edilebilecek her yüzey için seviyeleri belirlenerek tanımlanır.
Örneğin, bir araştırmacı bir grup test maddesini daha geniş bir grup test maddesine genellerse, değişkenlik kaynağı testteki maddeler olmaktadır. Eğer araştırmacı bir test formunu daha çok sayıda bir test formuna genellemek istiyorsa bu örnekteki değişkenlik kaynağı ise test formları olur. Bütün kabul edilebilir test formları ise evren olarak tanımlanır.
Sonsuz Genelleme Evreni ve Karar (K) Çalışması
K çalışmaları, G çalışması ile belirlenerek yorumlanan varyans bileşenlerinin, kullanımı ve yorumlanması hakkında karar verilebilmesi için bilgi elde edebilmek amacıyla uygulanır. K çalışması, en güvenilir ölçüm süreçlerini elde etmek ve G çalışmasında uygulanabilecek en uygun ölçme desenine karar verebilmek için G çalışmasında elde edilen bilgileri kullanır (Brown, 2005). K çalışmasının uygulanmasındaki amaç, güvenilir sonuçlar elde edebilmek için değişkenlik kaynaklarının sayısı belirlenip hatanın en aza indirilmesidir.
Araştırmacı ölçüm yöntemlerinin sonuçlarına dayanarak genelleme evreni tanımlar. Genelleme evreni, genellemek istediği koşullar setidir. Evren puanı, genelleme evrenindeki ölçümlerin ortalamasıdır. Evren puanının, beklenen gözlem puanı varyansına oranı genellenebilirliğin etkili olduğunun bir ölçüsüdür. G kuramı, bir değerlendirmenin belirli kararlar için uyarlanabileceğini kabul eder ve G çalışmasını K çalışmasından ayırır.
G çalışmasında evren kabul edilebilir gözlemlerin değerlendiricilere varyans bileşen tahminleri sağlamak için mümkün olduğunca geniş bir şekilde tanımlanırken K çalışması ise belirlenmiş bir hedef için sadece hedefle ilgili olan yüzeyleri belirler, böylece puanların yorumlanması genelleme evrenine yönelik yapılabilir. Genellenebilirlik katsayısı, her bir yüzey için ayrıca hesaplanabilir (Shavelson ve Webb, 2005).
G kuramında, araştırmacının amacına uygun olarak yüzey ve koşullarına ve değişkenlik kaynaklarının sayısına göre uygun desen seçilmelidir. Seçilen desenleri
13
uygulayarak genellenebilirlik katsayısı hesaplanır. G çalışması için G ve Phi katsayısı hesaplanır (Brennan, 2001; Crocker ve Algina, 1986).
G kuramında araştırmacılar, G ve K çalışmalarını uygularken seçtikleri desenler vardır. Bu desenler, araştırmanın hedefine, araştırmada kullanılacak verilere, araştırmadaki değişkenlik kaynaklarının türüne, araştırmanın sonuçlarına ve nihayetinde kestirilmiş olan güvenirlik katsayısına göre seçilen farklı desen ve yöntemler vardır (Shavelson ve Webb, 2005; Brennan, 2001; Shavelson ve diğerleri, 2015).
Çaprazlanmış ve Yuvalanmış Desenler
Bir değişkenin tüm yüzeyleri diğer değişkenlik kaynağının tüm yüzeylerinde görüldüğünde elde edilen tasarım çaprazlanmış desendir. Çapraz tasarlanmış bir desende bir yüzeyin tüm koşulları diğer her yüzeyin tüm koşullarında gözlenir. Örneğin tek yüzeyli tasarlanmış bir desende her bir birey, her bir madde üzerinde ölçülür ve b x m olarak gösterilir (Shavelson ve Webb, 2005; Huebner ve Lucht, 2019).
Bir değişkenlik kaynağının bazı yüzeyleri diğer değişkenlik kaynağının tüm yüzeylerinde gözlemlenmiyorsa yuvalanmış desendir. Yuvalanmış olarak tasarlanmış bir desende bir yüzeyin bütün koşulları diğer her yüzeyin bütün koşullarında gözlemlenmez.
Örneğin tek yüzeyli tasarlanmış bir desende bütün bireyler, bütün maddeler üzerinde ölçülmediyse yuvalanmış desen olur ve b : m olarak gösterilir (Shavelson ve Webb, 2005;
Huebner ve Lucht, 2019).
Örneğin, bir araştırmada bir ölçek birden fazla puanlayıcı tarafından puanlanması sonucunda aşağıda belirtilen dört farklı durum ortaya çıkar ve G ve K çalışması için uygun desenlerden biri kullanılabilir (Crocker ve Algina, 1986)
1. Her birey bir puanlayıcı tarafından puanlanır ve bu puanlayıcı her bireye puan verir.
2. Her birey birden fazla puanlayıcı tarafından puanlanır ve her puanlayıcı her bireye puan verir.
3. Her birey birbirinden farklı puanlayıcılar tarafından puanlanır ve tek bir bireyi yalnızca bir puanlayıcı değerlendirir.
4. Her birey birden fazla puanlayıcı tarafından puanlanır ve her birey için farklı puanlayıcılar vardır.
Yukarıdaki dört desende de tek değişkenlik kaynağı puanlayıcıdır. İlk iki desende, bütün öğrenciler aynı puanlayıcılar tarafından puanlandığı için ölçmenin değişkenlik
14
kaynağı olan puanlayıcı birey ile çaprazlanmıştır. Çaprazlanmış desen puanlayıcı p ile ve birey b ile gösterilmek suretiyle pxb şeklinde gösterilir. Çaprazlanmış bir desenden elde edilen veriye eşleştirilmiş veri (matched data) denir. Son iki desende ise her birey farklı puanlayıcılar tarafından puanlandığından puanlayıcılar bireylerle yuvalanmıştır.
Yuvalanmış desen ise puanlayıcı p ile ve birey b ile gösterilmek suretiyle b:p şeklinde gösterilir. Yuvalanmış desenden elde edilen veriye bağımsız veri (independent data) denir. Birbirinden farklı bireyler (B), başka maddeleri (M) cevaplandırdığı ve birçok farklı puanlayıcının (P) farklı öğrenciler tarafından cevaplanan farklı maddeleri puanlaması ile oluşan tasarıma ise tümüyle yuvalanmış desen adı verilir. Bu desende bireyler puanlayıcılarla, maddeler de bireylerle yuvalanmıştır ve (B : M : P) olarak ifade edilir (Cronbach, Gleser, Nanda, & Rajaratnam, 1972; Crocker ve Algina, 1986). Bazı ölçme durumlarında da değişkenlerin çaprazlanmış ve yuvalanmış olarak belirlendiği desenler de uygulanabilmektedir (Brennan, 2001; Shavelson ve diğerleri, 2015).
Çaprazlanmış desende, etkileşim ve ana etki bileşenlerinin ayrı ayrı tahminlerine olanak verirken, yuvalanmış desende bazı varyans bileşenlerinin ayrı tahminlerine olanak vermez (VanLeeuwen, 1997). Şekil 1’de çaprazlanmış ve yuvalanmış desene ait Venn şeması gösterilmiştir. Bu şema ile çaprazlanmış ve yuvalanmış desenin değişkenlik kaynakları, bu değişkenlik kaynaklarının birbiriyle etkileşimleri ifade edilmektedir (Brennan, 2001).
Şekil 1. Tek Yüzeyli Çaprazlanmış ve Yuvalanmış Desen Örneği Venn Şeması (Brennan, 2001).
Bu çalışmada ölçmenin hedefi bireyler olacağı için bireyler değişkenlik kaynağı ya da yüzey olarak adlandırılmaz. Bireyler çalışmada ölçmenin objesi olarak adlandırılır.
Değişkenlik kaynakları madde ve puanlayıcılardır. Madde ve puanlayıcıların seviyeleri de koşullar olarak adlandırılmaktadır. Araştırmada kullanılan değişkenlere ait koşullar,
15
araştırmacının amacına ve ilgilendiği kısımlara bağlı olarak sabit ya da tesadüfi olabilir.
Sabit değişkenin tüm koşulları evrende sabittir bu durumda araştırmacı sonuçlarını evrene genelleyemez. Araştırmacı tesadüfi değişkenlik koşullarını ise olası gözlemler evreninden tesadüfi olarak seçilip örneklendirildiği ve puanlayıcı evreninden tesadüfi puanlayıcı seçilmesi ve bunların puanlama yapması ile örneklemden daha büyük bir evrene genelleme yapabilir (Crocker ve Algina, 1986; Brennan, 2001).
G kuramında, en az bir facet olası değişkenlik oluşturacak bir kaynak olarak belirlenmelidir. Belirlenecek facet, ölçmeden elde edilen sonuçların genellenmesi planlanılan kısımdır. Buna “tek değişkenlik kaynaklı evrenler” (tek yüzeyli evren) denir (Yelboğa ve Tavşancıl, 2010). Tek değişkenlik kaynaklı evrenlerde ölçmeye karışan hata tek bir hata kaynağından gelmektedir. Tek değişkenlik kaynaklı evrenler üzerine kurulan desenlerde dört tane varyans kaynağı bulunmaktadır. Birincisi bireylerin bilgi, beceri, tutum gibi benzeri farklılıklarından kaynaklanmaktadır. Bu varyans kaynağı ölçmenin amacı olarak ifade edilmektedir. Değişkenlik kaynağından gelen tek bir hata kaynağı olan evren, bir değişkenlik kaynaklı evren olarak tanımlanmaktadır. Varyansın ikinci kaynağı ise ölçme aracından kaynaklanmaktadır. Ölçme aracında bulunan maddelerin kolay, zor ya da orta güçlükte olması varyans kaynağı olarak belirtilmektedir. Varyansın üçüncü kaynağı ise, bireylerin geçmiş deneyimleridir. Bireylerin ilgisini çeken konularla ilgili maddeleri cevaplama olasılıkları daha yüksektir. Varyansın dördüncü kaynağı ise tanımlanamayan veya kaynağı bilinmeyen değişkenler olarak adlandırılmaktadır. Birinci ve ikinci varyans kaynakları olan birey (b) – madde (m) ve ikisinin etkileşimi (bxm) ile tesadüfi veya tanımlanamayan varyans kaynakları (e) birleşir ve birlikte artık olarak kabul edilir (Crocker ve Algina, 1986; Brennan, 2001; Shavelson ve diğerleri, 2015).
Bazı durumlarda ölçüm koşulları iki veya daha fazla değişkenlik kaynağı içerebilmektedir. İki değişkenlik kaynağının belirlendiği durumlar iki yüzeyli evrenler olarak tanımlanmaktadır. Bireylerin, farklı maddelerden oluşan bir testi birden fazla puanlayıcının puanlaması ile oluşturulan çalışma, iki değişkenlik kaynaklı bir çalışma örneğidir. Puanlayıcılar ve test maddelerinin her biri bir değişkenlik kaynağıdır (Crocker ve Algina, 1986). İki değişkenlik kaynaklı evrenlerde varyans bileşenleri aşağıdaki gibi ifade edilmiştir.
16 Tablo 1
İki yüzeyli evrenlerde varyans bileşenleri
Değişkenlik Kaynağı Değişkenlik Türü Varyans Sembolü
Birey (b) Bireyin varyansı σ2b
Madde (m) Maddelerin varyansı σ2m
Puanlayıcı (p) Puanlayıcıların varyansı σ2p
Birey x Madde Birey ve madde
etkileşiminin varyansı
σ2bm
Birey x Puanlayıcı Birey ve puanlayıcı
etkileşiminin varyansı
σ2bp
Madde x Puanlayıcı Madde ve puanlayıcı
etkileşiminin varyansı
σ2mp
Birey x Madde x Puanlayıcı, e Artık varyans σ2bmp, e
(Crocker ve Algina, 1986; Brennan, 2001; Güler, Kaya Uyanık ve Taşdelen Teker, 2012)
İki değişkenlik kaynaklı evrenlere bir örnek verilecek olursa;
Bir araştırmada kabul edilebilir gözlemler evreni P (birey), T (test), R (puanlayıcı) olmak üzere P x T x R belirlenmiş olsun. Bu durum için tek bir puanlayıcı tarafından değerlendirilen tek bir test için gözlemlenebilir herhangi bir puan aşağıdaki eşitlikte temsil edilmektedir:
XPTR = μ + vp+ vT+ vR+ VPT+ VPR+ VTR+ VPTR
Eşitlik (6)’ya göre bu tasarım için belirlenen ortalama puanı ve birbiriyle ilişkisiz yedi bileşeni içermektedir. Eşitlik (6)’nın verdiği ortalama puanları ve kabul edilebilir gözlemler evrenindeki koşullar üzerinde fark varyans etkilerinin belirtildiği eşitlik (7)’deki denklemde verilmiştir ve gözlemlenen toplam puan farkı yedi bağımsız varyans bileşenine ayrıştırılabilir.
σ2 (Xptr) = σ2 (p) + σ2 (t) + σ2 (r) + σ2 (pt) + σ2 (pr) + σ2 (tr) + σ2 (p)
Eşitlik (7) incelendiğinde varyans bileşenlerine rastgele varyans bileşenleri demek doğru olacaktır. Tablo 2’deki desen incelendiğinde iki yüzeyli bir desen olduğu (6)
(7)
17
görülmektedir. Bu desen göz önüne alındığında eşitlik (7)’deki varyans bileşenlerinin tahmini için Tablo 2’deki Beklenen Ortalama Kareler denklemleri kullanılmaktadır. Bu bilgi araştırmacıya en büyük değişkenliği sağlayan kaynakları tanımlamasını sağlar (Huebner ve Lucht, 2019).
Tablo 2
Beklenen ortalama kareler ve P x T x R için tahmin edilen varyans bileşenleri
Etki (α) Beklenen Ortalama Kareler (α)
P σ2 (ptr) + nt σ2 (pr) + nr σ2 (pt) + nt nr σ2 (p) T σ2 (ptr) + np σ2 (tr) + nr σ2 (pt) + np nr σ2 (t) R σ2 (ptr) + nt σ2 (tr) + nt σ2 (pr) + np nt σ2 (r)
Pt σ2 (ptr) + nr σ2 (pt)
Pr σ2 (ptr) + nt σ2 (pr)
Tr σ2 (ptr) + np σ2 (tr)
Ptr σ2 (ptr)
Etki (α) σ2 (α)
P [MS(p) – MS(pt) – MS (pr) + MS (ptr)]/ nt nr
T [MS(t) – MS(pt) – MS (tr) + MS (ptr)]/ np nr
R [MS(r) – MS(pr) – MS (tr) + MS (ptr)]/ np nt
Pt [MS(pt) – MS (ptr)]/ nr
Pr [MS(pr) – MS (ptr)]/ nt
Tr [MS(tr) – MS (ptr)]/ np
Ptr MS (ptr)
Sosyal bilimlerdeki ölçme işlemleri ölçmeye konu olan özellikler bakımından daha karmaşıktır ve her zaman iki değişkenlik kaynağı ile ele alınmayabilir. İkiden fazla değişkenlik kaynağının araştırmaya konu olduğu durumda araştırma, üç ve daha çok yüzeyli değişkenlik kaynaklı evrenler olarak tanımlanabilir. Örneğin araştırmacı bir test sonucunu kullanacaksa maddeleri, zamanı ve test uygulayıcısı gibi üç değişkenlik kaynağına genellemek isteyebilir (Shavelson ve Webb, 1991).
Değişkenlik kaynağı arttıkça, örneklemden elde edilecek verilerle evrene yönelik yorumlanması planlanan genellemede de hata yapma olasılığı artar. Dolayısıyla
18
araştırmaya etki edecek hata varyanslarının bilinmesi gerekmektedir (Güler, Kaya Uyanık ve Taşdelen Teker, 2012).
Hata Varyansları
Hata varyansları sonsuz genelleme evreni göz önüne alındığında ölçme objesi dışındaki varyans bileşenleri bir veya daha fazla farklı hata varyansı türüne katkıda bulunur. Bunlar mutlak (absolute) ve bağıl (göreceli, relative) varyans türleridir.
Parriott (2016)’a göre KTK’ye göre G kuramını kullanmanın farklılıklarından biri de G kuramıyla iki hata varyansı hesaplanabilmesidir. G kuramına göre bağıl hata ve mutlak hata varyansı bulunmaktadır. Mutlak hata varyansı sadece bir kişinin gözlenen ve evren puanı arasındaki farktır ve “σ2(Δ)” şeklinde gösterilir. Gruptan bağımsız olarak mutlak bir değere göre bireylerdeki değişiklikler kestirilir. Örneğin; (bxmxp) desenli bir çalışmada mutlak hata varyansı aşağıdaki formül kullanılarak hesaplanır (Brennan, 2001;
Shavelson ve Webb, 1991)
σ2(∆) =σm2 nm+σp2
np+σbm2 nm +σbp2
np + σmp2
nmnp+ σbmp2 nmnp
Bağıl (göreli) hata, bireyin gözlenen ve evren sapma puanı arasındaki farktan elde edilmektedir. Gözlenen ve evren puanları uygulandığı örneklemin ortalamalarına bağlı olarak hesaplandığı için göreli (relative) ismini alır (Güler, Kaya Uyanık ve Taşdelen Teker, 2012). Bağıl hata varyansı göreceli değerlendirmeler yapılacağı zaman ve bireylerin grup içerisindeki durumlarını birbiriyle karşılaştırarak değerlendirmek istendiğinde kullanılmaktadır. “σ2(δ)” şeklinde gösterilir (Brennan, 2001). Örneğin; b x m x p desenli bir çalışmada bağıl hata varyansı aşağıdaki formül kullanılarak hesaplanır (Brennan, 2001; Shavelson ve Webb, 1991).
σ(δ)2 =σbm2 nm +σbp2
np +σbmp2 nmnp
Genellenebilirlik Katsayısı ve Güvenirlik Katsayısı
G kuramında hangi modelin uygun olacağı ölçme sonuçlarının araştırmacı (8)
(9)
19
tarafından nasıl kullanılacağına bağlı olarak değişir. G kuramı, birçok G katsayısı ile ilgilenir ve evrenin tanımlanmasının değişmesiyle katsayı değerlerinin de değişeceğini belirtir. Evren tanımı bireyin grubun içinde bulunduğu durumdan bağımsız ya da bireyin grubun içinde bulunduğu durum önem arz ederek ifade ediliyorsa farklı iki güvenirlik katsayısı hesaplanabilmektedir. Gruba bağlı yapılan ölçümler için genellenebilirlik katsayısı (G), gruptan bağımsız yapılan ölçümler için ise güvenirlik katsayısı (Phi) hesaplanmaktadır. Eğer bir araştırmacı bireyi değerlendirirken bireyin performansını grup içindeki başarısına göre değerlendiriyorsa genellenebilirlik katsayısını (G) göz önünde bulundurmalıdır.
Genellenebilirlik katsayısının uygun bir şekilde formüle edilebilmesi genelleme evrenine ve karar çalışmasının tasarlandığı şekle bağlıdır (Crocker ve Algina, 1986).
Genellenebilirlik katsayısı “Ep2” şeklinde gösterilir.
Ep2 = σ2(b) σ2(b) + σ2 (δ) σ2(b) : Evren Puanı Varyansı
σ2 (δ) : Bağıl Hata Varyansı
Eşitlik (10) incelendiğinde, payın evren puanı varyansına (𝜎2(b)) eşit, paydanın da σ2(b) ile σ2(δ) değerlerinin varyanslarının toplamına eşit olduğu görülmektedir.
Genellenebilirlik katsayısı 0 ile 1 arasında değer alır. Eğer G katsayısı düşük bulunursa madde veya puanlayıcı sayıları artırılmalıdır (Güler, Kaya Uyanık ve Taşdelen Teker, 2012).
Eğer araştırmacı bireyleri değerlendirirken mutlak bir ölçüte bağlı olarak değerlendirme yapıyorsa bireylerin performansı gruptan bağımsız olarak değerlendirilir ve güvenirlik katsayısını (Phi) kullanır. Güvenirlik katsayısı (Phi), genellenebilirlik katsayısına (G) göre daha katıdır ve hem ölçüm nesnelerinin sıralama düzenindeki tutarlılık derecesini hem de ham puanların yüksekliklerindeki tutarlılığını yansıtır. Phi katsayıları, elde edilen puanların gerçek değerleri araştırmacı için anlamlı olduğunda yararlıdır ve kabul edilen bir kesme değerinin olduğu performans ölçümlerinde (direksiyon testleri veya psikiyatrik tanılar için) anlamlıdır.
Güvenirlik katsayısı (Phi) aşağıdaki formül ile hesaplanabilir:
(10)
20 Φ = σ2(b)
σ2(b) + σ2 (Δ) σ2(b): Evren Puanı Varyansı
σ2(Δ): Mutlak Hata Varyansı
Eşitlik (11) incelendiğinde, payın evren puanı varyansına (σ2(b)) eşit, paydanın da σ2(b) ile σ2(Δ) değerlerinin varyanslarının toplamına eşit olduğu görülmektedir.
Araştırmada kullanılan madde ve puanlayıcı sayısının artması Phi katsayısının değerini de artıracaktır. Mutlak hata varyansı, bağıl hata varyansına göre daha çok varyans bileşeni içerdiğinden göreli hata varyansına göre büyük değerler alacaktır dolayısıyla Phi katsayısı G katsayısından her zaman daha küçük değere sahip olacaktır (Alharby, 2006).
Göreceli kararlar için G tahminlerine yalnızca kişilerin sıralama düzenini yansıtan varyans bileşenleri dahil edilirken, mutlak kararlar için G tahminlerine tüm varyans bileşenler (evren puanları hariç) dahil edilir (Musquash ve O’Connor, 2006).
G kuramında, hata varyanslarından biri de maddelerdir. Bir ölçekte, maddelerin açık uçlu maddeler olarak hazırlanması güvenirlik hesaplamalarında bir hata kaynağı dolayısıyla değişken olarak değerlendirilmelidir. Aynı zamanda açık uçlu maddelerin değerlendirilmesinde puanlayıcıların verdiği puanların ve bu puanlara dayanarak personel alımı sınavında bireyler hakkında verilen kararların güvenirliğini belirlemek gerekmektedir. Bu sebeple açık uçlu maddelerin güçlü ve sınırlı yönlerinin incelenmesi bu madde türleri üzerinde uygulanacak G kuramının anlaşılmasını kolaylaştıracaktır.
Açık Uçlu Maddeler
Açık uçlu maddeler cevap üretmeye dayalı sorulardır. Bireylere açık uçlu maddeler sorularak onların bilgilerini organize etme, sentezleme, değerlendirme ve birleştirme potansiyellerini ortaya çıkarmaları beklenir (Thorndike, 2005). Açık uçlu maddelerle bireylerin öğrendikleri bilgileri yeni durumlarda kullanarak yaratıcı fikirler geliştirmeleri beklenmektedir.
Açık uçlu hazırlanmış maddelerin diğer madde türlerine göre bazı üstün yönleri vardır. Popham (1990)’a göre açık uçlu maddeler üst düzey öğrenme ürünlerini ölçmek için kullanılan tartışmasız en iyi yaklaşımdır. Çünkü bu tip maddeler öğrencilerden düşünceleri orijinal bir şekilde bir araya getirmeleri ister. Öğrencilerin birbirlerinden (11)
21
farklı bu cevapları, seçmeli cevaplı ya da kısa cevaplı maddelerde elde edilemez. Açık uçlu maddelerden oluşan sınavlarda cevaplar öğrenci tarafından organize edilerek yazılması gerektiği için doğru cevabın tahmin edildiği sınavlara göre daha zordur. Açık uçlu maddeler öğrencilerin kompozisyon yazma yeteneğini geliştirmelerini sağladığı için çok yaygın kullanılır. Her açık uçlu maddede öğrenciler kompozisyon yazma yetenekleri ile ilgili pratik yapmış olurlar. Bu nedenle açık uçlu maddelerin yazma yeteneği üstünde olumlu etkileri vardır. Açık uçlu maddelerin diğer bir üstün yanı, oluşturulmalarının kolay ve az zaman alıcı olmasıdır. Çünkü açık uçlu maddelerin asıl zorluğu değerlendirme kısmındadır
Açık uçlu maddelerin ölçme aracı olarak birçok sınırlılığı vardır. Başarılı bir ölçme gerçekleştirebilmek için ölçme araçlarının güvenirlik, geçerlik ve kullanışlılık olmaz üzere üç önemli özelliği vardır ve ölçme araçları bu özellikleri bakımından sürekli karşılaştırılırlar (Hopkins, 1998). Açık uçlu maddelerin sınırlılıkları halo etkisi, sorudan soruya taşıma etkisi, testten teste taşıma etkisi, sıralama etkisi ve dil ve düzen etkisi kısımları altında sıralanmıştır (Popham, 1990).
Açık uçlu maddelerin sınırlılıklarından kaynaklı birçok hata varyansı vardır ve bu değişkenler güvenirliği etkilemektedir. Yukarıdaki hata kaynaklarının yanı sıra önemli bir hata kaynağı da puanlayıcılardır. Açık uçlu maddeler, puanlayıcılara subjektif puanlama yapmaya olanak sağladığı için birden fazla puanlayıcının olduğu durumlarda puanlayıcılar arası güvenirliğin belirlenmesinin gerekli olduğu pek çok ölçme durumu vardır. KTK’ de sadece tek bir hata kavramıyla ilgilenilebildiği için G kuramının puanlayıcı, birey, ölçme formu, maddeler gibi birçok hata varyansının aynı anda hesaplanabilmesine olanak vermesi açık uçlu soruların sınırlılıklarını gidermekte uygun bir yöntem olduğu belirtilmiştir. Bu amaçla personel alımı sınavında uygulanmış açık uçlu maddelerden oluşmuş ve maddelerin iki puanlayıcı tarafından değerlendirildiği bir ölçekte birey, puanlayıcı ve madde değişkenlik kaynaklarının hepsinin aynı anda G kuramı uygulanarak analiz edilip yorumlandığı çalışmaya gereksinim duyulmuştur.
Alanyazın incelendiğinde, G kuramına dayalı farklı desenlerin olduğu araştırmalar (Nalbantoğlu, 2009; Nalbantoğlu Yılmaz, 2012; Alkan, 2013; Doğan ve Anadol, (2016);
Taştan, 2017) bulunmaktadır. Nalbantoğlu (2009), araştırmasında çaprazlanmış ve yuvalanmış deseni karşılaştırarak G ve K çalışmalarını yorumlamıştır. Nalbantoğlu Yılmaz (2012), araştırmasında yuvalanmış tasarlanmış bir desenin dengelenmiş ve dengelenmemiş desenlere göre G çalışması sonuçlarını karşılaştırmıştır. Alkan (2013), araştırmasında açık uçlu maddelerden elde edilen veri üzerine iki farklı desen