Purpose: Several studies can be found in the literature that investigate the performance of ω under various conditions. However no study for the effects of item difficulty, item discrimination, and ability restrictions on the performance of ω could be found. The current study aims to investigate the performance of ω for the conditions given below. Research Methods: b parameter range was restricted in two levels (-2.50 – 0.00, 0.01 – 2.50); a parameter range, in two levels (0.10 – 0.80 and 0.81 – 1.50). After crossing a and b parameter ranges, four different item parameter cells were obtained. 10,000 examinee responses were generated for each item parameter cell for 20 items. After combining four data sets, an 80-itemdataset was obtained. In order to obtain the effects of source’s and copier’s ability levels to the performance of ω, ability range was divided into four intervals (-3.00 – -1.50, -1.50 – 0.00, 0.00 – 1.50 and 1.50 – 3.00). By crossing the ability ranges of source and copier, sixteen different combinations were obtained. Each of the sixteen ability pairs of source and copier cheating was investigated for item parameter crossing cells for power study of ω. For Type I error study, no cheating data were investigated for the same conditions and levels. Findings: Type I error inflations were observed for the lower copier ability levels. The results of the power study indicate that when high ability level copier copied answers of the low difficulty level and high discriminative items from high ability level source, power of ω was weakened. Implications for Research and Practice: The study suggests that researchers must pay attention to copiers - source ability level and copied items' difficulty levels while using ω index for detecting answer copying.
Problem Durumu: Çoktan seçmeli maddeler sağlamış olduğu birtakım avantajlardan dolayı geniş ölçekli sınavlarda sıkça kullanılmaktadır. Bütün sınavlarda olduğu gibi çoktan seçmeli maddelerden oluşan testlerin de geçerlik ve güvenirliği bireyler hakkında karar vermede oldukça önemli bir role sahiptir. Sınav süreçlerinde bireylerin çeşitli şekillerde kopya çekme davranışı gösterme eğiliminde olduğu bilinmektedir. 21. yüzyılda teknoloji giderek ivmelenen bir şekilde gelişim göstermiştir. Teknolojide meydana gelen bu gelişmelerin bireylerin yaratıcılığı ile birleşmesi ve bireyler arasındaki rekabetin artması sonucu çok çeşitli kopya çekme türleri ortaya çıkmıştır. Testin uygulanması öncesinde, test uygulaması sürecinde ve sonrasında oluşabilecek hile karıştırma girişimlerini engellemek ağırlıklı olarak test güvenliğini ilgilendiren süreçlerdir. İstenmeyen bir durum oluşmaması adına test güvenliği üzerinde hassasiyetle durulmalıdır. Eğer gerekli hassasiyet gösterilmezse, doğacak sonuçların maliyeti ağır olabilmektedir. Bu hassasiyete rağmen bir kopya durumu oluştuğu takdirde, kopyayı tespit edebilmek için alternatif yol arayışlarına girilmiştir ve birçok kopya belirleme yöntemi geliştirilmiştir. Bu yöntemlerin en çok itibar edilenleri istatistiksel yöntemlerdir. İstatistiksel yöntemlerin performansına yönelik yapılan araştırmalarda ise madde tepki kuramına dayalı olan ω indeksinin kopya belirlemede öne çıktığı görülmüştür. Alanyazında ω indeksinin hangi koşullar altında çalıştığını incelemek üzere çeşitli araştırmalar bulunmaktadır. Aynı zamanda I. Tip hata oranı ve gücü bu koşullar altında diğer indekslerle karşılaştırılmıştır. Bunlardan çoğu çeşitli örneklem büyüklüğü, test maddesi ve kopya oranı ile bireylerin yetenek düzeyleri çaprazlanarak ω indeksinin performansı ortaya konmaya çalışılmıştır.
Araştırmanın Amacı: Bu çalışmanın amacı alanyazında henüz ortaya konmayan ω indeksinin madde güçlük, madde ayırt edicilik ve yetenek sınırlandırmaları altındaki performansını incelemektir.
Onder SUNBUL - Seha YORMAZ/ Eurasian Journal of Educational Research 74 (2018) 207-226 225
Araştırmanın Yöntemi: Çalışmada beş seçenekli çoktan seçmeli 80 maddeden oluşan veri seti GEN3PL_Raw DATA_V2 yardımıyla elde edilmiştir. Veri standart normal yetenek dağılımına N(0~1) sahip 10000 birey için üretilmiştir. Ölçekleme sabiti olan D ise 1.00 olarak alınmıştır. a ve b madde parametreleri iki kategoriye ayrılarak incelenmiştir. a parametresinde düşük ayırt edici maddeler için (0.10 – 0.80) aralıkları, yüksek ayırt edici maddeler için (0.81 – 1.50) aralıkları ele alınmıştır. b parametresinde kolay maddeler için (-2.50 – 0.00) aralıkları, zor maddeler için (0.01 – 2.50) aralıkları ele alınmıştır. Parametre aralıkları çaprazlanarak dört hücreli tablo elde edilmiş ve böylece dört farklı madde grubu ortaya çıkmıştır. Her bir madde grubu için 20 maddelik veri üreterek toplamda 4x20=80 maddelik veri seti elde edilmiştir. 1. Madde Grubu kolay ve düşük ayırt edici maddelerden, 2. Madde Grubu zor ve düşük ayırt edici maddelerden, 3. Madde Grubu kolay ve yüksek ayırt edici maddelerden ve 4. Madde Grubu zor ve yüksek ayırt edici maddelerden oluşmaktadır.
Kaynak ve kopyacı bireyin yeteneğinin, ω indeksinin performansı üzerine etkisini incelemek için (-3.00 – -1.50, -1.50 – 0.00, 0.00 – 1.50, 1.50 – 3.00) olmak üzere dört kategoriye ayrılmıştır. Kopyacı ve kaynak çifti için yapılan çaprazlamalar sonucu oluşan 16 hücre için kopya durumu oluşturup her bir veri için indeksin gücü incelenmiştir. I. Tip hata için ise kopya durumu oluşturulmadan inceleme yapılmıştır. İşlemler için 100 replikasyon yapılmıştır. Her replikasyondan elde edilen sonuçlar kullanılarak belirlenen α düzeylerine (0.001, 0.01 ve 0.05) göre indeksin I. Tip hata oranları ve kopya belirleme güçleri hesaplanmıştır. I. Tip hata çalışmasında 16 farklı koşulla 100 replikasyon sonucunda 16x1000= 16000 kopya çekmeyen birey çifti için ω indeksine ait çıktılar elde edilmiştir. Güç çalışmasında ise sabit kopya oranı (%25) ile 2x2x16x1x100=6400 birey çifti için çıktılar elde edilmiştir. Madde parametrelerinin üretimi, ω indeksinin hesaplanması ve veri ve çıktıların elde edilmesinde R programlama dili kullanılmıştır.
Araştırmanın Bulguları: I. Tip hata çalışmasında elde edilen bulgulara göre ω indeksinin I. Tip hata oranı ilgili alfa düzeyine genellikle yakın ya da altında değerler almıştır. Bu değerler 0.11 ile 0.00 arasında değişmektedir. I. Tip hata oranının 0.11 olduğu durumlar, -1.50 – 0.00 yetenek aralığında yer alan kopyacının 0.00 altındaki yetenek düzeyine sahip kaynaktan çektiği kopya durumlarında gözlenmiştir.
Güç çalışması sonucunda kolay ve düşük ayırt edici maddelerden oluşan 1. madde grubundan elde edilen bulgulara göre indeksin gücü 1.00 ve 0.14 arasında değişmektedir. Alfa düzeyi 0.05’ten 0.001’e düştükçe güçte azalma eğiliminin olduğu görülmektedir. Düşük yetenek düzeyine sahip kaynağın yer aldığı kopya durumlarında güç bir miktar artmakta ve en yüksek gücün kaynağın yetenek düzeyinin 3.00 ve -1.50 aralığında olduğu durumlarda gözlenmiştir. 0.05 ve 0.01 alfa düzeyinde kopyacının yetenek düzeyinin düştüğü durumlarda güçte artışın olduğu görülmektedir.
Madde grubu 2’de ise düşük ayırt edici maddeler olmasına rağmen tüm kopyacı ve kaynağın yetenek düzeylerinin çaprazlanmasında ω indeksinin gücünün 1.00’e yakın olduğu ortaya çıkmıştır.
226 Onder SUNBUL - Seha YORMAZ/ Eurasian Journal of Educational Research 74 (2018) 207-226
Kolay ve yüksek ayırt edici maddelerin yer aldığı madde grubunda ise indeksin gücünün genelde oldukça düşük olduğu görülmüştür. Kaynağın yetenek düzeyinin arttığı ve kopyacının yetenek düzeyinin azaldığı kopya durumlarında gücün artma eğiliminde olduğu ve kopyacı ve kaynak çiftinin yetenek düzeyi -3.00 ile 1.50 aralığında iken gücün bu grupta en yüksek değerler aldığı ortaya çıkmıştır. Diğer koşullarda ise sadece 0.05 alfa düzeyinde -3.00 ve -1.50 yetenek düzeyi aralığı haricinde tüm alfa düzeyinde ve tüm koşullarda ω indeksinin performansının düşük olduğu görülmüştür.
Zor ve yüksek ayırt edici maddelerin kopya çekildiği durumlarda ise ω indeksinin gücü 0.56 ile 1.00 arasında değişmektedir. Birey çiftlerinin yetenek düzeylerine ait kombinasyonların tümünde çoğunlukla gücün 1.00’e yakın olduğu ortaya çıkmıştır.
Araştırmanın Sonuçları ve Önerileri: ω indeksinin I. Tip hata oranı bazı durumlar haricinde tüm koşullar ve tüm alfa düzeylerinde birbirine yakın ve düşük değerler almıştır. Ancak özellikle kopyacının yetenek düzeyinin düşük olduğu durumlarda I. Tip hata oranında fazla artışın olduğu görülmektedir. Araştırmacılar düşük yetenek düzeyine sahip kaynağın yer aldığı kopya durumlarında ω indeksini kullanırken dikkatli olmalıdırlar. Güç çalışması sonucunda ise madde güçlüğünün indeksin gücünü oldukça etkilediği görülmektedir. Kolay maddelerde çekilen kopyayı belirlemede indeksin gücünde anlamlı bir azalmanın olduğu ortaya konmuştur. Kolay maddeden kopyanın çekildiği durumlarda en iyi sonuçlar kopyacı ve kaynağın yetenek düzeyinin -3.50 ile -1.50 aralığında olduğunda ortaya çıkmıştır. Madde ayırt ediciliğin ise güçlük kadar indeksin gücünde etkili olmadığı ortaya çıkmıştır. Ancak ω indeksi, ayırt edici ve zor maddelerden çekilen kopyayı belirlemede en güçlü, ayırt edici ve kolay maddelerden çekilen kopyayı belirlemede ise en zayıf olduğu görülmüştür.
|Primary Language||en|
|Journal Section||Articles|
|Authors|
|Dates||


Publication Date : March 20, 2018
|Bibtex||


|APA||Sunbul, O , Yormaz, S . (2018). Investigating the Performance of Omega Index According to Item Parameters and Ability Levels . Eurasian Journal of Educational Research , 18 (74) , 207-225 . Retrieved from https://dergipark.org.tr/en/pub/ejer/issue/42528/512478|
|MLA||Sunbul, O , Yormaz, S . "Investigating the Performance of Omega Index According to Item Parameters and Ability Levels" . Eurasian Journal of Educational Research 18 (2018 ): 207-225 <https://dergipark.org.tr/en/pub/ejer/issue/42528/512478>|
|Chicago||Sunbul, O , Yormaz, S . "Investigating the Performance of Omega Index According to Item Parameters and Ability Levels". Eurasian Journal of Educational Research 18 (2018 ): 207-225|
|RIS||TY - JOUR T1 - Investigating the Performance of Omega Index According to Item Parameters and Ability Levels AU - Onder Sunbul , Seha Yormaz Y1 - 2018 PY - 2018 N1 - DO - T2 - Eurasian Journal of Educational Research JF - Journal JO - JOR SP - 207 EP - 225 VL - 18 IS - 74 SN - 1302-597X-2528-8911 M3 - UR - Y2 - 2021 ER -|
|EndNote||%0 Eurasian Journal of Educational Research Investigating the Performance of Omega Index According to Item Parameters and Ability Levels %A Onder Sunbul , Seha Yormaz %T Investigating the Performance of Omega Index According to Item Parameters and Ability Levels %D 2018 %J Eurasian Journal of Educational Research %P 1302-597X-2528-8911 %V 18 %N 74 %R %U|
|ISNAD||Sunbul, Onder , Yormaz, Seha . "Investigating the Performance of Omega Index According to Item Parameters and Ability Levels". Eurasian Journal of Educational Research 18 / 74 (March 2018): 207-225 .|
|AMA||Sunbul O , Yormaz S . Investigating the Performance of Omega Index According to Item Parameters and Ability Levels. Eurasian Journal of Educational Research. 2018; 18(74): 207-225.|
|Vancouver||Sunbul O , Yormaz S . Investigating the Performance of Omega Index According to Item Parameters and Ability Levels. Eurasian Journal of Educational Research. 2018; 18(74): 207-225.|
|IEEE||O. Sunbul and S. Yormaz , "Investigating the Performance of Omega Index According to Item Parameters and Ability Levels", Eurasian Journal of Educational Research, vol. 18, no. 74, pp. 207-225, Mar. 2018|