
dayta ledhu

ganankalalo, tappipoyina dayta ledhaa tappipoyina viluvalu, pariseelanaloo chararaasiki dayta viluva nilva cheyabadanappudu sambhavistaayi. dayta tappipovadam anedi oka saadhaarana sanghatana mariyu dayta nundi teesukogala nirdhaaranalapai gananeeyamaina prabhavanni chooputundi.
pratispandana lekapovadam valla dayta kanipinchakapovacchuh okati ledhaa anthakante ekkuva amsaalaku ledhaa mottam unit ("vishayam") kosam etuvanti samacharam andinchabadadu. konni amsaalu itarulakanna pratispandana laenivigaa unde avakaasam ekkuvagaa untundih udaaharanaku aadaayam vanti private vishayaala gurinchi amsaalu. attrussion anedi rekhansha adhyayanaalalo sambhavinche oka rakamaina tappipovadam-udaaharanaku oka nirdishta vyavadhi tarvaata kolata punaraavrutamayye abhivruddhini adhyayanam cheyadam. pareeksha mugiselopu paalgonevaaru drop avt ayinappudu mariyu okati ledhaa anthakante ekkuva kolatalu lenappudu tappipovadam sambhavistundi.
aardhikasaastram, saamaajika shaastram mariyu raajakeeya shaastram parisoedhanalaloo dayta tarachugaa ledhu, endukante prabhutvaalu ledhaa private samsthalu klishtamaina ganaamkaalanu nivedinchakudadani ledhaa viphalamavvakudadani enchukuntaayi ledhaa samacharam andubaatulo lenanduna. konnisaarlu tappipoyina viluvalu parisoedhakudi valla sambhavistaayi-udaaharanaku, dayta sekarana sarigga cheyabadanappudu ledhaa dayta entriiloo porapaatlu chesinappudu.
eee rakaala tappipovadam vividha rakalanu teesukuntundi, parisoedhana nundi vacchina teermaanaala chellubaatupai vividha prabhaavaalatoh yaadrucchikamgaa puurtigaa tappipovadam, yaadrucchikamgaa tappipovadam mariyu yaadrucchikamgaa tappipovadam. tappipoyina daetaanu sensor chesina dayta maadirigaane nirvahinchavacchu.
rakalu.
migilina daetaanu sarigga nirvahinchadaaniki dayta enduku ledhu anae kaaranaalanu ardham chesukovadam mukhyam. viluvalu yaadrucchikamgaa puurtigaa kanipinchakapothe, dayta namuunaa ippatikee janaabhaaku praatinidhyam vahistundi. conny viluvalu kramapaddhatilo lekapothe, vislaeshanha pakshapaatamgaa undavacchu. udaaharanaku, ii. kyuu mariyu aadaayam madhya sambandhaanni adhyayanam chesetappudu, sagatu kante ekkuva ii. kyuu unnavaaru 'mea jeetam entha?' anae prasnanu daatavesthe.yaadrucchikamgaa tappipoyina eee vishayanni parigananaloki teesukoni vislaeshanhalu (maar namuunaa (krinda chudandi)) iqu mariyu jeetam madhya saanukuula anubandhaanni kanugonadamlo tappugaa viphalamavavachhu. eee samasyala kaaranamgaa, tappipoyina viluvalu sambhavinchadaanni tagginchadaaniki adhyayanalanu roopondinchamani methodologistlu parisoedhakulaku mamuluga salaha istaaru. tappipoyina dayta yantraamgaanni vivaramgaa vivarinchadaaniki graphical namuunaalanu upayoginchavacchu.
yaadrucchikamgaa puurtigaa kanipinchakundaa poyindi.
edainaa nirdishta dayta-vastuvu kanipinchakundaa povadaniki daariteese sanghatanalu gamaninchadagina chararaasulu mariyu gamaninchadagani aasaktigala paaraamitulu rendinti nundi swatantramgaa undi, puurtigaa yaadrucchikamgaa sambhaviste dayta setlooni viluvalu yaadrucchikamgaa (mcar) puurtigaa kanipinchavu. dayta mcar ayinappudu, detapai nirvahinchina vislaeshanha nishpaakshikamgaa untundi; ayithe, dayta arudugaa mcar avutundi.
mcar vishayamlo, dayta lekapovadam anedi yea studdy vaeriyabultoe sambandham leduh anduvalla, puurtigaa pariseelinchina dayta unna paalgonevaaru oka nirdishta jokyaniki ketaayinchina palgone vaarandari yaadruchchika namoonaga untaaru. mcar thoo, chikitsala yaadruchchika ketayimpu samrakshinchabadutundani bhaavinchabadutundi, conny idhi saadhaaranamgaa aacharanalo avaastavikamgaa balamaina ooha.
yaadrucchikamgaa tappipoyindi.
missing ett random (maar) anedi missing yaadrucchikamgaa lenappudu sambhavistundi, conny puurti samacharam unna chararaasula dwara missingnu puurtigaa lekkinchavacchu. maar anedi ganankaparamga dhruveekarinchadam asadhyam kabatti, manam daani gananeeyamaina sahetukatapai aadharapadali. oka udaaharana emitante, purushulu depression sarvenu puurti chese avakaasam takkuvagaa untundi, conny purushatvaanni lekkinchina tarvaata, vaari depression sthaayitho dheeniki sambandham ledhu. vislaeshanha paddhatini batti, kanaala aakasmika shoonyata kaaranamgaa vislaeshanhalaloo eee dayta ippatikee paramiti pakshapaataanni prerepinchagaladu (maga, chaalaa adhika maandyam sunna entreelanu kaligi undavacchu). ayithe, paraamitini puurti samaachaaramtho garishta sambhaavyatatoo anchanaa vesthe, maar lakshanarahitamgaa nishpakshika anchanaalanu andistundi. 
yaadrucchikamgaa miss avvaledu.
yaadrucchikamgaa (mnr) (naan-ignorable naan response anie kooda pilustaaru) tappipoyina dayta maar ledhaa emcar kaadu (i.ii. tappipoyina chararashi viluva adhi tappipoyina kaaranaaniki sambandhinchinadi). munupati udaaharananu vistarinchadaaniki, purushulu vaari maandyam sthaayi kaaranamgaa maandyam sarvenu poorinchadamlo viphalamaithe idhi jarugutundi.
janabha, chatta amalu mariyu aarogyam gurinchi tappipoyina mariyu/ledhaa vakreekarinchina dayta maanava hakkula ullanghana namuunaalaku elaa suuchikalu avtundo shamuelson mariyu spirer (1992) charchinchaaru. vaaru chaalaa baga namodu cheyabadina aneka udaaharanalu icchaaru.
tappipoyina detatho vyavaharinchae paddhatulu.
dayta lekapovadam namuunaa yokka praatinidhyaanni taggistundi mariyu anduvalla janabha gurinchi anumitulanu vakreekarinchavachhu. saadhaaranamgaa cheppalante, tappipoyina daetaanu nirvahinchadaaniki moodu pradhana vidhanalu unnaih (1) "imputation"-tappipoyina dayta sthaanamlo viluvalu nimpabadinappudu, (2) "minahaayimpu"-chellani dayta unna namuunaalanu tadupari vislaeshanha nundi vismarinchinappudu mariyu (3) "vislaeshanha"-tappipoyina viluvalache prabhaavitam kaani paddhatulanu neerugaa vartimpajeyadam dwara. roogi-kendrikruta phalitaala parisoedhana kosam tappipoyina dayta nivaarana mariyu nirvahananu uddesinchi oka kramabaddhamaina sameeksha tappipoyina dayta nivaarana mariyu nirvahanaku avasaramaina 10 pramaanaalanu gurtinchindi. veetilo adhyayana roopakalpana, adhyayana pravartana, vislaeshanha mariyu nivedikalaku pramaanaalu unnaayi.
konni aacharanaatmaka anuvartanaallo, prayogakulu tappipoyina sthaayini niyantrinchavacchu mariyu daetaanu sekarinche mundu tappipoyina viluvalanu nivaarinchavacchu. udaaharanaku, computer prasnaapatraalalo, prasnanu daataveyadam tarachugaa saadhyam kaadu. oka prasnaku samadhanam ivvali, lekapothe marokati konasaagadu. kabatti palgonevari kaaranamgaa tappipoyina viluvalu eee rakamaina prasnaapatram dwara tolaginchabadataayi, ayithe eee paddhatini parisoedhananu paryavekshinche naitika boardu anumatinchakapovachhu. survey parisoedhanaloo, namuunaalooni prati vyaktini sampradinchadaaniki aneka prayatnaalu cheyadam saadhaaranam, tarachugaa tama manasu marchukovadaniki paalgonakuudadani nirnayinchukunna vaarini oppinchadaaniki lekhalu pampadam. ayithe, atuvanti paddhatulu tappipoyina dayta yokka pratikuula anumaanaatmaka prabhavalanu tagginche vishayamlo sahaayapadavachhu ledhaa debbateestaayi, endukante praarambhamlo niraakarinchina ledhaa intlo laena tarvaata paalgonadaaniki oppinchataaniki siddhamgaa unna vyaktulu adanapu prayatnam tarvaata inca niraakarinche ledhaa cherukoleni vyaktula rakalaku gananeeyamgaa bhinnamgaa unde avakaasam undhi.
tappipoyina viluvalu sambhavinche paristhitulalo, tappipovadaaniki balamaina dayta vislaeshanha paddhatulanu upayoginchadaaniki pranaalika veyaalani parisoedhakudiki tarachugaa salaha istaaru. saanketikata yokka mukhya anchanaala yokka telikapati nundi mitamaina ullanghanalu takkuva ledhaa pakshapaatam ledhaa janabha gurinchi teesukunna teermaanaalalo vakreekarananu kaligistaayani manaku nammakam unnappudu vislaeshanha balamgaa untundi.
aaropana.
konni dayta vislaeshanha paddhatulu tappipovadaaniki balamainavi kaavu, mariyu tappipoyina daetaanu "poorinchadam" ledhaa anumaaninchadam avasaram. konni saarlu (5 ledhaa anthakante takkuva) kooda aaropanalanu punaraavrutam cheyadam anchanaa naanhyatanu vipareetamgaa meruguparustundani rubin (1987) vaadinchaaru. aneka aacharanaatmaka prayojanaala kosam, 2 ledhaa 3 anumanalu ekkuva sankhyalo aaropanalato sangrahinchagala saapeksha saamarthyaanni chaalaa varaku sangrahistaayi. ayithe, chaalaa takkuva sankhyalo aaropanalu ganaanka saktini gananeeyamgaa kolpovadaniki daariteestaayi, mariyu kontamandi panditulu ippudu 20 nundi 100 ledhaa anthakante ekkuva sifaarsu chestunnaru. edainaa gunakam-vidhinchina dayta vislaeshanha prati vidhinchina dayta setlaku punaraavrutam cheyali mariyu konni sandarbhaallo, sambandhita ganaamkaalanu saapekshamgaa sanklishtamaina reetilo kalapali. nirdishta vibhagalalo bahula aaropanalu nirvahinchabadavu, endukante vaati gurinchi sikshana ledhaa apohalu laevu. daetaanu anchanaa vaeyadaaniki jabita vaareegaa tolagimpu vanti paddhatulu upayoginchabaddaayi, ayithe idhi adanapu pakshapaataanni pravesapettinatlu kanugonabadindi. daetaanu elaa soochinchaalo dasala vaarii suuchanalanu andinche oka anubhavashoonyudu guide undhi.  
nireekshana-garishteekarana algorithm anedi oka vidhanam, dheenilo puurti dataset andubaatulo unte lekkinchabade ganaamkaala viluvalu anchanaa vaeyabadataayi (suuchimchabadataayi), tappipoyina dayta namuunaanu parigananaloki teesukuntaayi. eee vidhaanamlo, tappipoyina vyaktigata dayta-vastuvula viluvalu saadhaaranamgaa suuchimchabadavu.
interpolation.
sankhya vislaeshanha yokka ganita rangamlo, interpolation anedi telisina dayta paayintla vivikta samiti paridhiloo kotta dayta paayintlanu nirminche paddhati.
tappipoyina detatho rendu jatha chesina namuunaalanu polchinappudu, imputation avasaram lekunda andubaatulo unna mottam daetaanu upayoginche pareeksha ganaamkam paakshikamgaa ativyaapti chendutunna namuunaala tii-pareeksha. idhi saadhaaranam kinda chellutundi mariyu mcar anie bhaavistaaru
pakshika tolagimpu.
tappipoyina viluvalu laeni detasetku andubaatulo unna daetaanu tagginche paddhatulu
puurti vislaeshanha.
andubaatulo unna mottam samacharanni puurtigaa parigananaloki teesukune paddhatulu, avi vaastavaaniki gamaninchinatlugaa, suuchimchabadina viluvalanu upayoginchadam valla kalige vakreekarana lekunda
pakshika gurtimpu paddhatulanu kooda upayoginchavacchu.
namuunaa aadhaarita paddhatulu.
namuunaa aadhaarita paddhatulu, tarachugaa graphlanu upayoginchi, andistaayi
tappipoyina dayta rakalanu (mcar, mar, mnar) pareekshinchadaaniki mariyu tappipoyina dayta paristhitulalo paaraamitulanu anchanaa vaeyadaaniki adanapu sadhanalu. udaaharanaku, maar/emkaarnu tiraskarinchadaaniki oka pareeksha eee krindi vidhamgaa untundih
x, y", mariyu "z" anae moodu chararaasulaku, "z" puurtigaa gamaninchabadinappudu mariyu "x" mariyu "y" paakshikamgaa gamaninchabadinappudu, dayta santrupti chendali
suutram _ 1.
padaalaloo, "x" yokka gamaninchina bhaagam "y" yokka tappipoyina sthithipai swatantramgaa undaali, idhi "z" yokka prati viluvapai sharatulatho undaali.
eee sharatu neraverchadamlo vaiphalyam samasya mnr vargaaniki chendinadani suuchistumdi.
(vyakhyah
eee pareekshalu chara-aadhaarita maar kosam avasaram, idhi eevent-aadhaarita maar yokka swalpa vaividhyam.)
dayta mnr vargamloki vachinappudu, namoonaalo konni sharatulu unnappudu sthiramgaa anchanaa vese paaraamitula kosam paddhatulu andubaatulo untaayi.
udaaharanaku, "x" loe tappipovadaaniki kaaranaanni "y" vivaristhe mariyu "y" lone viluvalu lenatlayithe, "x" mariyu "y" yokka ummadi sambhaavyata pampineeni ippatikee anchanaa veyavachu.
y" yokka lopam yaadrucchikam.
eee sandarbhamlo anchanaa ilaa untundih
ikkada suutram _ 3 mariyu suutram _ 4 vaati sambandhita chararaasula gamaninchina bhaagaalanu suuchistaayi.
sthiramaina anchanaa sadhyamainappudalla vividha namuunaa nirmaanaalu ververu anchanaalanu mariyu ververu anchanaa vidhaanaalanu ivvavacchu. munupati anchanaa modatidi
puurti dayta nundi suutram _ 5 nuu anchanaa veyadam mariyu "x" sthithitho sambandham lekunda "y" gamaninchabadina sandarbhaala nundi anchanaa vesina suutram _ 6 thoo guninchadam. adanamgaa,
sthiramaina anchanaanu pondandi, modati padam suutram _ 8kii viruddhamgaa suutram _ 5gaa undatam chaalaa mukhyam.
aneka sandarbhaallo namuunaa aadhaarita paddhatulu namuunaa nirmaanaanni tiraskarana pareekshalaku lonayyenduku anumatistaayi.
paakshikamgaa gamaninchina chararashi "x" mariyu maroka chararashi "y" (i) yokka tappipoyina suuchika madhya swaatantryaanni soochinche edainaa namuunaa.ii. suutram _ 9), sharatulatho kuudinadi
suutram _ 10 paie eee krindi tiraskarana pareekshaku samarpinchavachuhu
suutram _ 11.
chivaraga, eee paddhatula nundi udbhavinche anchanaalu closed roopamlo udbhavistaayi mariyu veeti kosam expectation maximization vanti punaraavruta vidhanalu avasaram ledhu.
sthaanika optimaku guravutaayi.
tappipoye sambhaavyata samayampai aadharapadi unnappudu pratyeka taragati samasyalu kanipistaayi. udaaharanaku, trauma databaselalo trauma phalitam gurinchi daetaanu kolpoye sambhaavyata trauma tarvaata rojuna aadharapadi untundi. eee sandarbhaalalo vividha naan-stationary markov golusu namuunaalu vartinchabadataayi.