Să presupunem perspectiva unui intervievat care răspunde la o întrebare despre un proiect trecut. Explicați cel mai provocator aspect al proiectului și modul în care ați depășit aceste provocări.
Am avut un proiect în fosta mea companie în care lucram la dezvoltarea unui nou model de învățare automată pentru detectarea spamului prin e-mail. Îmi puteți spune mai multe despre partea cea mai dificilă a proiectului și cum ați rezolvat-o?
Cel mai dificil aspect al proiectului a fost abordarea dezechilibrului din setul de date, unde au fost mult mai puține e-mailuri spam în comparație cu e-mailurile non-spam. Pentru a depăși această provocare, am încercat mai întâi să re-eșantionăm setul de date prin augmentarea clasei minoritare (e-mailuri spam) în mai multe moduri, cum ar fi sintetizarea noilor puncte de date și modificări minore ale punctelor de date existente. Am experimentat, de asemenea, diferite strategii de eșantionare, cum ar fi supraeșantionarea clasei minoritare și sub-eșantionarea clasei majoritare. În plus, am încercat să folosim diverși algoritmi de învățare automată care sunt mai robuști împotriva dezechilibrului de clasă, cum ar fi pădurile aleatoare și mașinile vectoriale de sprijin. Prin combinarea acestor tehnici și ajustarea modelului, am reușit să obținem o îmbunătățire substanțială în detectarea e-mailurilor spam.