Чи є різниця в результатах прогнозування між двома етнічними / гендерними групами з алгоритму рейтингу кредитів прихильністю до процесу збору даних або самого алгоритму?
Я стверджую, що відмінності в результатах кредитного рейтингу становлять як вихід даних, так і алгоритмічний ухил. Спочатку розглянемо парадокси в наборі даних. Я думаю про саму модель як про чорну скриньку, яка генерує результати для виконання певних цілей - у випадку кредитного оцінювання, метою є точність, відкликання та точність прогнозів ризику за замовчуванням. Модель у своєму нетренованому варіанті не дискримінує іноземних робітників, жінок або молодих людей: насправді вона не сприймає ці (соціально побудовані) етикетки так, як це роблять люди. Тим не менш, набір даних, на якому навчається модель, наповнений соціально конструйованими упередженнями. Наприклад, соціальні норми називають жінок некомпетентними, іноземних робітників недостовірними, а молодих людей – недосвідченими, що призводить до більш високого рівня безробіття та гірших умов життя для цих груп. Їх вища ймовірність історичного дефолту, як наслідок, рідше випливає з демографічних відмінностей у здібностях, ніж з порочних циклів, що генеруються соціальними стереотипами. Стереотипи роблять набори даних упередженими, що, у свою чергу, упереджує алгоритми: з огляду на мету максимізації точності прогнозування, модель вивчає «матриці» в наборі даних і поглинає соціально побудовані відмінності як частину свого алгоритму прогнозування. Чи можна звинувачувати алгоритм? – Зрештою, модель обмежена «історією» і не має уявних можливостей для потенціалу історично дискримінаційних груп. По суті, у нас є сценарій «сміття в, сміття вийде», викликаний історичними та представницькими упередженнями в входах даних.

З іншого боку, я стверджую, що відмінності в результатах все ще становлять алгоритмічний ухил. Я вважаю, що ми все ще можемо «винувати» модель в цілях і обмеженнях, які вона повинна виконати (хоча ми, люди, в першу чергу ставимо їх). Як ілюстровано вище, з точністю в якості оцінювальної метрики, весь алгоритм прогнозування / прогнозування, побудований на історичних наборах даних, має на меті повторити історію, не шукаючи потенційних або розпізнавальних соціальних норм. Чи є мета максимізації точності самим собою упередженням? – Якщо ми зможемо розпізнати порочне коло, яке створюється і омолоджується соціально сформованими міфами (слабкі жінки, безтурботна молодь і ксенофобія), модель, яка активно вивчає і поширює певні види суспільних стереотипів, безумовно, повинна бути викликана своїм упередженням! Однак, ми жорстко пристосовуємо моделі для оптимізації цих цілей, і для вирішення притаманних упереджень в метриках, ми, люди, відповідаємо за модифікацію цілей і додавання відповідних обмежень. Наприклад, в програмуванні ми стикаємося з технікою пом'якшення, яка відкидає прогнози в межах певної межі прийняття рішень. Крім таких методів, як активне відхилення, чи можемо ми додати обмеження, такі як сприяння зростанню недолікових груп як мету? Без цих обмежень я б сказав, що відмінності в результатах також становлять алгоритмічний ухил у частині об'єктивної специфікації.