クレジットスコアリングアルゴリズムによる2つの民族／性別グループ間の予測結果の違いは、データ収集プロセスやアルゴリズム自体のバイアスとなるか？
私は、信用スコアリングの結果の違いは、データの問題とアルゴリズムのバイアスの両方であると主張する。まず、データセットのバイアスを検証してみよう。私はモデルそのものを、ある目的を達成するために出力を生成するブラックボックスと考える。クレジットスコアリングの場合、その目的はデフォルトリスク予測の精度、想起率、正確さである。訓練されていないバージョンのモデルは、外国人労働者、女性、若者を差別することはない。実際、人間のようにこれらの（社会的に構築された）ラベルを意識することはない。しかし、モデルが訓練されたデータセットは、社会的に構築されたバイアスに満ちている。例えば、社会規範は、女性は能力がない、外国人労働者は信用できない、若者は経験が浅いと決めつけ、これらのグループの失業率を高め、生活環境を悪化させる。その結果、ヒストリカル・デフォルトの可能性が高くなるのは、社会的ステレオタイプが生み出す悪循環よりも、人口動態に関連した能力の差に起因する可能性の方が低い。ステレオタイプによってデータセットに偏りが生じ、その結果アルゴリズムにも偏りが生じる。予測精度を最大化するという目標が与えられれば、モデルはデータセットの「パターン」を学習し、予測アルゴリズムの一部として社会的に構築された差異を吸収する。アルゴリズムを非難できるだろうか？- 結局のところ、モデルは「歴史」に制約され、歴史的に差別されたグループの可能性を想像する能力を持たない。本質的には、データ入力における歴史的なバイアスと表現上のバイアスに起因する「ガベージ・イン、ガベージ・アウト」のシナリオがあるのだ。

その一方で、結果の違いは依然としてアルゴリズムによるバイアスを構成していると私は主張する。私は、モデルが果たさなければならない目的と制約を、（そもそも私たち人間が設定したものであるにもかかわらず）まだ「責める」ことができると考えています。上に示したように、精度を評価指標とすると、過去のデータセットに基づいて構築された予測／予報アルゴリズム全体は、可能性を探したり社会規範を見極めたりすることなく、歴史を繰り返すことになる。精度を最大化するという目的は、バイアスそのものになるのだろうか？- 社会的に作り上げられた神話（弱い女性、無謀な若者、外国人嫌悪）によって生み出され、また再定義される悪循環を見分けることができれば、ある種の社会的ステレオタイプを積極的に学習し、伝播させるモデルは、確かにそのバイアスを指摘されるべきだろう！しかし、私たちはこれらの目標を最適化するためにモデルをハードワイヤーで縛り、測定基準に内在するバイアスに対処するために、私たち人間は目標を修正し、適切な制約を加える責任がある。例えば、プログラミングの課題では、特定の決定境界内の予測を拒否する緩和テクニックに遭遇します。積極的拒否のような手法の他に、恵まれないグループの成長を促進するといった制約を目的として加えることはできるでしょうか？このような制約がなければ、結果の違いも目的指定の部分におけるアルゴリズム的バイアスになると言えるでしょう。