言語モデルが採用決定をどのように行うかについて、大規模な実証研究が実施されました。この研究では、27のモデルと177の職種にわたって、言語モデルが採用判断で人口統計学的情報をどの程度利用しているかを分析しました。結果は興味深いものです。言語モデルは、その他の条件が同じ場合、女性と黒人の候補者に対して男性と白人の候補者と比べて採用上の優位性を与える一方で、障害のある候補者には不利に作用していることが明らかになったのです。 この差は決して小さくなく、人種、性別、障害状態の役割は、追加の教育を6ヶ月から1年受けることと同程度の大きさであると指摘されています。特に注目すべきは、ポストトレーニング整合化（alignment）の影響です。事前学習モデルと比較すると、整合化処理により女性と黒人の候補者に対する優位性が325％と330％増幅される一方で、障害のある候補者に対する不利は171％増幅されているのです。 過去の人間による対応研究と比較すると、言語モデルは人種差別の方向を逆転させ、障害者への不利を軽減しながらも、女性への優位性を190％増幅しています。整合化は、モデルが資格信号をどのように利用するかを変化させることで、全体的にスキルと職務経歴への報酬を増加させていますが、女性と黒人の候補者に対してより大きく作用しています。一方、資格信号の欠如は社会的に周辺化されたグループに、特に障害のある候補者により大きな害をもたらす傾向があり、この非対称的な整合化効果の説明となる可能性があります。