Алгоритм Forward-Forward, предложенный Джеффри Хинтоном, - это процедура обучения для нейронных сетей, которая заменяет прямой и обратный проходы обратного распространения на два прямых прохода. В первом проходе вперед используются положительные (реальные) данные, а во втором - отрицательные. Каждый слой имеет свою собственную объективную функцию, которая заключается в том, чтобы иметь высокую добротность для положительных данных и низкую добротность для отрицательных данных. В качестве добротности может использоваться сумма квадратов активности в слое, но есть и другие возможности. Этот алгоритм несколько медленнее, чем обратное распространение, и не так хорошо обобщается на нескольких игрушечных задачах, исследованных в статье. Тем не менее, алгоритм "вперед-назад" может превосходить алгоритм обратного распространения как модель обучения в коре головного мозга и как способ использования аналогового оборудования с очень низким энергопотреблением без использования обучения с подкреплением.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence