Подсказка по цепочке рассуждений (Hk;vtg[tg hk eyhkcty jgvvr';yunw)

Подсказка по цепочке рассуждений — метод улучшения способности к рассуждению больших языковых моделей (БЯМ) путём подсказки им сгенерировать серию промежуточных шагов, которые приводят к окончательному ответу на многоэтапную проблему. Впервые он был предложен для языковых моделей исследователями Google в 2022 году.

Было показано, что БЯМ, которые обучаются на больших объёмах текста с использованием методов глубокого обучения, способны генерировать ответы, подобные человеческим. Хотя БЯМ продемонстрировали впечатляющую производительность при решении различных задач на естественном языке, они по-прежнему сталкиваются с трудностями при выполнении некоторых логических задач, требующих логического мышления и выполнения нескольких последовательных шагов для решения арифметических или логических задач. Чтобы решить эту проблему, подсказка по цепочке рассуждений побуждает модель делать промежуточные шаги в рассуждениях, прежде чем дать окончательный ответ на многоэтапную задачу.

Например, на вопрос «Вопрос: В столовой было 23 яблока. Если они использовали 20 яблок для готовки и купили ещё 6, то сколько бы яблок у них осталось?», подсказка по цепочке рассуждений может привести к последовательности рассуждений, которые имитируют ход мыслей, например: «A: Изначально в столовой было 23 яблока. Они использовали 20 блок для готовки. Таким образом, у них было 23 — 20 = 3. Они купили ещё 6 яблок, значит, у них 3 + 6 = 9. Ответ 9». Это отличается от вывода ответа напрямую.

Было показано, что подсказки по цепочке рассуждений в среднем улучшают производительность БЯМ как в арифметических задачах, так и в логических задачах по сравнению со стандартными методами подсказок. Применительно к PaLM, языковой модели с 540B параметров, подсказки по цепочке рассуждений значительно помогли модели, позволив ей работать наравне с тонко настроенными языковыми моделями для конкретных задач в нескольких задачах, даже установив новый рекорд в то время превысив результат теста на логические рассуждения специализированной для этой задачи математической модели GSM8K.

Подсказки по цепочке рассуждений — это эмерджентное свойство масштаба модели, означающее, что она лучше работает с более масштабными языковыми моделями. Также можно тонко настроить модели на наборах данных подсказок по цепочке рассуждений, чтобы ещё больше расширить эту возможность и стимулировать лучшую интерпретируемость результатов.

Метод

Существует два основных метода получения умозаключений по цепочке рассуждений: подсказка с несколькими выстрелами и подсказка с нулевым выстрелом. Первоначальное предложение подсказок по цепочке рассуждений продемонстрировало подсказку с несколькими выстрелами, в которой по крайней мере один пример вопроса в паре с надлежащими подсказками по цепочке рассуждений, написанными человеком, предшествует подсказке. Однако с тех пор было обнаружено, что аналогичные рассуждения и прирост производительности также можно получить с помощью подсказок с нулевым выстрелом, которые могут быть такими же простыми, как добавление к подсказке слов «Давайте подумаем шаг за шагом». Это обеспечивает лучшее масштабирование, поскольку больше не нужно предлагать инженерам конкретные подсказки по цепочке рассуждений для каждой задачи, чтобы получить соответствующий прирост производительности.

Ограничения

Хотя подсказки по цепочке рассуждений могут существенно улучшить производительность задач обработки естественного языка, существуют определённые недостатки. Подсказки по цепочке рассуждений с нулевым выстрелом увеличили вероятность токсичного результата в задачах, где модели могут делать выводы о маргинализированных группах или вредных темах.