Точные исправления модели могут провоцировать намеренные ошибки при нарушении права участника утверждать правки

Последовательность рассуждений, которая приводит к этой гипотезе. Каждый этап задаёт основание для следующего. Главный вопрос сужается до опорной цели, цель до пробела в знаниях, который пока остаётся открытым, а пробел до предложенной здесь гипотезы. Для каждого шага ниже указаны его основания и подтверждения.

Здесь две гипотезы дают противоречащие друг другу предсказания. Данных для выбора между ними пока недостаточно.

Требуют ли пересказы с участием людей и систем искусственного интеллекта новой гипотезы, или существующие гипотезы позволяют предсказать изменения смысла в новых условиях?

Полная формулировка гипотезы, предложенная движком.

ГИПОТЕЗА, ОСПАРИВАЮЩАЯ ПРИНЯТЫЕ ПРЕДСТАВЛЕНИЯ: сопротивление исправлениям, восстанавливающим смысл источника, связано с конкретной линией версий. При многократном взаимодействии человека с искусственным интеллектом (AI) успешная правка, которую человек внёс ранее, закрепляет за ним негласное право определять смысл этой линии версий. Когда модель вносит последующую правку в нарушение этого права, человек намеренно создаёт конкурирующую интерпретацию, даже если при индивидуальной проверке способен определить интерпретацию, соответствующую источнику. Цель создания следующей версии меняется под влиянием предшествующего опыта отмены его решений. Согласно гипотезе, причиной этого изменения служит именно такой опыт, а содержание текущего рассказа и ошибки памяти его не объясняют. В основе механизма лежит обязательство участника по отношению к конкретной линии версий. Это обязательство определяют по тому, какие правки участник принимает или отклоняет, когда эти решения имеют реальные последствия, и как он затем меняет текст; одних самоотчётов о причинах поведения для такого вывода недостаточно. Дополнительная зависимость задаётся как R(участник, линия версий, история использования права утверждать правки): P(следующее утверждение | текущий текст, весь предоставленный контекст, R) меняется при экспериментальном изменении R, когда текущий текст, объём предъявленного материала, точность модели, выполняемые двигательные действия и доступные сведения из источника сопоставимы. Гипотеза предсказывает парадоксальный причинный эффект: в условиях угрозы праву утверждать правки дополнительные точные исправления ухудшают результат. Это предположение о намеренном создании конкурирующего смысла. Оно не служит свидетельством того, что для описания цепочек взаимодействия человека с AI в целом требуется вводить дополнительную переменную состояния цепочки.

Все остальные гипотезы о том же пробеле в знаниях, предложенные системой, и наблюдения, позволяющие отличить каждую из них от этой гипотезы.

• Соперник 01 из 04

  Противоречивые правки могут ослаблять связанные воспоминания о сюжете даже после исправления текста
  Что позволит их различить

  Противоречивые правки могут ослаблять связанные воспоминания о сюжете даже после исправления текста предсказывает: Используйте вымышленные рассказы с сопоставимыми графами и причинными связями, достоверно известными по условиям эксперимента. Случайным образом распределите условия так, чтобы одинаковое число несовместимых промежуточных исправлений многократно затрагивало либо один связный участок графа, либо отдельные связи в разных, не связанных между собой участках графа. В контрольной точке восстановите один и тот же правильный полный текст, обеспечьте одинаковые условия итогового предъявления и уравняйте общее число противоречащих друг другу утверждений, время выполнения задачи и число токенов в ответе. Если к работе возвращается тот же человек, в условии с локализованными исправлениями ошибки в причинных ролях должны нарастать с ускорением и возникать на соседних участках графа, в соответствии с прогнозом, полученным по независимо оценённым a_t и амплитуде нагрузки от правок, при одинаковом тексте в контрольной точке. При замене участников новыми этот избыток ошибок должен исчезнуть; повторное выполнение жеста, сопровождавшего прежнюю работу участника с рассказом, без восстановления затронутых связей не должно его устранять. Оцените нагрузку и доступность связей у отдельной группы участников при калибровке, чтобы диагностическая проверка сама не превратилась в тренировку извлечения из памяти. Сравните предсказания этого закона с предсказаниями произвольно гибких моделей научения и интерференции на уровне отдельных элементов, одношаговых моделей H и A с учётом графа и модели реконструкции текста при повторном участии одного человека. Включите также контрольные условия, учитывающие позицию предъявления. Устойчивая степенная зависимость, подобранная для одного диапазона нагрузок и характеристик графа, должна предсказывать результаты в другом диапазоне без повторной подгонки показателя степени. Отвергните гипотезу утомления как отдельного механизма, если конечный текст, обычная интерференция и структура причинных связей объясняют наблюдаемые траектории; если рост ошибок не связан с повреждениями связного участка; либо если a_t лишь иначе описывает те же ошибки, по которым оценивают результат. Одного хорошего соответствия кривой данным недостаточно.

• Соперник 02 из 04

  Обычные преобразования могут объяснить цепочки пересказов без дополнительного рекурсивного состояния
  Что позволит их различить

  Обычные преобразования могут объяснить цепочки пересказов без дополнительного рекурсивного состояния предсказывает: Зафиксируйте нулевые модели и их неопределённость до знакомства с цепочками, предназначенными для проверки. В цепочках только с участием людей, только с участием моделей, а также в цепочках «человек, затем модель» (HA) и «модель, затем человек» (AH) показатели переходов между утверждениями, перестановок причинных ролей, утраты исключений и сохранения содержания источника при индивидуальной проверке должны на отложенных данных укладываться в предсказательный диапазон, рассчитанный с учётом распространения неопределённости. При этом любое предлагаемое расширение должно давать улучшение меньше минимальной содержательно значимой величины как по качеству вероятностного прогноза, измеренному с помощью собственных правил оценки, так и по заранее заданным показателям расхождения. Эффекты порядка допускаются. В контрольной точке с одинаковой текущей версией текста последующие различия должны объясняться контекстом и ресурсами, сопоставимыми между условиями, и независимо измеренным обычным обучением; дополнительные переменные состояния, описывающие право утверждать правки в определённой линии версий, локальное утомление, историю двигательных действий или совместные договорённости, не должны улучшать предсказания. Экспериментально изменяйте доступ к предшествующим версиям и проводите вмешательства, связанные с восстановлением самого источника, явно обеспечивая сопоставимость ресурсов: вероятностные ядра, учитывающие контекст, должны предсказывать изменения без повторной подгонки под каждую цепочку. Если на независимых начальных реализациях и в контекстах, полностью исключённых из подгонки, предсказания эквивалентны, откажитесь от утверждений о новизне и приоритете отдельного семейства рекурсивных механизмов, сохранив наблюдаемый феномен аттрактора. Эта гипотеза IH опровергается, если после надлежащего расширения набора переменных состояния и проверки абсолютного соответствия моделей данным воспроизводимое расхождение, характерное именно для данного вмешательства, превышает неопределённость и минимальную содержательно значимую величину расхождения; само это опровержение не устанавливает, какое расширение верно.

• Соперник 03 из 04

  Воспроизведение выученных жестов может сохранять причинные роли при пересказе с участием человека и модели
  Что позволит их различить

  Воспроизведение выученных жестов может сохранять причинные роли при пересказе с участием человека и модели предсказывает: На контрольном этапе, когда текущие тексты идентичны, перекрёстно варьируйте два фактора. Первым фактором служит разыгрывание ролей с помощью движений при запоминании; оно должно быть согласовано со смыслом текста. Вторым фактором служит пространственное воспроизведение этих движений человеком при последующем пересказе с сохранением или перестановкой выученных позиций. Включите контрольные условия без разыгрывания и с бессмысленными движениями той же амплитуды. Обеспечьте одинаковые задания на словесное порождение и одинаковую практику ответов на вопросы по источнику, сопоставимые интервалы и нагрузку, а также передачу пересказа новым участникам. Инструкции к жестам не должны раскрывать отсутствующие в тексте утверждения; произвольно назначайте пространственные позиции персонажам, уже представленным в материале, и сбалансируйте эти назначения между условиями. Эта гипотеза (IH) предсказывает взаимодействие условий запоминания и последующего воспроизведения движений: воспроизведение согласованных движений избирательно сохраняет ранее заданные роли персонажей в причинных связях, а перестановка выученных позиций увеличивает частоту случаев, когда в пересказе персонажи меняются этими ролями даже при одинаковом текущем тексте. Взаимодействие должно сохраняться после выравнивания обычной практики словесного порождения и извлечения из памяти и отсутствовать при использовании невыученного соответствия между движениями и ролями. Гипотеза утомления предсказывает локальное ухудшение, зависящее от числа циклов, и восстановление при передаче задания новому участнику, но не такое взаимодействие со сменой знака эффекта при изменении соответствия. Гипотезы права утверждать правки и контракта предсказывают эффекты соответствующих социальных манипуляций. Откалибруйте обычную модель специфичности мультимодального кодирования на нерекурсивных заданиях и в контрольных условиях повторного предъявления. Если она полностью предсказывает это взаимодействие в цепочке, двигательный механизм может оставаться полезным для объяснения результатов, однако от предложенного нового семейства рекурсивных механизмов следует отказаться. Если сопоставимые двигательные вмешательства не оказывают значимого воздействия на конкретные роли, хотя вмешательство оказало предусмотренное воздействие на память о действиях, отклоните эту предварительную гипотезу в пользу других моделей.

• Соперник 04 из 04

  Дальнейшая оценка текста в целом может поощрять стратегический пропуск деталей при пересказе
  Что позволит их различить

  Дальнейшая оценка текста в целом может поощрять стратегический пропуск деталей при пересказе предсказывает: Сопоставьте продолжение взаимодействия с тем же оценщиком и однократную передачу текста при двух способах проверки: общей оценке рассказа целиком и заранее заданной проверке отдельных утверждений. Насколько возможно, сохраняйте одинаковыми ожидаемое вознаграждение, текущий источник, доступ к свидетельствам, объём текста и время на его подготовку, формулировку задания и проверяемую стратегию; укажите оставшиеся различия в стимулах. Явно разграничьте точность описания и публичное одобрение. Гипотеза договорных отношений предсказывает, что при продолжающемся взаимодействии и общей проверке участники чаще будут опускать поддающиеся проверке исключения и указания на авторство или источник утверждений, а при проверке отдельных утверждений участники, напротив, будут чаще включать именно такие сведения. Ожидаемая выгода от возможного последующего переосмысления должна предсказывать, КАКИЕ именно детали будут опущены, даже если они важны для понимания причинных связей, легко вспоминаются и участник правильно отвечает на вопросы о них при индивидуальной проверке. Отмените будущую оценку или возложите ответственность на независимого редактора, сохранив права участника как автора текста в этом задании: стратегических пропусков должно стать меньше; одной передачи права распоряжаться правками должно быть недостаточно. Сравните результаты с предсказаниями независимо откалиброванных вероятностных ядер, описывающих стимулы при однократном взаимодействии, адаптацию текста к аудитории, избегание риска, самопрезентацию и подотчётность, используя эти ядра последовательно в каждом раунде взаимодействия. Данные поддерживают гипотезу о дополнительном состоянии только в том случае, если на данных, выделенных для проверки предсказаний, обнаружится совместный эффект продолжения взаимодействия и проверяемости, выходящий за пределы предсказаний этих компонентов. Если обычное редактирование с учётом условий задания полностью предсказывает наблюдаемые эффекты, откажитесь от утверждения о рекурсивном механизме или новом семействе механизмов. Если подтверждено, что участники понимают стимулы, но пропуски не проявляют избирательности, характерной для договорных отношений, это опровергает механизм в условиях задания.

Движку предложили указать, какие представления его гипотеза опровергнет и чем удивит специалиста. Здесь приведён его ответ.

Какие из приведённых выше чисел взяты из исследований, какие предложены движком и что нужно для опровержения гипотезы. Сама идея при этом аудите не оценивается.