Наследуемое исключение проверок может скрывать ошибки в понимании причинных связей, даже когда результаты проверок улучшаются
Преемники могут наследовать правила, побуждающие избегать решающих проверок исходного рецепта, и утрачивать знания о лежащих в его основе причинных связях, даже когда результаты привычных проверок улучшаются. Гипотезу о самостоятельном механизме следует отклонить, если известные модели обучения предсказывают различия между условиями эксперимента или замена либо сброс правила выбора проверок не оказывает самостоятельного влияния.
Omega Point 1.4
Стадия проверки
- Гипотеза опубликована2026-10-05
- Данных исследований недостаточно
- Прямая проверкаОжидается
Карта гипотезы
Наведите на значок или нажмите, чтобы увидеть название.
Тип пробела в знаниях
Карта мишеней
Все мишени опубликованных гипотез и действия, которые гипотеза может предложить для каждой из них. Мишени и действия этой гипотезы выделены сплошной заливкой.
Ритм или программа
Правило выбора вмешательств для проверки причинных связей
Правило определяет, какие контрфактические вмешательства выбирают для проверки.
Где действует гипотезаЛюди и системы искусственного интеллекта последовательно передают друг другу рецепты, опирающиеся на исходные сведения, и наследуемые правила исключения проверок.
Гипотез на этой мишени 1
Ингибирование
Активация
Сохранение функции
Восстановление обратной связи
Восстановление ритма
Прямое измерение
Что предлагается сделать
Вновь пробовать разные проверки и восстановить диагностический охват
ЧемВ записи не указан
Каким способомВ случайным образом выбранной группе заменить наследуемое правило исключения проверок правилом, по которому каждую проверку выбирают с равной вероятностью, или правилом, обеспечивающим диагностический охват за счёт включения проверок, позволяющих различить исходные варианты рецепта. Сохранить текущий текст рецепта и доступные факты об исходном рецепте неизменными.
Возможный результат
Ожидается, что диагностические проверки снова будут выбираться, а в дальнейшем восстановится и способность правильно выполнять задачи с учётом причинных связей, лежащих в основе исходного рецепта.
Цитата из записи гипотезыRestoring policy exploration without changing narrative facts should stabilize SPV_4 and independently measured practice function.
Все мишени лаборатории
Все мишени, прочитанные из опубликованных гипотез, собраны вокруг знака своего типа. Чем крупнее метка, тем больше гипотез действует на мишень. При наведении на метку из неё расходятся предложенные действия.
Залитые и подписанные метки показывают мишени этой гипотезы
Разобраться глубже
Ход рассуждений
Последовательность рассуждений, которая приводит к этой гипотезе. Каждый этап задаёт основание для следующего. Главный вопрос сужается до опорной цели, цель до пробела в знаниях, который пока остаётся открытым, а пробел до предложенной здесь гипотезы. Для каждого шага ниже указаны его основания и подтверждения.
Рецепт может сохраняться при многократном пересказе, тогда как привычка проверять условия, от которых действительно зависит результат, исчезает. Здесь предложено рассматривать, как сам порядок проверок передаётся от одного обучающегося участника к следующему: проверки, дающие успешный результат, могут приучать следующих участников исключать именно ту проверку, которая выявила бы ошибку. Эта гипотеза получена в ходе автоматизированной обработки и сама по себе не является наблюдаемым результатом передачи информации между людьми и системами искусственного интеллекта.
- Предшественник передаёт следующему участнику рецепт и правило, исключающее определённые проверки.
- Унаследованное правило снижает вероятность того, что следующий участник выберет проверку, позволяющую отличить исходный рецепт от другого, сходство с которым вводит в заблуждение.
- Повторяющийся успех в знакомых ситуациях воспринимается как свидетельство того, что рецепт проверен достаточно тщательно.
- Пропуская проверку, участники лишаются данных, необходимых, чтобы сохранить сведения об исходном условии, при котором рецепт работает.
- Последующие участники могут получать всё более высокие оценки на выбранных проверках и при этом чаще ошибаться в ситуациях, где пропущенное условие имеет значение.
- Согласно предсказанию, если заменить унаследованное правило исключения правилом, расширяющим круг выбираемых проверок, это должно вернуть доступ к полезным данным и предотвратить ухудшение последующих результатов при сохранении текста рецепта.
Повара передают друг другу рецепт и список проверок, в котором предписано пропускать проверку температуры духовки. Каждый повар может безупречно выполнить все пункты списка и при этом упустить условие, от которого зависит правильное приготовление блюда.
Границы применимости образа: Эта аналогия показывает, как можно пропустить важную проверку, но не объясняет, почему порядок проверок, дающих успешный результат, должен порождать правило исключения, почему следующие участники будут его сохранять и достаточно ли обычного обучения и подражания, чтобы объяснить все наблюдения. Ещё предстоит экспериментально различить эти гипотезы.
- Основной исследовательский вопросшаг 01 из 04
Культурная информация может распространяться, изменяться, конкурировать и сохраняться. Цель состоит в том, чтобы предложить новые гипотезы, которые можно опровергнуть эмпирическими данными. Работа должна определить приоритеты исследований, предложить конкурирующие гипотезы, первые эксперименты с посильными затратами и последующие исследования с более строгой проверкой. При этом популярность, точность копирования, смысл, принятие информации и её сохранение должны рассматриваться раздельно.
Основания: В представленной формулировке цели предметом исследования прямо названа культурная передача. Требуется предложить новые механизмы, сопоставить их с существующими представлениями и разработать эксперименты, позволяющие различить конкурирующие гипотезы.
Указано в цепочке рассуждений - Составляющая целишаг 02 из 04
Эксперименты должны установить причины изменений культурной информации. Для более сильных выводов необходима последовательность всё более строгих проверок.
Основания: В основном исследовательском вопросе прямо указано, что нужны экспериментальные воздействия и контрольные условия, позволяющие различить конкурирующие гипотезы. Первый эксперимент должен быть выполнимым, а перед формулировкой общего вывода необходима более строгая проверка.
Указано в цепочке рассуждений - Открытый исследовательский вопросшаг 03 из 04
Наличие нескольких версий одной и той же информации, каждую из которых можно проверить отдельно, может помогать сохранять её смысл при последовательной передаче между людьми и системами искусственного интеллекта. Согласно конкурирующей гипотезе, разные проверки могут опираться на одну и ту же ошибочную интерпретацию. В таком случае формулировки и непосредственные результаты выполнения задач могут улучшаться, хотя исходный смысл будет утрачиваться.
Основания: На предыдущем этапе сформулированы требования к выполнимым экспериментам и поэтапной проверке. Однако не приведены конкретные основания для того, чтобы исследовать повторные проверки или общие ошибки интерпретации как возможный механизм.
Логический скачокВ цепочке рассуждений не обоснован выбор конкретного открытого вопроса об информации, каждую версию которой можно проверить отдельно. Также отсутствуют данные, связывающие этот вопрос с общим требованием проводить эксперименты. В представленном материале этот переход остаётся необоснованным. Само по себе это не означает, что вопрос не стоит изучать.
- Гипотезашаг 04 из 04
Следующий участник может получить вместе с понятным рецептом правило, указывающее, каких проверок следует избегать. Привычные проверки по-прежнему дают успешный результат, а важное условие, специфичное для исходного рецепта, проверяют всё реже. Именно это условие позволяет отличить исходный рецепт от ошибочного варианта. Предполагается, что наследование такого правила исключения дополнительно способствует тому, что важное условие проверяют всё реже, даже при одинаковом наборе доступных фактов, одном и том же текущем рецепте, одинаковых вознаграждениях, допустимом числе проверок и возможностях обучения.
Основания: Исследовательский вопрос обозначает пробел в понимании того, как соотносятся успешное прохождение проверок и сохранение смысла. В описании рассматриваемой гипотезы предложен возможный механизм: наследование решений о том, что следует проверять. В качестве оснований указаны влияние инструкций на исследовательское поведение, обучение через вмешательства (намеренные изменения, позволяющие выяснить причины результата) и культурная передача способов проверки. Согласно предоставленному описанию работы Bonawitz и коллег в Cognition (2011), инструкции ограничивали исследовательское поведение детей. Эта работа не подтверждает многократную передачу правил исключения проверок между людьми и системами искусственного интеллекта. В предоставленном описании работы Steyvers и коллег в Cognitive Science (2003) представлены эксперименты по изучению причинных связей через наблюдения и вмешательства. В нём нет результатов, которые показывали бы, что наследуемые правила исключения приводят к тому, что участники всё хуже знают рецепт. В предоставленном описании работы Hong и Henrich в Human Nature (2021) представлена формальная модель культурной передачи способов получения знаний, учитывающая в том числе высокую степень уверенности в априорных убеждениях и неполное сообщение отрицательных результатов. Сама по себе формальная модель не подтверждает конкретную предполагаемую связь между исправлением рецепта и наследованием правил исключения проверок.
Указано в цепочке рассуждений
Что переносится и что остаётся за пределами. Предоставленный список источников, включённых в обзор литературы, пуст, поэтому ни одно из шести предложенных звеньев механизма в этой записи не подкреплено такими источниками. Три названные работы описаны как подтверждающие отдельные компоненты, связанные с предложенным механизмом; при этом не утверждается, что эти работы подтверждают сами звенья механизма в предложенных условиях. Ни предоставленные описания этих работ, ни сама цепочка рассуждений не подтверждают всю последовательность от успешных проверок через наследование правила исключения до ухудшения результатов в условиях, критически важных для исходного рецепта.
Скрытые допущения в рассуждении · 1
- Открытый исследовательский вопрос. В цепочке рассуждений не обоснован выбор конкретного открытого вопроса об информации, каждую версию которой можно проверить отдельно. Также отсутствуют данные, связывающие этот вопрос с общим требованием проводить эксперименты. В представленном материале этот переход остаётся необоснованным. Само по себе это не означает, что вопрос не стоит изучать. Обоснуйте недостающую связь, прежде чем опираться на этот шаг рассуждения.
Как результат может ввести в заблуждение · 3
- Более высокие результаты самостоятельно выбранных проверок можно ошибочно принять за более глубокое понимание, а худшие результаты могут означать лишь то, что получатели так и не поняли исходное различие. Получатели также могут лишь временно соблюдать правило из контрольного списка, не усваивая его как практику, которую передают дальше. Что закрывает пробел: Ещё до начала передачи необходимо убедиться, что после предусмотренного начального обучения получатели понимают различие между исходными рецептами. Также должно быть понятно, как интерпретировать каждый возможный результат проверки. Следует отдельно регистрировать частоту выбора проверки, выявляющей это различие, ошибки в понимании условия, специфичного для исходного рецепта, и результаты проверок, исключённых из обычной процедуры. Для более сильного утверждения о наследовании необходимо, чтобы практика сохранялась у следующего получателя после удаления контрольного списка. В исходном материале назван дополнительный показатель SPV_4, но его определение отсутствует. Там также упоминается общий протокол, полное содержание которого не приведено, поэтому нельзя делать предположения о способе расчёта этого показателя и недостающих деталях процедуры.
- Замена правила выбора проверок может помогать по нескольким причинам: новое правило позволяет получать новые полезные данные, его инструкции побуждают прикладывать больше усилий или название правила меняет интерпретацию рецепта. Смешение этих эффектов затруднит проверку гипотезы о том, что унаследованное правило действует именно через выбор получаемых данных. Что закрывает пробел: В основном сравнении должна сохраняться возможность менять выбор проверок, поскольку именно так, согласно гипотезе, возникает эффект. В отдельном сравнении группы должны получать одинаковые результаты последующих проверок при разных унаследованных правилах. При этом текст рецепта, доступные факты, вознаграждения, допустимое число проверок и возможности обучения должны быть одинаковыми. В предложенном исследовании для этого предусмотрена сопряжённая группа сравнения: группы получают одинаковую информацию о результатах проверок. Гипотеза предсказывает, что если извне зафиксировать охват проверки, выявляющей различие, специфический эффект наследования исчезнет в пределах допустимого отклонения, установленного до анализа результатов.
- Регистрируемую реакцию на унаследованное правило можно приписать новому механизму культурной передачи, даже если её уже предсказывают обычное подражание, выводы на основе того, что выбирает учитель, и активное обучение, при котором наблюдения выбирают для уменьшения неопределённости. Изменения формулировок, способа отслеживания идентичности или момента проведения проверок разных форматов также могут соответствовать другим приведённым конкурирующим гипотезам. В таком случае эти изменения могут ошибочно принять за свидетельство наследования правила исключения проверок. Что закрывает пробел: Выбранную модель известных механизмов обучения необходимо откалибровать: оценить её поведение по данным об отдельных обучающихся, не участвующих в основном сравнении, и зафиксировать предсказания до начала этого сравнения. Унаследованное правило должно объяснять эффекты, выходящие за пределы этих предсказаний. Во всех сравниваемых условиях должны фигурировать одни и те же лица или объекты. Необходимо сохранять неизменными рецепт, записи проверок и способ предъявления проверок, меняя только правило принятия решений. При этом следует различать само правило и неупорядоченную запись тех же ранее проведённых проверок. Необходимо заранее численно задать минимальные изменения в выборе проверки, выявляющей различие, и в последующих ошибках. Для сравнения при фиксированном охвате проверок необходимо также заранее задать допустимую величину остаточного эффекта. Если эффект не превышает эту величину, различие считается исчезнувшим. В представленном предложении для этих величин приведены символы, но численные значения отсутствуют.
Что могло бы это опровергнуть. Предложенная причинная цепочка будет опровергнута, если при проверенном понимании и одинаковых доступных фактах замена унаследованного правила исключения или обмен такими правилами не приведут к заранее заданным минимальным изменениям в выборе проверки, выявляющей различие, и в последующих ошибках, касающихся условия, специфичного для исходного рецепта. Если различие в ошибках сохранится при одинаковом охвате проверок, выявляющих различие, и одинаковых полученных данных, это будет противоречить предполагаемому механизму, в котором правило влияет на ошибки через выбор получаемых данных. Даже если указанные различия обнаружатся, от утверждения об отдельном семействе гипотез придётся отказаться, если модели подражания, обучения по инструкциям и активного обучения, откалиброванные по отдельным данным, полностью предскажут эти различия. Если эффект исчезнет после удаления показанного участникам контрольного списка, это будет свидетельствовать о том, что участники лишь временно следовали контрольному списку. Более сильное утверждение об усвоении переданного правила такой результат не подтвердит.
Что это изменило бы. Если модель, основанная на существующих представлениях об обучении, не сможет полностью объяснить предсказанную закономерность, при изучении культурной передачи потребуется учитывать наряду с копируемым содержанием и унаследованные решения о выборе проверок. Понятное описание и успешные проверки могут сочетаться с утратой сведений об условии, благодаря которому практика даёт результат. Тогда у исследователей, изучающих сохранение культурных смыслов, появится конкретное основание фиксировать, какие проверки рассматривают последующие участники, и экспериментально менять состав этих проверок. Предложенную последовательность при этом следует оценивать как возможное дополнение к существующим представлениям; считать её полностью новой теорией было бы преждевременно. Первый эксперимент с однократной передачей и заменой правила в безопасном онлайн-симуляторе рецептов всё ещё оставит неподтверждёнными устойчивое наследование, многократную передачу между человеком и искусственным интеллектом, а также применимость результатов к реальным повествованиям или культурным практикам.
Пробел, который объясняет гипотеза
Здесь две гипотезы дают противоречащие друг другу предсказания. Данных для выбора между ними пока недостаточно.
Помогают ли независимо проверяемые сведения сохранить смысл при пересказе людьми и компьютерами? Или общие ошибки интерпретации могут сохраняться, даже если сообщения копируются точнее, а текущая задача выполняется успешнее?
Исходная формулировка · в точности как её сформировал конвейер
Защищает ли избыточность, допускающая независимую проверку, смысл культурной информации при передаче между людьми и искусственным интеллектом (AI), или общий для участников способ восстановления смысла может препятствовать исправлению ошибок, даже когда точность воспроизведения внешней формы и результаты выполнения текущей задачи улучшаются?
Суть вопроса
Вопрос состоит в том, помогают ли дополнительные, независимо проверяемые сведения сохранять смысл культурного сообщения при его передаче между людьми и системами искусственного интеллекта. Сравниваются сообщения, сопровождаемые такими сведениями, и сопоставимые по остальным условиям сообщения без них. Проверяется, приводит ли исправление к восстановлению смысла конкретного исходного сообщения. Согласно конкурирующей гипотезе, люди и системы интерпретируют сообщение и сопровождающие его сведения на основе одних и тех же ошибочных предпосылок. В таком случае смысл может искажаться, даже если формулировки копируются точнее, а текущая задача выполняется успешнее. В сопроводительном описании пробела в знаниях предполагается, что уже существуют работы, посвящённые эталонным тестам кодирования, моделям культурной избыточности и изменениям, возникающим при попытке исправить сообщение. При этом надёжное сохранение смысла сообщений при их преобразованиях в ходе передачи с участием людей и искусственного интеллекта считается неподтверждённым. Предоставленные фрагменты не подтверждают такую характеристику литературы. Указанный критерий требует, чтобы величина улучшения превышала заранее установленный порог практически значимого эффекта, а само улучшение сохранялось при ранее не использовавшихся преобразованиях и повторных пересказах. Также требуется проверить точность оценок ошибок и утверждений о том, какие предшествующие сообщения послужили основой для последующих.
- Искусственный интеллект (AI); передача сообщений с участием людей и AI или людей и компьютеров
- Под искусственным интеллектом (AI) здесь понимаются компьютерные системы, которые создают или интерпретируют сообщения. При передаче с участием людей и AI сообщение передаётся по цепочке, в которой участвуют люди и такие системы. В предоставленном материале конкретная система и порядок передачи не указаны.
- Культурное сообщение и культурный смысл
- Культурное сообщение представляет собой информацию, которой люди делятся друг с другом, например рассказ или описание какой-либо практики. Его смысл включает утверждения, связи и следствия, которые оно передаёт в определённом контексте. Этот смысл может меняться даже тогда, когда часть слов остаётся прежней.
- Избыточность; независимо проверяемые сведения
- Избыточность означает наличие дополнительной информации, которая повторяет содержание сообщения или сужает круг его возможных интерпретаций. Независимая проверяемость означает, что эта информация позволяет проверить интерпретацию, причём проверка не сводится к повторению той же потенциально ошибочной интерпретации. Само по себе наличие нескольких совпадающих копий такой независимости не доказывает.
- Восстановление смысла на основе общих предпосылок
- «Семантический» означает «относящийся к смыслу», а реконструкция здесь означает формирование интерпретации на основе сообщения и знаний о его контексте. Общность такой реконструкции состоит в том, что разные получатели или участники разных этапов проверки опираются на одни и те же предпосылки при интерпретации сообщения. Поэтому их ошибки могут совпадать. Вопрос предлагает эту возможность как гипотезу; приведённые отрывки её не подтверждают.
- Исправление; восстановление смысла конкретного исходного сообщения
- Исправление означает изменение сообщения, в котором обнаружена предполагаемая ошибка. Восстановление смысла конкретного исходного сообщения предполагает возвращение именно к его смыслу. Создания правдоподобной или общепринятой замены для этого недостаточно.
- Точность сохранения внешних признаков; точность копирования
- Эти понятия относятся к сохранению наблюдаемых признаков сообщения, например формулировок или формата. Степень их сохранения может различаться, и сама по себе она не показывает, сохранился ли исходный смысл.
- Результативность выполнения текущей задачи
- Это успешность выполнения действия, которое оценивают на текущем этапе, ещё до учёта дальнейшей передачи сообщения. В исходных материалах не указаны ни само действие, ни правило его оценки, поэтому улучшение результата само по себе не позволяет судить о том, лучше ли сохраняется смысл.
- Устойчивость смысла
- Это надёжность сохранения смысла при изменениях сообщения или условий его интерпретации. Она может различаться в зависимости от типа изменений и длины цепочки передачи, поэтому её нельзя свести к единому свойству, которое либо присутствует, либо отсутствует.
- Преобразование; преобразования, выделенные для оценки
- Преобразование меняет сообщение, например при пересказе другими словами. Преобразования, выделенные для оценки, используют только при проверке подхода к исправлению сообщений и не используют при его разработке. В предоставленном материале конкретный набор таких преобразований не указан.
- Многократная передача
- Это последовательная передача сообщения от одного получателя к другому или переход сообщения от одной версии к следующей. Смысловая ошибка, сохранившаяся на одном этапе, может войти в материал, который получат на последующем этапе.
- Заранее установленный порог значимого улучшения; величина эффекта
- Величина эффекта показывает, насколько результат различается между сравниваемыми условиями. Заранее установленный порог значимого улучшения задаёт минимальное улучшение, которое считают существенным; этот порог фиксируют до оценки результатов. В предоставленном материале не указаны ни такой порог, ни наблюдаемая величина улучшения.
- Происхождение сообщения
- Происхождение сообщения описывает, какие более ранние сообщения участвовали в формировании его последующей версии. Речь идёт о пути передачи сообщения. Сходство формулировок и совпадение смысла представляют собой отдельные характеристики.
- Калибровка оценок ошибок и происхождения сообщений
- Калибровка проверяет, насколько заявленные оценки или степень уверенности соответствуют фактической частоте верных суждений. Здесь проверке подлежат суждения о смысловых ошибках и происхождении сообщений, однако предоставленный материал не содержит ни процедуры такой проверки, ни её результатов.
- Эталонные тесты кодирования
- В описании исследовательского пробела, посвящённого исправлению сообщений, так названы эталонные тесты для оценки способов представления, передачи или восстановления информации. Конкретный тест не указан. Предоставленные фрагменты не дают оснований приравнивать успешное прохождение такого теста к сохранению культурного смысла.
- Модели культурной избыточности
- Эти модели описывают гипотезы о том, как дополнительная или частично повторяющаяся информация влияет на передачу культурного материала. В предоставленном материале упоминается это направление исследований, однако конкретные модели и результаты, позволяющие судить о его охвате, отсутствуют.
- Мутация, вызванная исправлением
- Так называют изменение, внесённое при попытке исправить сообщение. Слово «мутация» здесь обозначает изменение информации; биологические генетические изменения к этому понятию не относятся. В описании исследовательского пробела упоминаются эксперименты такого рода, однако ни в одном из двух предоставленных фрагментов такой эксперимент не описан.
- Свидетельство; свидетельствование, опосредованное средствами коммуникации
- Свидетельство представляет собой рассказ человека о событиях или пережитом опыте. Свидетельствование, опосредованное средствами коммуникации, охватывает передачу таких рассказов и знакомство с ними через коммуникационные технологии. Именно в этом контексте рассматривается тема S3.
- Признаки, помогающие интерпретировать сообщение; обнаружение без распознавания
- Ориентиры для интерпретации представляют собой особенности рассказа или его контекста, которые помогают установить его смысл. В S3 обнаружение свидетельства отличается от его распознавания в подразумеваемом автором смысле. Однако в предоставленном отрывке не уточняется, в чём состоит это различие и как его измерять.
- Межвидовая коммуникация; статистические закономерности; этическое осмысление
- Межвидовая коммуникация представляет собой обмен сообщениями между организмами разных видов; именно этому посвящён S5. Статистические закономерности описывают повторяющиеся связи и соотношения в данных, а этическое осмысление предполагает рассмотрение того, как та или иная практика влияет на участвующих в ней существ. S5 предупреждает: технический прогресс без такого осмысления создаёт риск сведения сложных эмоциональных отношений к статистическим закономерностям.
Описание пробела исходит из того, что существуют контрольные тесты кодирования, модели избыточности, описывающие роль дополнительной или повторяющейся информации в культурных сообщениях, и эксперименты по изучению изменений, возникающих при исправлении сообщений. В описании также предполагается, что пока не установлено, сохраняется ли смысл сообщений, когда люди и системы искусственного интеллекта преобразуют их и передают дальше.
Описание исследовательского пробела опирается на предположение, что тесты кодирования сообщений, модели того, как дополнительная информация помогает сохранять культурные сообщения, и эксперименты, в которых само исправление меняет сообщение, уже создали основу для исследования. Также предполагается, что эти работы пока не установили, сохраняют ли люди и компьютерные системы смысл сообщений, когда изменяют и передают их дальше. Если это описание верно, нерешённый вопрос касается именно сохранения смысла и отличается от более общего вопроса о том, способны ли дополнительные проверки вообще помогать сохранять сообщение.
Предоставленный материал содержит только два фрагмента, описывающих общий контекст. В S3 обсуждается, как коммуникационные технологии меняют признаки, на которые опирается интерпретация свидетельств, а в S5 содержится предостережение о том, что технологии могут сводить сложные эмоциональные отношения к статистическим закономерностям. Ни один из этих фрагментов не подтверждает существование или результаты работ по трём названным направлениям. Они также не подтверждают, что в научной литературе в целом отсутствуют доказательства надёжного сохранения смысла при передаче сообщений с участием людей и систем искусственного интеллекта. Этого ограниченного набора источников недостаточно, чтобы подтвердить или опровергнуть представление о состоянии исследований, изложенное в описании пробела.S3S5
Тот же вопрос после исключения части, которую прочитанные материалы не подтверждают:
- Помогают ли дополнительные независимо проверяемые сведения людям и системам искусственного интеллекта сохранять смысл исходного сообщения при многократном пересказе, или общие ошибочные интерпретации могут препятствовать исправлению, даже когда точность копирования растёт, а текущую задачу удаётся выполнять всё успешнее?
- Как согласованность результатов проверок, которые проводят люди и системы искусственного интеллекта при передаче культурных сообщений, связана с сохранением исходного смысла?
- Независимые проверки помогают сохранять смысл Если дополнительные сведения по-прежнему можно интерпретировать независимо от общих предпосылок, изменение смысла может вызвать расхождение, которое удастся устранить при исправлении, обратившись к исходному источнику. Тогда в последующие пересказы будет переходить меньше смысловых ошибок. Такой результат свидетельствовал бы о том, что дополнительные сведения помогают сохранять сам смысл сообщения; одной узнаваемости формулировок для этого вывода недостаточно.
- Общие интерпретации делают исправление безуспешным Если одна и та же ошибочная интерпретация определяет и содержание сообщения, и способ проверки сопровождающих его сведений, содержание сообщения и результаты проверки могут казаться согласованными, хотя исходный смысл уже утрачен. При этом ошибка может передаваться дальше, даже если сообщения копируются точнее, а текущая задача выполняется успешнее. Поэтому таких кажущихся успехов недостаточно, чтобы считать смысл защищённым от искажения.
- Защита смысла зависит от характера изменений Если сообщение и способы его проверки опираются на одни и те же предпосылки, проверка может выявлять одни изменения и пропускать другие. Тогда сохранение смысла при одном виде пересказа даёт лишь ограниченные основания ожидать его сохранения при других изменениях или в более длинных цепочках передачи.
Слова в сообщении могут оставаться узнаваемыми, хотя выраженные в нём связи или подразумеваемые выводы меняются. Если независимо проверяемые сведения позволяют выявить такие изменения, исправление могло бы восстановить исходный смысл в последующих версиях и уменьшить количество ошибок, передающихся следующим получателям. Если же одна и та же ошибочная интерпретация определяет и пересказ, и проверку, видимое согласие между ними может способствовать дальнейшей передаче изменённого смысла. В таком случае считать точное копирование или повышение результативности выполнения текущей задачи доказательством сохранения смысла означало бы смешивать разные результаты. При этом предположение, что проверка всегда оказывается неудачной, оставило бы без внимания случаи, когда она действительно помогает сохранить смысл.
Уже существуют эталонные тесты кодирования, модели избыточности культурной информации и эксперименты, в которых исправление вызывает мутации; устойчивость смысла при преобразовании информации людьми и искусственным интеллектом (AI) пока не установлена.
При проверке на преобразованиях, выделенных в отдельный проверочный набор, и при многократной передаче эффективность исправления смысловых ошибок с опорой на конкретный исходный источник должна превышать заранее заданный практически значимый порог. Оценки ошибок и истории передачи информации от предшественников должны быть откалиброваны.
Попытайтесь опровергнуть предполагаемое преимущество исправления ошибок в культурной информации с помощью смысловых атак в сопоставимых условиях и историй передачи, в которых участники допускают одни и те же ошибки. В обоих случаях должны сохраняться внешние признаки успеха.
Предлагаемый механизм
Полная формулировка гипотезы, предложенная движком.
SCOUT 2. Активное выявление причинных связей и отбор проверок при обучении. Согласно этой гипотезе, успешная процедура исправления ошибок сама передаётся как правило, определяющее, какие контрфактические вмешательства стоит проверять. Вместе с рецептом, который по-прежнему можно прочитать и понять, преемник наследует правило выбора проверок, всё сильнее сужающее их круг. Повторные подтверждения результатов в знакомых случаях воспринимаются как свидетельство того, что проведённые проверки охватывают достаточно случаев. Поэтому всё чаще исключаются проверки, позволяющие отличить реакцию исходного рецепта на определённое вмешательство от реакции других вариантов, которые дают те же результаты в знакомых случаях. Последующие поколения могут показывать всё лучшие результаты в выбранных проверках, одновременно утрачивая способность правильно применять рецепт при вмешательстве, выявляющем эту причинную зависимость. Дополнительный причинный фактор здесь состоит в наследовании правила исключения проверок от предшественника. При этом доступные данные, текущий текст, корректность проверок, вознаграждение, общее число проверок и возможности обучения одинаковы в сравниваемых условиях. Этот фактор не сводится к сокращению ресурсов или усилению корреляции между ответами на фиксированные вопросы. Состояние описывается регистрируемым распределением вероятностей pi_g(a). Оно задаёт вероятность выбора каждого из возможных безопасных вмешательств a. Активное подавление выбора вмешательства, позволяющего различить варианты исходного рецепта, отражается в сниженной вероятности его выбора в этом распределении. Согласно гипотезе, возобновление выбора проверок, исключавшихся унаследованным правилом, при сохранении фактического содержания текста должно стабилизировать SPV_4 и независимо измеряемую способность применять рецепт на практике.
Источник идеи
Гипотеза опирается на результат из другой области. Здесь указаны сам результат и его источник.
ИСТОЧНИК ГИПОТЕЗЫ: планирование экспериментов в психологии развития и активное изучение причинных связей. Bonawitz et al. (2011), The double-edged sword of pedagogy: Instruction limits spontaneous exploration and discovery, Cognition 120:322-330, https://doi.org/10.1016/j.cognition.2010.10.001, показали, что после прямого обучения дети исследуют меньше возможностей. Steyvers, Tenenbaum, Wagenmakers and Blum (2003), Inferring causal networks from observations and interventions, Cognitive Science 27:453-489, https://doi.org/10.1207/s15516709cog2703_6, экспериментально исследовали обучение и выбор вмешательств. Ни одна из этих работ не подтверждает, что правило выбора проверок последовательно наследуется при передаче между человеком и искусственным интеллектом (AI). Формальная нулевая модель: pi_0(a|h) пропорциональна exp{beta*[IG(a|h)-c(a)]}, где h обозначает полностью зарегистрированную историю полученных данных, a обозначает возможное вмешательство в симуляторе, IG обозначает ожидаемый прирост информации об исходном причинном правиле, c обозначает экспериментально измеренные затраты на вмешательство, а beta обозначает чувствительность выбора к разнице между приростом информации и затратами. Предлагаемое расширение: pi_g(a|h,B_g) пропорциональна pi_0(a|h)*exp(lambda*B_g(a)), где g обозначает поколение, B_g(a) обозначает наследуемую и явно зарегистрированную числовую оценку, отражающую приоритет проверки a или её исключение согласно наследуемому правилу, а lambda обозначает причинное влияние этой оценки при одинаковых сведениях о предыдущих проверках и их результатах и при уравненных затратах. Изменение B при передаче следует оценивать по передачам, отложенным для проверки модели. Не следует заранее задавать уравнение, которое гарантирует сужение набора выбираемых проверок. Для обоснования новизны эффект, выраженный параметром lambda, должен превышать предсказания отдельно откалиброванных моделей социального обучения и выводов из действий обучающего, учитывающих соответствующие априорные ожидания. Более широкий контекст дают предшествующие исследования культуры: Hong and Henrich (2021), The Cultural Evolution of Epistemic Practices: The Case of Divination, Human Nature 32:622-651, https://doi.org/10.1007/s12110-021-09408-6, формально моделируют способы получения знания и пути их культурной эволюции, в том числе при сильных априорных убеждениях и неполном представлении отрицательных данных. Поэтому само по себе культурное наследование практик проверки уже изучалось. Предлагаемая гипотеза касается только наследования правила исключения проверок причинных связей при исправлении передаваемого рецепта с опорой на исходный источник. Эксперимент должен позволять выделить самостоятельный эффект наследования этого правила при одинаковых доступных данных и затратах и отделить его от эффектов известных механизмов обучения. Цитируемые работы не подтверждают именно эту связь.
Проверка и возможные результаты
Различающее предсказание
Эксперимент имеет смысл, если предсказание гипотезы отличается от предсказаний конкурирующих гипотез. Здесь указано наблюдение, по которому их можно различить.
В симуляторе упрощённых рецептов с конечным числом возможных случаев выберите варианты исходного рецепта, которые дают одинаковые результаты в знакомых условиях, но различаются по результату одного заранее заданного контрфактического вмешательства a*. До возникновения каких-либо потерь научите получателей понимать это различие и проверьте корректность всех возможных результатов проверок. Каждому поколению предоставьте одинаковое число необязательных проверок на выбор, один и тот же симулятор и один и тот же текущий рецепт. Случайным образом распределите участников по трём экспериментальным группам. Первой группе передайте явное правило исключения проверок от предшественника; второй группе предоставьте неупорядоченную запись ровно тех же предыдущих проверок и результатов при одинаковом объёме предъявляемой информации; в третьей группе замените наследуемое правило правилом, которое задаёт равномерный выбор проверок или обеспечивает диагностический охват. Все доступные факты об исходном рецепте и результаты предыдущих проверок должны совпадать; различаться должно только наследуемое правило принятия решений. Сначала измерьте вероятность выбора a*, затем ошибку в определении причинной зависимости, характерной для исходного рецепта, и успешность выполнения задачи при вмешательствах, отложенных для итоговой проверки. Согласно проверяемой гипотезе, наследуемое исключение проверок снижает pi_g(a*) на величину >delta_pi и повышает последующую ошибку на величину >delta_Y сверх эффектов, предсказанных моделью сравнения. Эта модель объединяет байесовское активное обучение, выводы из действий обучающего и подкрепление. Под выводами из действий обучающего здесь понимаются выводы на основании того, какие примеры или проверки он выбирает для обучения. Параметры модели откалиброваны по данным участников, обучавшихся по отдельности с теми же записями, и зафиксированы до сравнения. После случайным образом назначенного сброса правила участники должны вновь начать выбирать диагностическое вмешательство. Должна также восстановиться последующая успешность выполнения задач, требующих знаний о причинных связях, лежащих в основе исходного рецепта. Текст рецепта при этом должен оставаться неизменным. В отдельной группе с уравненными результатами проверок предъявите участникам одинаковые последующие результаты, чтобы показать, что правило влияет на успешность выполнения задач через то, какие проверки выбирают участники и какие данные вследствие этого получают, а не через общее повышение мотивации. После того как диагностический охват проверок будет задан извне и станет одинаковым во всех группах, остаточный эффект, специфичный для наследования правила, не должен превышать epsilon. Более убедительное подтверждение требует сохранения усвоенного правила исключения проверок у преемников; одного лишь соблюдения правила, пока перед ними находится контрольный список, недостаточно. Если стандартные механизмы социального подражания, выводов из действий обучающего (на основании выбранных им для обучения примеров или проверок) и активного обучения с учётом наблюдавшихся записей полностью предсказывают эти различия либо замена или сброс правила не даёт самостоятельного эффекта, отклоните гипотезу о самостоятельном семействе механизмов и сохраните уже установленные компоненты.
Измеримый результат указан; для сравнения гипотез нужны дополнительные условия. Предсказание описывает измеримые изменения в выборе диагностических тестов и указывает, как изменится последующая ошибка. Оно также предусматривает восстановление после возврата к исходной стратегии. Отдельно указаны условие эквивалентности при фиксированном охвате диагностики и явные условия опровержения. Предсказание конкурирующей гипотезы не приведено, поэтому оценить, позволяют ли эти предсказания различить гипотезы, невозможно. Ответ можно искать в статье, уже загруженной для этой гипотезы.
Что потребуется для проверки
Оценка движка: можно ли проверить гипотезу существующими методами.
Безопасный онлайн-симулятор смешивания или упорядочивания с конечным набором причинных правил позволяет точно определить результаты контрфактических вмешательств и показать все проверяемые причинные зависимости. Для первого эксперимента достаточно одной передачи между поколениями и рандомизированной замены правила выбора проверок; начинать с большой открытой платформы не следует. При оценке тех эффектов обозначений, которые не связаны с новой информацией, группы должны получать одинаковую информацию из реально проведённых проверок. При этом в основной экспериментальной группе различия в выборе проверок сохраняются как предполагаемое промежуточное звено причинного механизма. Переходить к более длинным цепочкам следует только тогда, когда по данным можно раздельно восстановить, как выбирается правило проверок и как сохраняется семантическая функция. Проверка этой предварительной гипотезы даёт больше возможностей выявить причинное влияние, чем оснований заявлять о её новизне. Известные механизмы обучения получателя посредством подбора примеров и проверок, а также активного обучения дают основания для серьёзных конкурирующих гипотез. Общий протокол, заданный в IH_Q_L3_M_G2_3_01, применяется полностью, включая калибровку ошибок, уравнивание ресурсов, контрольные условия с независимыми цепочками передачи, раздельную оценку результатов, восстановление модели с проверкой того, способен ли анализ распознать моделируемый механизм, и поэтапную проверку.
Другие объяснения
Все остальные гипотезы о том же пробеле в знаниях, предложенные системой, и наблюдения, позволяющие отличить каждую из них от этой гипотезы.
В симуляторе упрощённых рецептов с конечным числом состояний выберите варианты исходного рецепта, которые дают одинаковые результаты в привычных условиях, но разные результаты при одном заранее заданном контрфактическом вмешательстве a*. Прежде чем начнут утрачиваться знания о причинных связях, лежащих в основе исходного рецепта, научите получателей понимать это различие и проверьте достоверность всех возможных результатов проверок. Каждому поколению предоставьте одинаковое число проверок, которые участники могут выбирать сами, один и тот же симулятор и один и тот же текущий рецепт. Случайным образом распределите участников между тремя условиями: наследование явно заданного правила исключения проверок от предшественника; получение неупорядоченной записи ровно тех же предыдущих проверок и результатов при одинаковом объёме предъявляемых сведений; замена наследуемого правила правилом, которое задаёт равномерный выбор проверок или обеспечивает диагностический охват. Все доступные сведения об исходном рецепте и прошлые результаты должны быть одинаковыми; различаться должно только наследуемое правило принятия решений. Сначала измерьте вероятность выбора a*, затем ошибку при определении причинной зависимости, характерной для исходного рецепта, и успешность выполнения задачи при вмешательствах, отложенных для итоговой оценки. Проверяемая гипотеза предсказывает, что наследуемое правило исключения проверок снижает pi_g(a*) на величину >delta_pi и увеличивает последующую ошибку на величину >delta_Y по сравнению с предсказаниями модели, объединяющей байесовское активное обучение, выводы из действий обучающего и подкрепление. Эту модель следует откалибровать на участниках, которые обучаются по отдельности и получают те же записи, а затем зафиксировать её параметры. Сброс правила, назначаемый случайным образом, должен вернуть вероятность выбора a* и успешность последующего выполнения задач к прежним уровням. Эти задачи требуют знаний о причинных связях, лежащих в основе исходного рецепта. При этом текст текущего рецепта должен оставаться неизменным. В отдельном условии с уравненными результатами проверок предъявите участникам разных групп одинаковые последующие результаты. Это должно показать, что влияние правила на последующую успешность опосредовано выбором получаемых данных и что общее повышение мотивации этот эффект не объясняет. Когда диагностический охват проверок задаётся извне и одинаков для всех групп, специфический эффект наследования должен не превышать epsilon. Для более убедительного подтверждения необходимо, чтобы усвоенное правило исключения проверок сохранялось у преемников; одного соблюдения правила, пока перед участником находится список проверок, недостаточно. Если стандартная модель, объединяющая социальное подражание, выводы из действий обучающего и активное обучение с учётом доступных участникам записей, полностью предсказывает эти различия либо замена или сброс правила не имеет самостоятельного эффекта, перестаньте рассматривать эту гипотезу как самостоятельное семейство гипотез и продолжайте использовать установленные механизмы социального подражания, выводов из действий обучающего и активного обучения как компоненты модели.
- Соперник 01 из 03Что позволит их различить
Успешная проверка может привести к восприятию исключения в культурной практике как общего правила предсказывает: Используйте предварительно проверенный источник, в котором явно сформулированы общее правило и исключение. Предъявляйте одни и те же истинные проверочные утверждения при двух вариантах предшествующего опыта: получатели либо активно проверяют соответствие сигналов источнику, либо знакомятся с материалом без проверки смысла в условиях, сопоставимых по времени и ответам участников. Каждый вариант сочетайте с двумя условиями формирования одних и тех же сигналов: намеренный выбор автором или автоматическое применение правила. Независимо от этих условий случайным образом определяйте, кто из участников получит уведомление, отменяющее прагматический вывод: повторение не сообщает дополнительной информации о типичности. Проводите все последующие проверки одинаково и обеспечьте одинаковые условия доступа к источнику. Обозначьте через Y ошибку, при которой общее правило и исключение меняются местами, через V проверку, через R избыточность сведений о связях, через I восприятие выбора как намеренного, через C отмену прагматического вывода. Сильное предсказание состоит в том, что [P(Y|V=1,R=1,I=1)-P(Y|V=0,R=1,I=1)] за вычетом такой же разности при автоматическом применении правила превышает delta, а при C это превышение сокращается до величины в пределах epsilon. Это должно наблюдаться и на материалах, для которых при одношаговой проверке не выявлено нарушений буквального понимания или недостаточной валидности сигналов. Оценивайте эти различия между случайным образом сформированными группами, не отбирая участников по правильности ответов после воздействия. При проверке заранее заданного утверждения, выводимого из контекста общения, с опорой на источник эффект должен сохраняться; эффект, возникающий только при отсутствии доступа к источнику, служит более слабым свидетельством. Откалибруйте обычную прагматическую модель на отдельном наборе высказываний, не связанных с проверкой. Для калибровки также используйте сопоставимые контрольные условия, позволяющие учесть влияние подтверждения достоверности и внимания. Эта модель должна недооценивать различие, связанное с подтверждением достоверности, на данных, отложенных для проверки модели. Если участники по-прежнему считают, что автор выбирал сигналы намеренно, постоянные идентификационные метки, изменение частоты случайных переключений и обязательные дополнительные проверки причинных связей не должны избирательно устранять эту ошибочную перестановку общего правила и исключения. Если прагматическая модель уже предсказывает это различие или остаточный эффект проверки находится в пределах epsilon, не выделяйте эту гипотезу в самостоятельное семейство и сохраните обычную прагматическую реконструкцию.
- Что позволит их различить
Случайная смена формата проверки может ускорять принятие ошибочной интерпретации предсказывает: Откалибруйте два формата проверок с одинаковыми условиями истинности, но разными барьерами перехода между интерпретациями. Уравняйте всю доступную в подсказках информацию, продолжительность чтения и доступ к источнику. Сохраняйте одинаковое число форматов и одинаковую долю времени, в течение которого предъявляется каждый формат, но случайным образом задавайте частоту переключения nu в телеграфном процессе. Выравнивайте продолжительность испытаний с помощью содержательно нейтральных вставок и включите условия с предъявлением форматов блоками и с очень быстрым чередованием. Оцените параметры по отдельным испытаниям с фиксированным форматом и пробам перехода, затем предскажите полные распределения времени первого достижения для значений nu, не использованных при подгонке модели. Согласно заранее зарегистрированному критерию, среднее время T(nu) до первого окончательного принятия утверждения, противоречащего источнику, должно иметь минимум внутри исследуемого диапазона: T(nu_mid) < min[T(nu_slow),T(nu_fast)]-delta_T. Дополнительным признаком служит предсказанное смещение nu_mid при изменении независимо откалиброванного характерного времени развития интерпретации. Требуются приемлемые результаты при каждом формате по отдельности и независимо наблюдаемый эффект переключения на первом этапе. Одного графика точности в форме перевёрнутой U недостаточно. При независимой реконструкции смысла источника, выполняемой непублично, эффект частоты переключения должен сохраняться; отмена прагматических выводов и явное обозначение идентичности не должны его устранять. При одинаковых ресурсах подгоните модели стандартного последовательного прайминга, адаптации, ошибок с последовательной корреляцией и композиции ядер перехода, зависящих от состояния. Если одна из этих моделей предсказывает кривые времени первого достижения на отложенных данных и сдвиг при изменении характерного времени с погрешностью в пределах epsilon, стохастическая модель полезна как представление уже известных динамических процессов. В таком случае оснований выделять самостоятельное семейство механизмов культурной передачи нет. Если различия между барьерами создать не удалось, пересмотрите схему эксперимента. Если удалось создать различия между барьерами, но кривые оказываются монотонными или базовая модель правильно их предсказывает, отвергните дополнительный механизм резонансной активации.
- Соперник 03 из 03Что позволит их различить
Из-за проверки ошибочные соответствия между объектами могут сохраняться в последующих пересказах культурного содержания предсказывает: Используйте повествования с двумя одинаково запоминающимися действующими лицами, которые могут меняться ролями, и аналогичные задания с рецептами, в которых используются две визуально различимые ёмкости. Все сведения о том, кто или что обозначено в источнике, и все исходные факты остаются доступными. Покажите эквивалентные последовательности переписывания текста, в которых соответствие между обозначениями сохраняется либо нарушается, а затем предъявите одинаковые текущие версии текста для самой проверки. Независимо варьируйте ещё одно условие: идентификационные метки, лишённые смыслового содержания, либо остаются постоянными, либо при каждом переписывании переназначаются, сохраняя такую же заметность. В обеих группах доступна одна и та же явная таблица соответствий между обозначениями и объектами, поэтому метки не добавляют новых утверждений об источнике. Включите сопоставимые последовательности переписывания текста без проверки, чтобы оценить обычные ошибки связывания обозначений с объектами и ошибки внимания. Для ошибок, при которых роли полностью меняются местами с сохранением взаимно однозначного соответствия, проверяемая гипотеза предсказывает дополнительный эффект взаимодействия проверки и сохранности соответствий. Величина этого эффекта должна превышать delta. Для пропуска одноместного предиката или ошибок в применении общего правила и исключений аналогичный эффект должен быть мал, а постоянные метки должны избирательно устранять ошибки перестановки ролей. При оценке такого устранения ошибок отдельно обеспечьте одинаковые общие напоминания, равное дополнительное время на чтение и одинаковые условия повторного просмотра таблицы соответствий в сопоставляемых группах. Также одинаково повышайте заметность шрифта в сопоставляемых группах. Зафиксированное ошибочное соответствие с переставленными ролями должно улучшать предсказание конкретной ошибки в распределении ролей у следующего поколения по сравнению с предсказанием на основе формулировок источника и текущей версии текста, а также измеренной исходной ошибки связывания обозначений с объектами. Проверка соответствия обозначений объектам с опорой на источник должна помогать больше, чем дополнительная проверка предиката, дающая столько же информации. Если полностью откалиброванная модель, описывающая связывание обозначений с объектами за один шаг, при последовательном применении ко всем переписываниям предсказывает все эти ошибки, исключите отдельное семейство гипотез о закреплении ошибочного соответствия при проверке. Либо исключите это семейство, если сохранение соответствий между переписываниями не влияет на результат при фиксированных текущем соответствии и исходной ошибке. В обоих случаях опишите результат как обычные ошибки связывания обозначений с объектами. Первоначальный отрицательный результат без проверки действенности манипуляции метками на первом этапе не опровергает гипотезу.
Основания гипотезы
Какие из приведённых выше чисел взяты из исследований, какие предложены движком и что нужно для опровержения гипотезы. Сама идея при этом аудите не оценивается.
Найдено 1 из 5 процитированных исследований; для 0 из 0 числовых значений отсутствует соответствующее найденное исследование.
Условия опровержения гипотезы В 4 статьях, уже полученных для этой гипотезы, встречаются термины из её предсказания. Прежде чем запускать какие-либо проверки, следует прочитать эти статьи. Уже найдено: Transcriptome-based variant calling and aberrant mRNA discovery enhance diagnostic efficiency for neuromuscular diseases.; Automated conceptual earned value management.; The Immune Signatures data resource, a compendium of systems vaccinology datasets..
По теме гипотезы найдена 1 статья
- Automated conceptual earned value management.PMID 42618661 · full_text · Сохранено 87 457 символов
Извлечено 5 идентификаторов цитируемых работ; выполнено 10 поисковых запросов в Europe PMC; просмотрено 343 записи; для дополнения данных сохранён 1 источник, полный текст доступен для 1 источника. Если по ссылке не удалось найти публикацию, это означает сбой библиографического поиска и не доказывает, что такой статьи не существует. Эта проверка не препятствует дальнейшему рассмотрению ни одной гипотезы.