Наука полна предвзятости
#metascience
Научное знание претендует на объективность, но наука как социальный конструкт полна искажений, в частности, в сфере публикаций. В этом посте содержится перечень научных предвзятостей, о которых следует себе напоминать каждый раз, когда наука покажется слишком очаровательной.
1. Publication bias (публикационная предвзятость). Результат исследования влияет на вероятность того, что его опубликуют. Например, эксперименты с положительными результатами публикуются чаще, и этот перевес не позволяет адекватно оценить весь набор приобретённых экспериментальным путём знаний с отрицательными результатами в том числе.
2. Citation bias (предвзятость цитирования). Исследования с положительным результатом могут цитироваться чаще, чем исследования с отрицательным результатом. Также автор научной статьи может проявлять склонность цитировать работы авторов из близкой ему среды (из одной лаборатории), прежние работы собственного авторства или работы из более предпочитаемых журналов.
3. Spin bias (спин-предвзятость). Количественные результаты исследований должны говорить сами за себя. Но в разделе обсуждения, приводя интерпретацию своих результатов, авторы могут произвольно или непроизвольно представлять свои результаты в более выгодном свете (например, говорить о том, что гипотеза подтвердилась, хотя результаты свидетельствуют об обратном, акцентировать внимание лишь на "удачной" части результатов, обсуждать тренды наравне со статистической значимостью и т. д.) В обзоре же чужих исследований эта необъективная расстановка выгодных автору акцентов так же может присутствовать.
4. Outcome report bias (предвзятость в отчёте о результатах). Эта предвзятость ещё более неприятная, чем спин-предвзятость, поскольку она предполагает манипуляцию не интерпретацией, а непосредственно количественными результатами. Например, может возникнуть ситуация, когда часть результатов поддерживает гипотезу, а другая часть оказывается не вполне "красивой" или понятной. В этом случае некоторые авторы могут просто замести эти путающие результаты под ковёр, не рассказывая об этой части анализа.
5. Hot stuff bias (тяга к горячему). В любой научной дисциплине есть "модные" темы. Например, услышав словосочетание "интерфейс мозг-компьютер" или "искусственный интеллект", часть популяции нейроучёных готова согласиться на всё. Когда речь идёт о модных научных темах, снижается критическое отношение к воспринимаемой или исследуемой информации и среди учёных, и среди редакторов, которым выгодно привлечь внимание к своим научным изданиям. Напротив, если тема не очень модная и даже воспринимается как "скучная", энтузиазм относительно того, чтобы заниматься ею, снижается, а критическое отношение повышается.
6. Language bias (лингвистическая предвзятость). На текущий момент языком науки является английский. Публикации на других языках нередко игнорируются. А тот факт, что положительные результаты публикуются чаще именно на английском языке, может создавать дополнительный дисбаланс при оценке источников для систематических ревью и метаанализов.
#metascience
Научное знание претендует на объективность, но наука как социальный конструкт полна искажений, в частности, в сфере публикаций. В этом посте содержится перечень научных предвзятостей, о которых следует себе напоминать каждый раз, когда наука покажется слишком очаровательной.
1. Publication bias (публикационная предвзятость). Результат исследования влияет на вероятность того, что его опубликуют. Например, эксперименты с положительными результатами публикуются чаще, и этот перевес не позволяет адекватно оценить весь набор приобретённых экспериментальным путём знаний с отрицательными результатами в том числе.
2. Citation bias (предвзятость цитирования). Исследования с положительным результатом могут цитироваться чаще, чем исследования с отрицательным результатом. Также автор научной статьи может проявлять склонность цитировать работы авторов из близкой ему среды (из одной лаборатории), прежние работы собственного авторства или работы из более предпочитаемых журналов.
3. Spin bias (спин-предвзятость). Количественные результаты исследований должны говорить сами за себя. Но в разделе обсуждения, приводя интерпретацию своих результатов, авторы могут произвольно или непроизвольно представлять свои результаты в более выгодном свете (например, говорить о том, что гипотеза подтвердилась, хотя результаты свидетельствуют об обратном, акцентировать внимание лишь на "удачной" части результатов, обсуждать тренды наравне со статистической значимостью и т. д.) В обзоре же чужих исследований эта необъективная расстановка выгодных автору акцентов так же может присутствовать.
4. Outcome report bias (предвзятость в отчёте о результатах). Эта предвзятость ещё более неприятная, чем спин-предвзятость, поскольку она предполагает манипуляцию не интерпретацией, а непосредственно количественными результатами. Например, может возникнуть ситуация, когда часть результатов поддерживает гипотезу, а другая часть оказывается не вполне "красивой" или понятной. В этом случае некоторые авторы могут просто замести эти путающие результаты под ковёр, не рассказывая об этой части анализа.
5. Hot stuff bias (тяга к горячему). В любой научной дисциплине есть "модные" темы. Например, услышав словосочетание "интерфейс мозг-компьютер" или "искусственный интеллект", часть популяции нейроучёных готова согласиться на всё. Когда речь идёт о модных научных темах, снижается критическое отношение к воспринимаемой или исследуемой информации и среди учёных, и среди редакторов, которым выгодно привлечь внимание к своим научным изданиям. Напротив, если тема не очень модная и даже воспринимается как "скучная", энтузиазм относительно того, чтобы заниматься ею, снижается, а критическое отношение повышается.
6. Language bias (лингвистическая предвзятость). На текущий момент языком науки является английский. Публикации на других языках нередко игнорируются. А тот факт, что положительные результаты публикуются чаще именно на английском языке, может создавать дополнительный дисбаланс при оценке источников для систематических ревью и метаанализов.
Наука – верить или нет?
#metascience #thoughts
Публикация: O'Brien, T. C., Palmer, R., & Albarracin, D. (2021). Misplaced trust: When trust in science fosters belief in pseudoscience and the benefits of critical evaluation. Journal of Experimental Social Psychology, 96, 104184.
Влияние науки на принятие важных решений (в частности, в сферах здравоохранения) зависит от степени доверия к ней со стороны общества. Казалось бы, чем больше люди доверяют научному знанию, тем лучше, но, как показало недавнее исследование, и у этого есть оборотная сторона.
В ходе экспериментов участникам предлагали читать статьи, в которых содержалась ложная информация о несуществующем вирусе, который якобы был создан в качестве биологического оружия, а также о негативном влиянии ГМО на образование опухолей. Часть текстов содержала отсылки к научным источникам (псевдонаучные утверждения). Предварительно оценивалось, насколько участники доверяют науке, а также их способность критически оценивать информацию, используя собственные знания.
Обнаружилось, что люди, доверяющие науке, оказались склонны верить и псевдонаучным утверждениям. Зато уровень критического мышления обратно коррелировал с этой верой. Также, если участников предварительно настраивали на критическое мышление, предлагая им привести примеры людей, которые мыслили самостоятельно и не доверяли слепо сторонним источникам, то степень последующей веры в псевдонаучные утверждения снижалась. Когда же участникам предварительно предлагали вспомнить, как наука спасала жизни людей, предсказуемо вера в псевдонаучные утверждения оставалась на прежнем уровне.
Таким образом, доверие науке никогда не станет антидотом против псевдонауки или исходящих со стороны СМИ/публичных лиц громогласных заявлений, покрытых флёром научности, но не соответствующих научной действительности. Но зато таким антидотом может стать критическое мышление.
Занимаясь популяризацией науки, я часто сталкиваюсь с соблазном упростить контент, сделав из него красивую историю, воспевающую величие науки и её современных достижений, повышающую доверие к ней. Если же выбирать второй путь и излагать всю подноготную с противоречивыми результатами и методологическими ограничениями, есть риск потерять слушателя или читателя. Ведь гораздо приятнее и интереснее читать о том, что, например, наука раскрыла загадку сознания или разработала теорию всего, чем о том, что учёные, с одной стороны, в чём-то разобрались, но не до конца. "Чему тогда верить, если даже вы, учёные, ничего не знаете со стопроцентной уверенностью?" – с таким лейтмотивом реакций приходится сталкиваться, если выбирать второй путь. Но всё же я его выбираю в надежде, что хотя бы немного помогу слушателю или читателю принять решение – верить или не верить – более обоснованно.
#metascience #thoughts
Публикация: O'Brien, T. C., Palmer, R., & Albarracin, D. (2021). Misplaced trust: When trust in science fosters belief in pseudoscience and the benefits of critical evaluation. Journal of Experimental Social Psychology, 96, 104184.
Влияние науки на принятие важных решений (в частности, в сферах здравоохранения) зависит от степени доверия к ней со стороны общества. Казалось бы, чем больше люди доверяют научному знанию, тем лучше, но, как показало недавнее исследование, и у этого есть оборотная сторона.
В ходе экспериментов участникам предлагали читать статьи, в которых содержалась ложная информация о несуществующем вирусе, который якобы был создан в качестве биологического оружия, а также о негативном влиянии ГМО на образование опухолей. Часть текстов содержала отсылки к научным источникам (псевдонаучные утверждения). Предварительно оценивалось, насколько участники доверяют науке, а также их способность критически оценивать информацию, используя собственные знания.
Обнаружилось, что люди, доверяющие науке, оказались склонны верить и псевдонаучным утверждениям. Зато уровень критического мышления обратно коррелировал с этой верой. Также, если участников предварительно настраивали на критическое мышление, предлагая им привести примеры людей, которые мыслили самостоятельно и не доверяли слепо сторонним источникам, то степень последующей веры в псевдонаучные утверждения снижалась. Когда же участникам предварительно предлагали вспомнить, как наука спасала жизни людей, предсказуемо вера в псевдонаучные утверждения оставалась на прежнем уровне.
Таким образом, доверие науке никогда не станет антидотом против псевдонауки или исходящих со стороны СМИ/публичных лиц громогласных заявлений, покрытых флёром научности, но не соответствующих научной действительности. Но зато таким антидотом может стать критическое мышление.
Занимаясь популяризацией науки, я часто сталкиваюсь с соблазном упростить контент, сделав из него красивую историю, воспевающую величие науки и её современных достижений, повышающую доверие к ней. Если же выбирать второй путь и излагать всю подноготную с противоречивыми результатами и методологическими ограничениями, есть риск потерять слушателя или читателя. Ведь гораздо приятнее и интереснее читать о том, что, например, наука раскрыла загадку сознания или разработала теорию всего, чем о том, что учёные, с одной стороны, в чём-то разобрались, но не до конца. "Чему тогда верить, если даже вы, учёные, ничего не знаете со стопроцентной уверенностью?" – с таким лейтмотивом реакций приходится сталкиваться, если выбирать второй путь. Но всё же я его выбираю в надежде, что хотя бы немного помогу слушателю или читателю принять решение – верить или не верить – более обоснованно.
Девять кругов научного ада
#metascience
Ученые грешат. Иногда – непроизвольно, находясь под давлением науки как достаточно жестокого "жанра". Иногда – сознательно, в погоне за социальными и прочими дивидендами.
Научный блогер Neuroskeptic в своей ироничной публикации перечислил круги ада, ожидающие ученых, нарушающих научные принципы:
1. Круг сожаления для тех, кто закрывал глаза на научные грехи других и присуждал им незаслуженные гранты.
2. Круг для тех, кто преувеличивал значимость своей работы для получения грантов или написания престижных статей.
3. Круг для тех, кто формулировал гипотезы, интерпретации или обоснования исследований задним числом.
4. Круг для тех, кто перепробовал все возможные статистические тесты до тех пор, пока не получил p-value меньше 0.05.
5. Круг для тех, кто подчищал данные, креативно избавляясь от "неудачных" показателей, называя их выбросами.
6. Круг для тех, кто совершал плагиат (этот круг по замыслу автора остается пустым, потому что попадая в него, грешники сразу переносятся на остальные круги, чтобы получать наказания, предназначенные другим).
7. Круг для тех, кто воздерживался от публикации результатов ("неудобных", "неинтересных", "некрасивых", "немейнстримных").
8. Круг для тех, кто публиковал результаты частично, например, не упоминая о побочных эффектах того или иного терапевтического воздействия.
9. Круг для тех, кто фальсифицировал данные.
Тема подобных научных грехов еще будет затронута в следующем посте, который будет посвящен участи такой структуры мозга, как амигдала (миндалевидное тело), за которой на долгие годы закрепился статус "центра страха" и даже "центра психопатии".
Продолжение следует...
#metascience
Ученые грешат. Иногда – непроизвольно, находясь под давлением науки как достаточно жестокого "жанра". Иногда – сознательно, в погоне за социальными и прочими дивидендами.
Научный блогер Neuroskeptic в своей ироничной публикации перечислил круги ада, ожидающие ученых, нарушающих научные принципы:
1. Круг сожаления для тех, кто закрывал глаза на научные грехи других и присуждал им незаслуженные гранты.
2. Круг для тех, кто преувеличивал значимость своей работы для получения грантов или написания престижных статей.
3. Круг для тех, кто формулировал гипотезы, интерпретации или обоснования исследований задним числом.
4. Круг для тех, кто перепробовал все возможные статистические тесты до тех пор, пока не получил p-value меньше 0.05.
5. Круг для тех, кто подчищал данные, креативно избавляясь от "неудачных" показателей, называя их выбросами.
6. Круг для тех, кто совершал плагиат (этот круг по замыслу автора остается пустым, потому что попадая в него, грешники сразу переносятся на остальные круги, чтобы получать наказания, предназначенные другим).
7. Круг для тех, кто воздерживался от публикации результатов ("неудобных", "неинтересных", "некрасивых", "немейнстримных").
8. Круг для тех, кто публиковал результаты частично, например, не упоминая о побочных эффектах того или иного терапевтического воздействия.
9. Круг для тех, кто фальсифицировал данные.
Тема подобных научных грехов еще будет затронута в следующем посте, который будет посвящен участи такой структуры мозга, как амигдала (миндалевидное тело), за которой на долгие годы закрепился статус "центра страха" и даже "центра психопатии".
Продолжение следует...
Амигдала – центр страха и психопатии?
#mental_health #metascience
Недавно в "Neuroscience and Behavioral Reviews" вышла заметка, отсылающая к научным грехам, упомянутым в предыдущем посте, а также к мета-анализам, посвященным функции амигдалы (миндалевидного тела). Ниже приведены тезисы, следующие из заметки, упомянутых в ней статей и общих наблюдений.
С чего все начиналось
Некоторое время тому назад теории психопатии возглавила модель, в соответствии с которой амигдала рассматривалась как центр страха, а психопатия обуславливалась именно дисфункцией этой структуры мозга. Предполагалось, что для психопатии характерен низкий уровень страха, низкая восприимчивость к угрозе наказания и т. д. Прошло два десятилетия, а воспроизводимость исследований, подтверждающих связь активности амигдалы с чувством страха и психопатией, остается под вопросом.
Мета-анализы и обзоры
Лишь в 2016 и 2018 годах появились первые мета-анализы на тему нейрокоррелятов страха. В обоих мета-анализах связь между амигдалой и страхом не была выявлена. В первом случае установили, что за выучиваемое формирование страха в ответ на угрозу (fear conditioning) отвечает сеть мозга, включающая, в частности инсулярную и поясную кору, обеспечивающие осознание текущего состояние организма и соответствующие реакции. Во втором случае обнаружили, что выучивание того, что прежняя угроза больше не несет опасности (fear extinction), связано с теми же областями, а также с префронтальной корой.
В прошлом году обзор более сотни исследований связи амигдалы с психопатией тоже не показал положительных результатов: в большинстве исследований связь либо отсутствовала, либо была отрицательной.
Научный ад
В упомянутом выше обзоре были приведены интересные наблюдения. Например, те исследования, в которых связь все же была установлена, характеризовались низкой статистической мощностью. Возможно, рецензенты и редакторы журналов с большей вероятностью могли отвергать исследования, в которых наблюдалось отсутствие связи амигдалы и психопатии, обосновывая это недостаточной статистической мощностью.
Более того, обнаружилось, что в ряде исследований, в которых были выявлены нарушения активности амигдалы, изучаемая пиковая активность оказывалась рядом с амигдалой, но не попадала в ее анатомические МРТ-координаты. Например, в одном из исследований координаты указывали и на нарушенную активность гиппокампа, но авторы, словно повинуясь "официальной теории", причислили ее к активности амигдалы. Вспоминаем подшлифовку или фальсификацию данных, а также интерпретацию задним числом из перечня "кругов научного ада".
Что наносит больший ущерб науке – погоня за значимыми p-values и манипуляция данными или предвзятость рецензентов и редакторов, допускающих до публикации только те статьи, которые находятся в канве признанных теорий? В первом случае создается некоторый шум и гетерогенность во всем пласте результатов, которые создают противоречия, хорошо выявляемые в мета-анализах и обзорам. Во втором случае damage control ограничен: отследить нарушения гораздо сложнее, потому что предвзятость в допущении статьи до публикации не отражается напрямую на метриках, используемых в мета-анализах.
Впрочем, предлагаются некоторые количественные методы для обнаружения такой предвзятости на основе оценки асимметрии результатов исследований внутри мета-анализа.
Возвращаясь к амигдале
Амигдала вносит вклад не только в эмоциональные процессы, но и в процессы памяти, регуляции внутренних органов, а также проецируется в другие ключевые области мозга. Известный аргумент о том, что повреждение амигдалы непременно приводит к потере страха, красноречиво опровергается случаем сохранности этой функции у одного из монозиготных близнецов с поврежденными амигдалами.
В посте про серотониновую теорию депрессии я уже касалась наивности взглядов о том, что один нейромедиатор может отвечать за сочетание сложных функций мозга. Так же и в случае со структурами мозга не следует ожидать такого однозначного соотношения.
#mental_health #metascience
Недавно в "Neuroscience and Behavioral Reviews" вышла заметка, отсылающая к научным грехам, упомянутым в предыдущем посте, а также к мета-анализам, посвященным функции амигдалы (миндалевидного тела). Ниже приведены тезисы, следующие из заметки, упомянутых в ней статей и общих наблюдений.
С чего все начиналось
Некоторое время тому назад теории психопатии возглавила модель, в соответствии с которой амигдала рассматривалась как центр страха, а психопатия обуславливалась именно дисфункцией этой структуры мозга. Предполагалось, что для психопатии характерен низкий уровень страха, низкая восприимчивость к угрозе наказания и т. д. Прошло два десятилетия, а воспроизводимость исследований, подтверждающих связь активности амигдалы с чувством страха и психопатией, остается под вопросом.
Мета-анализы и обзоры
Лишь в 2016 и 2018 годах появились первые мета-анализы на тему нейрокоррелятов страха. В обоих мета-анализах связь между амигдалой и страхом не была выявлена. В первом случае установили, что за выучиваемое формирование страха в ответ на угрозу (fear conditioning) отвечает сеть мозга, включающая, в частности инсулярную и поясную кору, обеспечивающие осознание текущего состояние организма и соответствующие реакции. Во втором случае обнаружили, что выучивание того, что прежняя угроза больше не несет опасности (fear extinction), связано с теми же областями, а также с префронтальной корой.
В прошлом году обзор более сотни исследований связи амигдалы с психопатией тоже не показал положительных результатов: в большинстве исследований связь либо отсутствовала, либо была отрицательной.
Научный ад
В упомянутом выше обзоре были приведены интересные наблюдения. Например, те исследования, в которых связь все же была установлена, характеризовались низкой статистической мощностью. Возможно, рецензенты и редакторы журналов с большей вероятностью могли отвергать исследования, в которых наблюдалось отсутствие связи амигдалы и психопатии, обосновывая это недостаточной статистической мощностью.
Более того, обнаружилось, что в ряде исследований, в которых были выявлены нарушения активности амигдалы, изучаемая пиковая активность оказывалась рядом с амигдалой, но не попадала в ее анатомические МРТ-координаты. Например, в одном из исследований координаты указывали и на нарушенную активность гиппокампа, но авторы, словно повинуясь "официальной теории", причислили ее к активности амигдалы. Вспоминаем подшлифовку или фальсификацию данных, а также интерпретацию задним числом из перечня "кругов научного ада".
Что наносит больший ущерб науке – погоня за значимыми p-values и манипуляция данными или предвзятость рецензентов и редакторов, допускающих до публикации только те статьи, которые находятся в канве признанных теорий? В первом случае создается некоторый шум и гетерогенность во всем пласте результатов, которые создают противоречия, хорошо выявляемые в мета-анализах и обзорам. Во втором случае damage control ограничен: отследить нарушения гораздо сложнее, потому что предвзятость в допущении статьи до публикации не отражается напрямую на метриках, используемых в мета-анализах.
Впрочем, предлагаются некоторые количественные методы для обнаружения такой предвзятости на основе оценки асимметрии результатов исследований внутри мета-анализа.
Возвращаясь к амигдале
Амигдала вносит вклад не только в эмоциональные процессы, но и в процессы памяти, регуляции внутренних органов, а также проецируется в другие ключевые области мозга. Известный аргумент о том, что повреждение амигдалы непременно приводит к потере страха, красноречиво опровергается случаем сохранности этой функции у одного из монозиготных близнецов с поврежденными амигдалами.
В посте про серотониновую теорию депрессии я уже касалась наивности взглядов о том, что один нейромедиатор может отвечать за сочетание сложных функций мозга. Так же и в случае со структурами мозга не следует ожидать такого однозначного соотношения.
Сложность упрощения науки
#metascience
На днях поучаствовала в эфире, который был организован Лабораторией научного кино. Побеседовали с режиссером Юлией Киселевой о базовых принципах науки и о том, как в рамках популяризации обеспечить простоту восприятия для зрителя, но при этом не жертвовать научной точностью. Наиболее интенсивная часть обсуждения пришлась на секцию с вопросами, которая отсутствует в данном видео, поэтому позволю себе изложить некоторые дополнительные мысли в этом посте.
На текущий момент мне кажется, что проблема соблюдения баланса между доступностью и научностью может решаться двумя параллельными путями:
1. Автор научно-популярного материала не должен впадать в чрезмерное упрощение, а также — что еще опаснее — проекцию локальных фактов на слишком глобальные выводы. К сожалению, иногда это происходит автоматически и этим грешат даже крупные корифеи. В качестве наследия такой глобализации мы до сих пор имеем мифы о право/левополушарном мышлении, триедином мозге, о невозможности восстановления нервных клеток. Поэтому выбирая между мозаичной горстью fun facts о локальных экспериментах или красиво звучащим глобальным выводом без должной экспериментальной поддержки, я предпочту первое, пусть и рискуя казаться нудным агностиком 🙂
2. Со стороны зрителей должна повышаться осведомленность об азах критического мышления и том, чем является и не является научное знание:
- об отличиях карты и территории, т. е. том, что ученые не взаимодействуют с изучаемыми феноменами напрямую, что все ограничивается используемыми методами измерения и операционализации и что существуют ill-posed problems без уникального решения;
- об ошибках первого и второго рода;
- о том, что теория и ее интерпретация — это разные вещи (привет из квантовой физики);
- о том, как важна репликация экспериментов и с каким кризисом этих репликаций сталкиваются некоторые дисциплины сейчас;
- о том, что через несколько веков некоторые текущие научные воззрения будут казаться нам смешными — точно так же, какими нам кажутся научные взгляды прошлого;
- о том, что нейрокорреляты порой не намного информативнее поведенческих коррелятов (это уже моя личная душевная боль как нейроученого);
- о первичных и вторичных источниках;
- о том, как мыслить в терминах вероятностей;
- и о важности вопроса о том, почему вы верите в то, во что вы верите.
Подозреваю, что отсутствие этой осведомленности наносит гораздо больший ущерб, чем неизбежные неточности жанра научной популяризации, потому что в ряде случаев зрители вынуждены погружаться в нюансы научной темы, не обладая инструментарием научного осмысления как такового. Когда-то на заре моего собственного приближения к науке мне в этом очень помогли треды из блога о рациональности и научных принципах LessWrong (англоязычная версия, русскоязычная версия).
Если возвращаться к научной популяризации то, возможно, цель тотального просвещения слишком иллюзорна. Возможно, научная популяризация — не основное блюдо, а аперитив. Возможно , гораздо важнее рассказать “историю”, обеспечивающую зрителя или читателя ориентирами, которые при необходимости он сможет использовать уже для самостоятельного погружения в тему.
P. S. Из-за спешки в видео обозначила индекс Хирша как соотношение количества публикаций и количества цитирований, случайно упростив этот концепт, хоть ни в коем случае не подразумевала его как дробь. Если вдаваться в детали, то индекс Хирша равен x, если x публикаций процитировали как минимум x раз. Недочет исправлен, моя научно-популярная совесть чиста 🙂
#metascience
На днях поучаствовала в эфире, который был организован Лабораторией научного кино. Побеседовали с режиссером Юлией Киселевой о базовых принципах науки и о том, как в рамках популяризации обеспечить простоту восприятия для зрителя, но при этом не жертвовать научной точностью. Наиболее интенсивная часть обсуждения пришлась на секцию с вопросами, которая отсутствует в данном видео, поэтому позволю себе изложить некоторые дополнительные мысли в этом посте.
На текущий момент мне кажется, что проблема соблюдения баланса между доступностью и научностью может решаться двумя параллельными путями:
1. Автор научно-популярного материала не должен впадать в чрезмерное упрощение, а также — что еще опаснее — проекцию локальных фактов на слишком глобальные выводы. К сожалению, иногда это происходит автоматически и этим грешат даже крупные корифеи. В качестве наследия такой глобализации мы до сих пор имеем мифы о право/левополушарном мышлении, триедином мозге, о невозможности восстановления нервных клеток. Поэтому выбирая между мозаичной горстью fun facts о локальных экспериментах или красиво звучащим глобальным выводом без должной экспериментальной поддержки, я предпочту первое, пусть и рискуя казаться нудным агностиком 🙂
2. Со стороны зрителей должна повышаться осведомленность об азах критического мышления и том, чем является и не является научное знание:
- об отличиях карты и территории, т. е. том, что ученые не взаимодействуют с изучаемыми феноменами напрямую, что все ограничивается используемыми методами измерения и операционализации и что существуют ill-posed problems без уникального решения;
- об ошибках первого и второго рода;
- о том, что теория и ее интерпретация — это разные вещи (привет из квантовой физики);
- о том, как важна репликация экспериментов и с каким кризисом этих репликаций сталкиваются некоторые дисциплины сейчас;
- о том, что через несколько веков некоторые текущие научные воззрения будут казаться нам смешными — точно так же, какими нам кажутся научные взгляды прошлого;
- о том, что нейрокорреляты порой не намного информативнее поведенческих коррелятов (это уже моя личная душевная боль как нейроученого);
- о первичных и вторичных источниках;
- о том, как мыслить в терминах вероятностей;
- и о важности вопроса о том, почему вы верите в то, во что вы верите.
Подозреваю, что отсутствие этой осведомленности наносит гораздо больший ущерб, чем неизбежные неточности жанра научной популяризации, потому что в ряде случаев зрители вынуждены погружаться в нюансы научной темы, не обладая инструментарием научного осмысления как такового. Когда-то на заре моего собственного приближения к науке мне в этом очень помогли треды из блога о рациональности и научных принципах LessWrong (англоязычная версия, русскоязычная версия).
Если возвращаться к научной популяризации то, возможно, цель тотального просвещения слишком иллюзорна. Возможно, научная популяризация — не основное блюдо, а аперитив. Возможно , гораздо важнее рассказать “историю”, обеспечивающую зрителя или читателя ориентирами, которые при необходимости он сможет использовать уже для самостоятельного погружения в тему.
P. S. Из-за спешки в видео обозначила индекс Хирша как соотношение количества публикаций и количества цитирований, случайно упростив этот концепт, хоть ни в коем случае не подразумевала его как дробь. Если вдаваться в детали, то индекс Хирша равен x, если x публикаций процитировали как минимум x раз. Недочет исправлен, моя научно-популярная совесть чиста 🙂
Vk
ЛНК 2.0: Встреча с Дарией Клеевой, аспиранткой, научным сотрудником НИУ ВШЭ и Сколтеха.
На встрече мы говорили о том, что такое наука, научное здание, научный процесс, эксперименты и методы, гипотезы и теории. Как сделать сложную науку простой для зрителя, не исказив научное знание? С чего начать общение с ученым и как найти достоверные источники?…
Подпороговое сокрытие данных нейровизуализации: когда статистики не достаточно
#neuroimaging #metascience
Публикация: Taylor, P. A., Reynolds, R. C., Calhoun, V., Gonzalez-Castillo, J., Handwerker, D. A., Bandettini, P. A., ... & Chen, G. (2023). Highlight Results, Don't Hide Them: Enhance interpretation, reduce biases and improve reproducibility. Neuroimage, 120138.
В Neuroimage появилась публикация, призывающая приводить в статьях все результаты исследования, даже те, которые не характеризуются статистической значимостью или находятся ниже заданного порога. На текущий момент это не является типичной практикой: очень часто в тексте публикации "выживает" лишь небольшая часть того, что действительно было получено при обработке данных. Это затрудняет репликацию исследований и проведение мета-анализов, а также приводит к искажениям в интерпретации со стороны читателей и самих авторов.
На графике представлен пример двух вариантов визуализации результатов. В первом случае (A) демонстрируются только кластеры, соответствующие статистически значимой активации, во втором случае – вся карта активации и выделенные значимые кластеры. Во втором случае (B) заметно, что мощность активации во многих незначимых кластерах близка к мощности значимых кластеров, поэтому игнорировать такую активацию полностью в рамках интерпретации, как произошло в первом случае, было бы ошибочно.
Также при демонстрации исключительно "надпороговых" результатов возникают и иные проблемы:
- Бинаризация активности мозга, несмотря на то что в реальности он не работает в режиме "ON/OFF";
- Отсутствие отрицания нулевой гипотезы не означает ее подтверждение, поэтому мы не можем быть на 100% уверены в том, что в "подпороговых" регионах отсутствует эффект, так что исключать эти регионы было бы статистически некорректным;
- Исключение из графиков "подпороговых" результатов не позволяет сформировать понимание причины того, почему они оказались ниже порога, что именно происходит с распределением мощности сигнала в этих регионах;
- "Подпороговые" регионы могут явно демонстрировать наличие артефактов, которые не очевидны при их исключении из графиков.
В статье представлены примеры по визуализации на основе открытого датасета фМРТ, объясняющие возможные расхождения в результатах, получаемых в предыдущих публикациях по этому датасету, а также общие полезные практические рекомендации.
#neuroimaging #metascience
Публикация: Taylor, P. A., Reynolds, R. C., Calhoun, V., Gonzalez-Castillo, J., Handwerker, D. A., Bandettini, P. A., ... & Chen, G. (2023). Highlight Results, Don't Hide Them: Enhance interpretation, reduce biases and improve reproducibility. Neuroimage, 120138.
В Neuroimage появилась публикация, призывающая приводить в статьях все результаты исследования, даже те, которые не характеризуются статистической значимостью или находятся ниже заданного порога. На текущий момент это не является типичной практикой: очень часто в тексте публикации "выживает" лишь небольшая часть того, что действительно было получено при обработке данных. Это затрудняет репликацию исследований и проведение мета-анализов, а также приводит к искажениям в интерпретации со стороны читателей и самих авторов.
На графике представлен пример двух вариантов визуализации результатов. В первом случае (A) демонстрируются только кластеры, соответствующие статистически значимой активации, во втором случае – вся карта активации и выделенные значимые кластеры. Во втором случае (B) заметно, что мощность активации во многих незначимых кластерах близка к мощности значимых кластеров, поэтому игнорировать такую активацию полностью в рамках интерпретации, как произошло в первом случае, было бы ошибочно.
Также при демонстрации исключительно "надпороговых" результатов возникают и иные проблемы:
- Бинаризация активности мозга, несмотря на то что в реальности он не работает в режиме "ON/OFF";
- Отсутствие отрицания нулевой гипотезы не означает ее подтверждение, поэтому мы не можем быть на 100% уверены в том, что в "подпороговых" регионах отсутствует эффект, так что исключать эти регионы было бы статистически некорректным;
- Исключение из графиков "подпороговых" результатов не позволяет сформировать понимание причины того, почему они оказались ниже порога, что именно происходит с распределением мощности сигнала в этих регионах;
- "Подпороговые" регионы могут явно демонстрировать наличие артефактов, которые не очевидны при их исключении из графиков.
В статье представлены примеры по визуализации на основе открытого датасета фМРТ, объясняющие возможные расхождения в результатах, получаемых в предыдущих публикациях по этому датасету, а также общие полезные практические рекомендации.
“Молодость” (не картина Паоло Соррентино)
#popsci #mental_health #аспирантское #metascience
Недавно приняла участие в сессии по медицинским нейротехнологиям на III Конгрессе молодых ученых. Ирония состоит в том, что это едва ли не единственная сессия, на которой выступали молодые ученые, формально соответствующие этому определению. Хотя нейронаука сама по себе молодая дисциплина и любого ее представителя можно было бы так охарактеризовать 🙂
Эта сессия показала, что не существует портрета типичного молодого нейроучёного — каждого из присутствующих в нейронауку привёл свой путь (спойлер: даже если вы занимаетесь космическими летательными аппаратами, есть риск, что вас начнут терзать загадки человеческого мозга и измерения его активности). И каждый по-своему может реализовать себя в ней: даже среди семи участников сессии разброс решаемых проблем и используемых методов оказался очень большим, начиная от омиксных технологий и заканчивая ЭЭГ/МЭГ.
Сессия оказалась полезной также и тем, что мы поговорили не только о содержательной части наших исследований, профессиональном пути, некоторых рыночных проблемах, но и о трудностях, с которыми сталкивается молодой ученый, в частности, в ментальной сфере. Напомню, что в моем канале есть несколько постов на эту тему:
- о психическом здоровье аспирантов;
- о факторах, влияющих на их успех.
Исходно в сессии планировался дополнительный раздел с советами для тех, кто присматривается к реализации себя в нейротехнологиях и науке, но возможные рекомендации очевидным образом извлекаются как раз из этой последней части обсуждения. Чем быстрее расстаться с иллюзиями о том, что наука не дает мгновенного результата, что она — не панацея от тотального незнания, что понятие “громких открытий” теряет свою актуальность, тем, возможно, ваша “молодость” в науке пройдет беспечнее и содержательнее.
И еще от себя добавлю три совета, которые не озвучила на сессии (хотя жанр советов как таковой мне не близок и то, что сработало для меня, может не сработать для других):
1. Как можно скорее начните пробовать себя в преподавании.
2. Не используйте свой перфекционизм как повод для бездействия и бесконечной подготовки, потому что на самом деле вам никогда не будет казаться, что вы знаете и умеете всё. И уж тем более не существует идеального набора пререквизитов, которые необходимо освоить для того, чтобы разрешить себе реализовываться в нейронауке — она слишком многолика, выбирайте, что вам ближе. Область вашего незнания может определить спектр ваших ближайших задач.
3. Если участвуете в обсуждениях или семинарах, формируйте в себе навык задавать вопросы, даже если вам кажется, что у вас вопросов нет. Когда вы формулируете вопросы, вы помогаете себе и другим синтезировать новое знание.
А полное видео с сессии можно посмотреть по этой ссылке.
#popsci #mental_health #аспирантское #metascience
Недавно приняла участие в сессии по медицинским нейротехнологиям на III Конгрессе молодых ученых. Ирония состоит в том, что это едва ли не единственная сессия, на которой выступали молодые ученые, формально соответствующие этому определению. Хотя нейронаука сама по себе молодая дисциплина и любого ее представителя можно было бы так охарактеризовать 🙂
Эта сессия показала, что не существует портрета типичного молодого нейроучёного — каждого из присутствующих в нейронауку привёл свой путь (спойлер: даже если вы занимаетесь космическими летательными аппаратами, есть риск, что вас начнут терзать загадки человеческого мозга и измерения его активности). И каждый по-своему может реализовать себя в ней: даже среди семи участников сессии разброс решаемых проблем и используемых методов оказался очень большим, начиная от омиксных технологий и заканчивая ЭЭГ/МЭГ.
Сессия оказалась полезной также и тем, что мы поговорили не только о содержательной части наших исследований, профессиональном пути, некоторых рыночных проблемах, но и о трудностях, с которыми сталкивается молодой ученый, в частности, в ментальной сфере. Напомню, что в моем канале есть несколько постов на эту тему:
- о психическом здоровье аспирантов;
- о факторах, влияющих на их успех.
Исходно в сессии планировался дополнительный раздел с советами для тех, кто присматривается к реализации себя в нейротехнологиях и науке, но возможные рекомендации очевидным образом извлекаются как раз из этой последней части обсуждения. Чем быстрее расстаться с иллюзиями о том, что наука не дает мгновенного результата, что она — не панацея от тотального незнания, что понятие “громких открытий” теряет свою актуальность, тем, возможно, ваша “молодость” в науке пройдет беспечнее и содержательнее.
И еще от себя добавлю три совета, которые не озвучила на сессии (хотя жанр советов как таковой мне не близок и то, что сработало для меня, может не сработать для других):
1. Как можно скорее начните пробовать себя в преподавании.
2. Не используйте свой перфекционизм как повод для бездействия и бесконечной подготовки, потому что на самом деле вам никогда не будет казаться, что вы знаете и умеете всё. И уж тем более не существует идеального набора пререквизитов, которые необходимо освоить для того, чтобы разрешить себе реализовываться в нейронауке — она слишком многолика, выбирайте, что вам ближе. Область вашего незнания может определить спектр ваших ближайших задач.
3. Если участвуете в обсуждениях или семинарах, формируйте в себе навык задавать вопросы, даже если вам кажется, что у вас вопросов нет. Когда вы формулируете вопросы, вы помогаете себе и другим синтезировать новое знание.
А полное видео с сессии можно посмотреть по этой ссылке.
Доверчивые ученые и искусственный интеллект
#metascience #ai
Публикация: Messeri, L., Crockett, M.J. Artificial intelligence and illusions of understanding in scientific research. Nature 627, 49–58 (2024).
Сложно представить сферу деятельности, в профессиональную обыденность которой не внедрился искусственный интеллект. Наука не стала исключением. Уже не раз обсуждалась проблематичность этого феномена на примере "галлюцинирующего" GPT, плохой интерпретируемости многих моделей и набивших оскомину этических ограничений. Авторы же вышедшей на днях публикации, проанализировав литературу с примерами использования ИИ в науке, вынесли на поверхность проблемы, относящиеся не столько непосредственно к ИИ как к технологии, сколько к тому, какие ложные ожидания на него накладывают сами учёные.
Авторы выделили роли, которые ИИ уже выполняет в практике учёных:
1. "Оракул": изучение бесконечно растущего пласта научных публикаций, его обобщение, выдвижение гипотез (реальный пример – предсказание комплексных биологических структур);
2. "Суррогат": синтез или аугментация данных, сбор которых в реальности сопряжен с временными и финансовыми затратами;
3. "Аналитик данных": наиболее привычная роль ИИ –автоматизированная обработка огромных массивов данных;
4. "Арбитр": роль, схожая с "оракулом" – анализ отправляемых на рецензию статей (в этом случае ИИ должен быть непредвзятым, уметь оценивать реплицируемость исследования и устранять publication biases).
Какие риски сопровождают эти роли?
Первый риск – это иллюзия глубины понимания (illusion of explanatory depth). Люди не могут охватить все доступные знания, поэтому склонны полагаться на экспертизу других лиц, которых считают авторитетными. Ощущение, что другое лицо понимает изучаемый феномен глубоко, может создавать иллюзию, что и сам человек обладает этим пониманием. Перенос этой иллюзии в сферу ИИ формирует ситуации, в которых высокая точность предсказания модели может создавать ложное ощущение объяснимости феномена. При этом самая точная модель не обязательно должна соотноситься с реальными механизмами, порождающими изучаемые данные. Это может подтверждаться, в частности, существованием эффекта Расёмона в машинном обучении, в соответствии с которым одинаково точные модели могут опираться на взаимоисключающие принципы связей входных данных и целевых переменных.
Второй риск – иллюзия широты исследования (illusion of exploratory breadth). В этом случае учёные ограничивают спектр гипотез только теми, которые возможно адаптировать под использование ИИ. В частности, используя ИИ как "суррогат", симулирующий данные поведения людей, мы можем отдавать предпочтение тем данным, которые моделируются менее проблематично (напр., результаты опросников против данных физически осуществляемых движений). Другие проблемы связаны и с тем, что алгоритмы могут требовать упрощения данных и при универсальном использовании на широком спектре данных порождать не самые точные предсказания.
Третий риск – иллюзия объективности. ИИ может восприниматься как агент, не имеющий точки зрения или учитывающий все возможные точки зрения. На самом же деле ИИ содержит в себе все искажения данных, на которых он обучался, и способов, которыми его обучали и ограничивали.
Все перечисленные риски имеют отношение к исходно существующим когнитивным искажениям, связанным с ситуациями, когда мы делегируем те или иные элементы процесса научного познания как социальной практики или оказываемся частью научной "монокультуры". Грядущая ИИ-центрированность этой монокультуры может снизить разнообразие тестируемых гипотез или используемых подходов, но при этом не исключено, что в ней и без того присутствует большое количество деформаций, которые уже сложно чем-либо испортить.
А пока что самыми безопасными условиями использования ИИ в науке оказываются рутинность выполняемых задач, связь задач с областью экспертизы использующего ИИ учёного, а также осведомлённость учёного о технических и концептуальных ограничениях ИИ в целом.
#metascience #ai
Публикация: Messeri, L., Crockett, M.J. Artificial intelligence and illusions of understanding in scientific research. Nature 627, 49–58 (2024).
Сложно представить сферу деятельности, в профессиональную обыденность которой не внедрился искусственный интеллект. Наука не стала исключением. Уже не раз обсуждалась проблематичность этого феномена на примере "галлюцинирующего" GPT, плохой интерпретируемости многих моделей и набивших оскомину этических ограничений. Авторы же вышедшей на днях публикации, проанализировав литературу с примерами использования ИИ в науке, вынесли на поверхность проблемы, относящиеся не столько непосредственно к ИИ как к технологии, сколько к тому, какие ложные ожидания на него накладывают сами учёные.
Авторы выделили роли, которые ИИ уже выполняет в практике учёных:
1. "Оракул": изучение бесконечно растущего пласта научных публикаций, его обобщение, выдвижение гипотез (реальный пример – предсказание комплексных биологических структур);
2. "Суррогат": синтез или аугментация данных, сбор которых в реальности сопряжен с временными и финансовыми затратами;
3. "Аналитик данных": наиболее привычная роль ИИ –автоматизированная обработка огромных массивов данных;
4. "Арбитр": роль, схожая с "оракулом" – анализ отправляемых на рецензию статей (в этом случае ИИ должен быть непредвзятым, уметь оценивать реплицируемость исследования и устранять publication biases).
Какие риски сопровождают эти роли?
Первый риск – это иллюзия глубины понимания (illusion of explanatory depth). Люди не могут охватить все доступные знания, поэтому склонны полагаться на экспертизу других лиц, которых считают авторитетными. Ощущение, что другое лицо понимает изучаемый феномен глубоко, может создавать иллюзию, что и сам человек обладает этим пониманием. Перенос этой иллюзии в сферу ИИ формирует ситуации, в которых высокая точность предсказания модели может создавать ложное ощущение объяснимости феномена. При этом самая точная модель не обязательно должна соотноситься с реальными механизмами, порождающими изучаемые данные. Это может подтверждаться, в частности, существованием эффекта Расёмона в машинном обучении, в соответствии с которым одинаково точные модели могут опираться на взаимоисключающие принципы связей входных данных и целевых переменных.
Второй риск – иллюзия широты исследования (illusion of exploratory breadth). В этом случае учёные ограничивают спектр гипотез только теми, которые возможно адаптировать под использование ИИ. В частности, используя ИИ как "суррогат", симулирующий данные поведения людей, мы можем отдавать предпочтение тем данным, которые моделируются менее проблематично (напр., результаты опросников против данных физически осуществляемых движений). Другие проблемы связаны и с тем, что алгоритмы могут требовать упрощения данных и при универсальном использовании на широком спектре данных порождать не самые точные предсказания.
Третий риск – иллюзия объективности. ИИ может восприниматься как агент, не имеющий точки зрения или учитывающий все возможные точки зрения. На самом же деле ИИ содержит в себе все искажения данных, на которых он обучался, и способов, которыми его обучали и ограничивали.
Все перечисленные риски имеют отношение к исходно существующим когнитивным искажениям, связанным с ситуациями, когда мы делегируем те или иные элементы процесса научного познания как социальной практики или оказываемся частью научной "монокультуры". Грядущая ИИ-центрированность этой монокультуры может снизить разнообразие тестируемых гипотез или используемых подходов, но при этом не исключено, что в ней и без того присутствует большое количество деформаций, которые уже сложно чем-либо испортить.
А пока что самыми безопасными условиями использования ИИ в науке оказываются рутинность выполняемых задач, связь задач с областью экспертизы использующего ИИ учёного, а также осведомлённость учёного о технических и концептуальных ограничениях ИИ в целом.
