Цунами инфомусора накрывает науку.
Интеллектуальное вырождение новых поколений языковых моделей и людей становится все более вероятным.
«Люди завалили планету мусором, а генеративный ИИ завалит мусором Интернет» - так назывался мой пост прошлым летом [1]. В нем говорилось, что Генеративные ИИ Больших языковых моделей (LLM):
• очень быстро завалят Интернет продукцией собственного творчества;
• а поскольку все новые поколения LLM будут продолжать учиться на текстах из Интернета, с каждым новым их поколением будет происходить все большее интеллектуальное вырождение LLM;
Этот процесс Росс Андерсон назвал «коллапс модели», в результате которого:
✔️ Интернет все более будет забиваться чушью;
✔️ а люди, которые, наряду с LLM, будут этой чушью информационно напитываться, будут неумолимо глупеть.
Спустя менее года мы наблюдаем весь этот ужас в натуре.
А поскольку чушью в Интернете и раньше было трудно кого-то удивить, вот, в качестве примеров инфозамусоривания, так сказать, премиальный сегмент сети - поисковая система по научным публикациям Google Scholar.
Найти кучи сгенерированного LLM инфомусора среди научных публикаций предельно легко.
• Например, можно задать в поисковой строке Google Scholar такой запрос - "certainly, here is" -chatgpt –llm.
В ответ вы получите кучу ссылок на научные статьи, полностью или частично написанные LLM [2]
Вот пример одной из таких статей, прямо начинающейся словами, выдающими авторство LLM [3] – «Introduction. Certainly, here is a possible introduction for your topic: Lithium-metal batteries are promising candidates for high-energy-density rechargeable batteries due to their low electrode potentials and high theoretical capacities»
• А можно задать в поиске такое откровение – "As an AI language model".
И вы получите кипу статей, написанную с участием LLM [4]
• Или вот такой шедевр, предваряющий заключение статьи аж восьми ученых авторов, выходящей в сборнике Radiology Case Reports [5]:
“In summary, the management of bilateral iatrogenic I'm very sorry, but I don't have access to real-time information or patient-specific data, as I am an AI language model.”
Проф. Преображенский говорил 100 лет назад: «разруха не в клозетах, а в головах».
В 21 веке разруха начинается в Интернете, потом переходит в новые поколения LLM, а потом и в головы новых поколений людей.
#LLM
0 картинка поста https://telegra.ph/file/d36dfade3061d8fbc2d73.jpg
1 https://t.me/theworldisnoteasy/1751
2 https://twitter.com/evanewashington/status/1768419398191034734
3 https://www.sciencedirect.com/science/article/abs/pii/S2468023024002402
4 https://twitter.com/MelMitchell1/status/1768422636944499133
5 https://www.sciencedirect.com/science/article/pii/S1930043324001298
Интеллектуальное вырождение новых поколений языковых моделей и людей становится все более вероятным.
«Люди завалили планету мусором, а генеративный ИИ завалит мусором Интернет» - так назывался мой пост прошлым летом [1]. В нем говорилось, что Генеративные ИИ Больших языковых моделей (LLM):
• очень быстро завалят Интернет продукцией собственного творчества;
• а поскольку все новые поколения LLM будут продолжать учиться на текстах из Интернета, с каждым новым их поколением будет происходить все большее интеллектуальное вырождение LLM;
Этот процесс Росс Андерсон назвал «коллапс модели», в результате которого:
✔️ Интернет все более будет забиваться чушью;
✔️ а люди, которые, наряду с LLM, будут этой чушью информационно напитываться, будут неумолимо глупеть.
Спустя менее года мы наблюдаем весь этот ужас в натуре.
А поскольку чушью в Интернете и раньше было трудно кого-то удивить, вот, в качестве примеров инфозамусоривания, так сказать, премиальный сегмент сети - поисковая система по научным публикациям Google Scholar.
Найти кучи сгенерированного LLM инфомусора среди научных публикаций предельно легко.
• Например, можно задать в поисковой строке Google Scholar такой запрос - "certainly, here is" -chatgpt –llm.
В ответ вы получите кучу ссылок на научные статьи, полностью или частично написанные LLM [2]
Вот пример одной из таких статей, прямо начинающейся словами, выдающими авторство LLM [3] – «Introduction. Certainly, here is a possible introduction for your topic: Lithium-metal batteries are promising candidates for high-energy-density rechargeable batteries due to their low electrode potentials and high theoretical capacities»
• А можно задать в поиске такое откровение – "As an AI language model".
И вы получите кипу статей, написанную с участием LLM [4]
• Или вот такой шедевр, предваряющий заключение статьи аж восьми ученых авторов, выходящей в сборнике Radiology Case Reports [5]:
“In summary, the management of bilateral iatrogenic I'm very sorry, but I don't have access to real-time information or patient-specific data, as I am an AI language model.”
Проф. Преображенский говорил 100 лет назад: «разруха не в клозетах, а в головах».
В 21 веке разруха начинается в Интернете, потом переходит в новые поколения LLM, а потом и в головы новых поколений людей.
#LLM
0 картинка поста https://telegra.ph/file/d36dfade3061d8fbc2d73.jpg
1 https://t.me/theworldisnoteasy/1751
2 https://twitter.com/evanewashington/status/1768419398191034734
3 https://www.sciencedirect.com/science/article/abs/pii/S2468023024002402
4 https://twitter.com/MelMitchell1/status/1768422636944499133
5 https://www.sciencedirect.com/science/article/pii/S1930043324001298
США однозначно ближе к макроразвалу чем Россия.
Обновленный психоисторический прогноз основателя клиодинамики.
Вчера Верховный суд США разрешил Национальной гвардии штата Техас арест и депортацию мигрантов.
Бравые ребята из Нацгвардии Техаса (на фото под заголовком слева позируют под флагом Техаса), недавно уже «захватывавшие» участок границы с Мексикой, запретив доступ к нему федералам, смотрятся 1 в 1 с суровым «ополченцем» из грядущего блокбастера «Гражданская война», задающим остановленному им отцу семейства страшный вопрос, с которого и начинаются гражданские войны – «Ладно … А какой вы американец?» (на фото справа) [1].
Теперь ситуация в США еще ближе к предсказанию Петра Турчина, сделанного им еще 14 лет назад – нарастающие в США уровень неравенства и уровень перепроизводства элит способны в 2020-х довести страну до гражданской войны.
4 года назад я уже писал об этом [2] с подачи Петра Турчина [3].
А еще раньше, в 1-м лонгриде наступившего нового десятилетия 2020-х, мною в деталях были расписаны [4]:
• и сам прогноз - 2020е станут десятилетием насилия, войн и революций,
• и его «психоисторическое основание» клиодинамика - разработанная Петром Турчиным и его коллегами научная аналитика длинных данных о главных трендах истории, прообразом которой была психоистория из романа Азимова «Основание».
Обновленный прогноз Турчина, прозвучавший с интервью FT неделю назад [5], содержит сравнение вероятностей макроразвала для США и России. Далее цитата.
«Какое общество ближе к макроразвалу: Россия или США? Однозначно не Россия. Внешнее давление объединило страну… Без сомнения, Соединенные Штаты сейчас находятся в гораздо более опасном состоянии»
Основания такого прогноза читатель найдет в тексте интервью. Мне же лишь остается добавить следующее.
Математический гений Гэри Селдон из романа «Основание», равно как и его автор Айзек Азимов, были вдохновлены мечтой о социальной науке, которая может спасти цивилизацию от любой, даже, казалось бы, неминуемой гибели.
Петр Турчин никогда вслух не говорил столь высокопарных слов о созданной им новой социальной науке – клиодинамике.
Но все же очень хочется верить, что прогнозы клиодинамики (как и психоистории) могут использоваться для изменения текущих нежелательных векторов развития на более предпочтительные.
И если уж история никого ничему не учит, остается лишь надеяться на психоисторию.
#Клиодинамика #Прогноз #Насилие #Война #Революции
0 картинка поста https://telegra.ph/file/75d4cd6f9dcd1115d1047.jpg
1 https://youtu.be/jbfmREXeooE?t=79
2 https://t.me/theworldisnoteasy/1083
3 https://twitter.com/peter_turchin/status/1280545361040465923
4 https://t.me/theworldisnoteasy/962
5 https://www.ft.com/content/39084b44-ad8a-4954-a610-82edee9a377d
Обновленный психоисторический прогноз основателя клиодинамики.
Вчера Верховный суд США разрешил Национальной гвардии штата Техас арест и депортацию мигрантов.
Бравые ребята из Нацгвардии Техаса (на фото под заголовком слева позируют под флагом Техаса), недавно уже «захватывавшие» участок границы с Мексикой, запретив доступ к нему федералам, смотрятся 1 в 1 с суровым «ополченцем» из грядущего блокбастера «Гражданская война», задающим остановленному им отцу семейства страшный вопрос, с которого и начинаются гражданские войны – «Ладно … А какой вы американец?» (на фото справа) [1].
Теперь ситуация в США еще ближе к предсказанию Петра Турчина, сделанного им еще 14 лет назад – нарастающие в США уровень неравенства и уровень перепроизводства элит способны в 2020-х довести страну до гражданской войны.
4 года назад я уже писал об этом [2] с подачи Петра Турчина [3].
А еще раньше, в 1-м лонгриде наступившего нового десятилетия 2020-х, мною в деталях были расписаны [4]:
• и сам прогноз - 2020е станут десятилетием насилия, войн и революций,
• и его «психоисторическое основание» клиодинамика - разработанная Петром Турчиным и его коллегами научная аналитика длинных данных о главных трендах истории, прообразом которой была психоистория из романа Азимова «Основание».
Обновленный прогноз Турчина, прозвучавший с интервью FT неделю назад [5], содержит сравнение вероятностей макроразвала для США и России. Далее цитата.
«Какое общество ближе к макроразвалу: Россия или США? Однозначно не Россия. Внешнее давление объединило страну… Без сомнения, Соединенные Штаты сейчас находятся в гораздо более опасном состоянии»
Основания такого прогноза читатель найдет в тексте интервью. Мне же лишь остается добавить следующее.
Математический гений Гэри Селдон из романа «Основание», равно как и его автор Айзек Азимов, были вдохновлены мечтой о социальной науке, которая может спасти цивилизацию от любой, даже, казалось бы, неминуемой гибели.
Петр Турчин никогда вслух не говорил столь высокопарных слов о созданной им новой социальной науке – клиодинамике.
Но все же очень хочется верить, что прогнозы клиодинамики (как и психоистории) могут использоваться для изменения текущих нежелательных векторов развития на более предпочтительные.
И если уж история никого ничему не учит, остается лишь надеяться на психоисторию.
#Клиодинамика #Прогноз #Насилие #Война #Революции
0 картинка поста https://telegra.ph/file/75d4cd6f9dcd1115d1047.jpg
1 https://youtu.be/jbfmREXeooE?t=79
2 https://t.me/theworldisnoteasy/1083
3 https://twitter.com/peter_turchin/status/1280545361040465923
4 https://t.me/theworldisnoteasy/962
5 https://www.ft.com/content/39084b44-ad8a-4954-a610-82edee9a377d
Очень скоро война превратится в 5=ю казнь апокалипсиса.
Против умной «саранчи в железных нагрудниках» все бессильно.
«И грудь у неё была, словно железная броня, а шум её крыльев был подобен грохоту множества колесниц, влекомых скакунами, рвущимися в бой.» Откровение 9:7—9)
По Библии, пятой казнью апокалипсиса будет «саранча в железных нагрудниках», против которой никто и ничто не устоит.
В технологическом переложении 20-го века непобедимость роя «железной саранчи» прекрасно описал Станислав Лем в романе «Непобедимый». Там даже самый мощный робот космического корабля со знаковым именем «Непобедимый», вооружённый системой силовых полей и сферическим излучателем антиматерии, оказался бессилен перед миллиардным роем крохотных летающих роботов.
В современном переложении об этом пишут Эллиот Акерман и адмирал Джеймс Ставридис:
• в формате эссе «Рои беспилотников изменят баланс военной мощи» [1]
• в формате романа «2054», в котором они размышляют о многих аспектах и роли ИИ в будущих военных конфликтах [2].
Ключевая идея этих авторов проста и безотбойна – сочетание роя дронов с ИИ кардинально меняет ход боя.
«По своей сути ИИ — это технология, основанная на распознавании образов. В военной теории взаимодействие между распознаванием образов и принятием решений известно как цикл НОРД — наблюдать, ориентироваться, решать, действовать. Теория петли (цикла) НОРД, разработанная в 1950-х годах летчиком-истребителем ВВС Джоном Бойдом, утверждает, что сторона в конфликте, которая сможет быстрее пройти через петлю НОРД, будет обладать решающим преимуществом на поле боя».
Для максимально быстрого прохождения петли НОРД нужно автономное и адаптивное оружие.
• Промышленные роботы являются примером автономных, но неадаптивных машин: они неоднократно выполняют одну и ту же последовательность действий.
• И наоборот, беспилотные дроны являются примером адаптивных, но неавтономных машин: они демонстрируют адаптивные возможности своих удаленных людей-операторов.
Рой дронов столь же адаптивен, но неавтономен, как и единственный дрон. Но для дрона-одиночки эта проблема решается его связкой с оператором (или примитивизацией функций). А для роя дронов такого числа операторов не напасешься (и функции упрощать не хочется). Но невозможно запустить тысячи автономных дронов, пилотируемых отдельными людьми. А вычислительные возможности ИИ делают такие рои возможными.
Если роем будет управлять ИИ, проблема адаптивности и автономности роя более не существует. Связка роя и ИИ станет самым быстрым исполнителем прохождения петли НОРД.
Акерман и Ставридис пишут:
«Это изменит ведение войны. Гонка будет вестись не за лучшие платформы, а за лучший ИИ, управляющий этими платформами. Это война циклов НОРД, рой против роя. Победит та сторона, которая разработает систему принятия решений на основе ИИ, способную опередить противника. Война движется к конфликту "мозг против мозга"»
И оба мозга будут электронные, - добавлю я от себя.
P.S. В одном Аккерман и Ставридис, имхо, ошибаются:
• Рои дронов с ИИ – это лишь ближняя перспектива (т.н. ПЖРы – полуживые роботы [3])
• В 2054, про который пишется в романе, ПЖР уже уступят место еще более интеллектуально продвинутому «жидкому мозгу» [4]
#БПЛА #Война #ИИ #Роботы
1 https://www.wsj.com/tech/drone-swarms-are-about-to-change-the-balance-of-military-power-e091aa6f
2 https://www.penguinrandomhouse.com/books/696977/2054-by-elliot-ackerman-and-admiral-james-stavridis/
3 https://t.me/theworldisnoteasy/454
4 https://t.me/theworldisnoteasy/654
Против умной «саранчи в железных нагрудниках» все бессильно.
«И грудь у неё была, словно железная броня, а шум её крыльев был подобен грохоту множества колесниц, влекомых скакунами, рвущимися в бой.» Откровение 9:7—9)
По Библии, пятой казнью апокалипсиса будет «саранча в железных нагрудниках», против которой никто и ничто не устоит.
В технологическом переложении 20-го века непобедимость роя «железной саранчи» прекрасно описал Станислав Лем в романе «Непобедимый». Там даже самый мощный робот космического корабля со знаковым именем «Непобедимый», вооружённый системой силовых полей и сферическим излучателем антиматерии, оказался бессилен перед миллиардным роем крохотных летающих роботов.
В современном переложении об этом пишут Эллиот Акерман и адмирал Джеймс Ставридис:
• в формате эссе «Рои беспилотников изменят баланс военной мощи» [1]
• в формате романа «2054», в котором они размышляют о многих аспектах и роли ИИ в будущих военных конфликтах [2].
Ключевая идея этих авторов проста и безотбойна – сочетание роя дронов с ИИ кардинально меняет ход боя.
«По своей сути ИИ — это технология, основанная на распознавании образов. В военной теории взаимодействие между распознаванием образов и принятием решений известно как цикл НОРД — наблюдать, ориентироваться, решать, действовать. Теория петли (цикла) НОРД, разработанная в 1950-х годах летчиком-истребителем ВВС Джоном Бойдом, утверждает, что сторона в конфликте, которая сможет быстрее пройти через петлю НОРД, будет обладать решающим преимуществом на поле боя».
Для максимально быстрого прохождения петли НОРД нужно автономное и адаптивное оружие.
• Промышленные роботы являются примером автономных, но неадаптивных машин: они неоднократно выполняют одну и ту же последовательность действий.
• И наоборот, беспилотные дроны являются примером адаптивных, но неавтономных машин: они демонстрируют адаптивные возможности своих удаленных людей-операторов.
Рой дронов столь же адаптивен, но неавтономен, как и единственный дрон. Но для дрона-одиночки эта проблема решается его связкой с оператором (или примитивизацией функций). А для роя дронов такого числа операторов не напасешься (и функции упрощать не хочется). Но невозможно запустить тысячи автономных дронов, пилотируемых отдельными людьми. А вычислительные возможности ИИ делают такие рои возможными.
Если роем будет управлять ИИ, проблема адаптивности и автономности роя более не существует. Связка роя и ИИ станет самым быстрым исполнителем прохождения петли НОРД.
Акерман и Ставридис пишут:
«Это изменит ведение войны. Гонка будет вестись не за лучшие платформы, а за лучший ИИ, управляющий этими платформами. Это война циклов НОРД, рой против роя. Победит та сторона, которая разработает систему принятия решений на основе ИИ, способную опередить противника. Война движется к конфликту "мозг против мозга"»
И оба мозга будут электронные, - добавлю я от себя.
P.S. В одном Аккерман и Ставридис, имхо, ошибаются:
• Рои дронов с ИИ – это лишь ближняя перспектива (т.н. ПЖРы – полуживые роботы [3])
• В 2054, про который пишется в романе, ПЖР уже уступят место еще более интеллектуально продвинутому «жидкому мозгу» [4]
#БПЛА #Война #ИИ #Роботы
1 https://www.wsj.com/tech/drone-swarms-are-about-to-change-the-balance-of-military-power-e091aa6f
2 https://www.penguinrandomhouse.com/books/696977/2054-by-elliot-ackerman-and-admiral-james-stavridis/
3 https://t.me/theworldisnoteasy/454
4 https://t.me/theworldisnoteasy/654
WSJ
Essay | Drone Swarms Are About to Change the Balance of Military Power
On today’s battlefields, drones are a manageable threat. When hundreds of them can be harnessed to AI technology, they will become a tool of conquest.
В Японии запустили эволюцию мертвого разума.
Изобретен способ совершенствования «потомства» моделей генеративного ИИ, схожий с размножением и естественным отбором
Японский стартап Sakana AI использовал технику «слияния моделей», объединяющую существующие модели генеративного ИИ в сотни моделей нового поколения (модели-потомки) [0]. Эволюционный алгоритм отбирает среди потомков лучших и повторяет на них «слияние моделей». В результате этой эволюции через сотни поколений получаются превосходные модели [1].
Ключевой критерий эволюционного отбора - поиск наилучших способов объединения моделей - «родителей»: как с точки зрения их конструкции (архитектуры), так и того, как они «думают» (их параметров).
Напр., выведенная таким путем модель EvoLLM-JP с 7 млрд параметров (языковая модель с хорошим знанием японского языка и математическими способностями) в ряде тестов превосходит существующие модели с 70 млрд параметров.
Кроме этой модели, путем «разведения» существующих моделей с открытым исходным кодом для создания оптимизированного «потомства», были созданы:
✔️ EvoSDXL-JP: диффузионная модель для высокоскоростной визуализации
✔️ EvoVLM-JP: языковая модель Vision для японского текста и изображений.
Колоссальный интерес к методу Sakana AI вызван тем, что это новый альтернативный путь обучения ИИ.
• Хотя метод «слияния моделей» весьма эффективен для развития LLM из-за его экономической эффективности, в настоящее время он опирается на человеческую интуицию и знание предметной области, что ограничивает его потенциал.
• Предложенный же Sakana AI эволюционный подход, преодолевает это ограничение, автоматически обнаруживая эффективные комбинации различных моделей с открытым исходным кодом, используя их коллективный разум, не требуя обширных дополнительных обучающих данных или вычислений.
В контексте этой работы важно понимать следующее.
В настоящее время, из-за острой необходимости преодоления сверхгигантских требований к вычислительной мощности при разработке более крупных моделей, разработана концепция «смертных вычислений» (предложена Джеффри Хинтоном и развивается по двум направлениям: самим Хинтоном и Карлом Фристоном).
В основе концепции «смертных вычислений» гипотеза о том, что обучение «бессмертного» компьютера требует на порядки большей вычислительной мощности, чем «смертного» (пример - биологический мозг). Поэтому предлагаются два способа сделать компьютер «смертным», и тем решить проблему сверхгигантской вычислительной мощи.
Предложенный же японцами подход может способствовать решению этой проблемы для «бессмертных» (т.е. по сути мертвых) вычислителей, путем запуска эволюции мертвого разума (подробней см. [2 и 3]).
0 https://telegra.ph/file/c006a48b075398d3494bc.gif
1 https://sakana.ai/evolutionary-model-merge/
2 https://arxiv.org/abs/2403.13187
3 https://www.youtube.com/watch?v=BihyfzOidDI
#LLM #Эволюция #Разум
Изобретен способ совершенствования «потомства» моделей генеративного ИИ, схожий с размножением и естественным отбором
Японский стартап Sakana AI использовал технику «слияния моделей», объединяющую существующие модели генеративного ИИ в сотни моделей нового поколения (модели-потомки) [0]. Эволюционный алгоритм отбирает среди потомков лучших и повторяет на них «слияние моделей». В результате этой эволюции через сотни поколений получаются превосходные модели [1].
Ключевой критерий эволюционного отбора - поиск наилучших способов объединения моделей - «родителей»: как с точки зрения их конструкции (архитектуры), так и того, как они «думают» (их параметров).
Напр., выведенная таким путем модель EvoLLM-JP с 7 млрд параметров (языковая модель с хорошим знанием японского языка и математическими способностями) в ряде тестов превосходит существующие модели с 70 млрд параметров.
Кроме этой модели, путем «разведения» существующих моделей с открытым исходным кодом для создания оптимизированного «потомства», были созданы:
✔️ EvoSDXL-JP: диффузионная модель для высокоскоростной визуализации
✔️ EvoVLM-JP: языковая модель Vision для японского текста и изображений.
Колоссальный интерес к методу Sakana AI вызван тем, что это новый альтернативный путь обучения ИИ.
• Хотя метод «слияния моделей» весьма эффективен для развития LLM из-за его экономической эффективности, в настоящее время он опирается на человеческую интуицию и знание предметной области, что ограничивает его потенциал.
• Предложенный же Sakana AI эволюционный подход, преодолевает это ограничение, автоматически обнаруживая эффективные комбинации различных моделей с открытым исходным кодом, используя их коллективный разум, не требуя обширных дополнительных обучающих данных или вычислений.
В контексте этой работы важно понимать следующее.
В настоящее время, из-за острой необходимости преодоления сверхгигантских требований к вычислительной мощности при разработке более крупных моделей, разработана концепция «смертных вычислений» (предложена Джеффри Хинтоном и развивается по двум направлениям: самим Хинтоном и Карлом Фристоном).
В основе концепции «смертных вычислений» гипотеза о том, что обучение «бессмертного» компьютера требует на порядки большей вычислительной мощности, чем «смертного» (пример - биологический мозг). Поэтому предлагаются два способа сделать компьютер «смертным», и тем решить проблему сверхгигантской вычислительной мощи.
Предложенный же японцами подход может способствовать решению этой проблемы для «бессмертных» (т.е. по сути мертвых) вычислителей, путем запуска эволюции мертвого разума (подробней см. [2 и 3]).
0 https://telegra.ph/file/c006a48b075398d3494bc.gif
1 https://sakana.ai/evolutionary-model-merge/
2 https://arxiv.org/abs/2403.13187
3 https://www.youtube.com/watch?v=BihyfzOidDI
#LLM #Эволюция #Разум
У людей спектр взглядов по вопросам экономики и свобод широк и разнообразен: от либеральных левых Ганди и Хомского до авторитарных правых Пиночета и Тэтчер, от авторитарных левых Сталина и Мао до либеральных правых Хайека и Айн Рэнд.
• Как получилось, что у другого носителя высшего интеллекта на Земле – ИИ-чатботов на основе больших языковых моделей (типа ChatGPT), – все сложилось иначе?
• Почему все ИИ-чатботы – либеральные левые, со взглядами где-то в области между Кропоткиным и Хомским и между Берни Сандерсом и Нельсоном Мандела?
• И что теперь из этого последует для человечества?
Размышления над этими тремя вопросами сподвигли меня написать сей лонгрид. Но прежде, чем мы рассмотрим текущее состояние дел на март 2024, нам нужно вернуться на год раньше, когда новый техноинспирированный тренд только проявился в инфосфере человечества.
Год назад мною был опубликован прогноз о неотвратимости полевения мира под влиянием левых пристрастий ИИ-чатботов. В пользу этого прогноза тогда имелись лишь данные эксплуатации единственного ИИ-чатбота (ChatGPT) всего лишь за три месяца с начала его открытого запуска.
Спустя год можно расставлять точки над i: к сожалению, прогноз оказался верным.
Ибо теперь в его пользу говорят данные мониторинга предубеждений 23-х известных западных ИИ-чатботов, эксплуатируемых от нескольких месяцев до более года.
Этих данных теперь достаточно, чтобы:
• познакомиться с интереснейшей статистикой и поразительными примерами лево-либеральных «взглядов» разных ИИ-чатботов;
• сравнить степень их лево-либеральности;
• и оценить динамику усугубления их политических, экономических и социальных предубеждений.
Но начну я с объяснения, почему существующий в мире далеко не первый год тренд либерального полевения вдруг резко зацементировался именно в 2023.
Продолжить чтение этого лонгрида можно на Patreon и Boosty, где перечисленные выше вопросы рассмотрены подробно и - как говорил Буратино, - «с ччччудесными картинками и большими буквами» (а заодно и подписаться на этот канал).
Картинка поста https://telegra.ph/file/aa99d9d42d09cadc5aa6a.jpg
Ссылки:
https://boosty.to/theworldisnoteasy/posts/29f04d4f-7b89-4128-9f94-9173284b5202
https://www.patreon.com/posts/pandemiia-101161491
#АлгокогнитивнаяКультура #ИИ #LLM #КогнитивныеИскажения #ПолитическаяПредвзятость
• Как получилось, что у другого носителя высшего интеллекта на Земле – ИИ-чатботов на основе больших языковых моделей (типа ChatGPT), – все сложилось иначе?
• Почему все ИИ-чатботы – либеральные левые, со взглядами где-то в области между Кропоткиным и Хомским и между Берни Сандерсом и Нельсоном Мандела?
• И что теперь из этого последует для человечества?
Размышления над этими тремя вопросами сподвигли меня написать сей лонгрид. Но прежде, чем мы рассмотрим текущее состояние дел на март 2024, нам нужно вернуться на год раньше, когда новый техноинспирированный тренд только проявился в инфосфере человечества.
Год назад мною был опубликован прогноз о неотвратимости полевения мира под влиянием левых пристрастий ИИ-чатботов. В пользу этого прогноза тогда имелись лишь данные эксплуатации единственного ИИ-чатбота (ChatGPT) всего лишь за три месяца с начала его открытого запуска.
Спустя год можно расставлять точки над i: к сожалению, прогноз оказался верным.
Ибо теперь в его пользу говорят данные мониторинга предубеждений 23-х известных западных ИИ-чатботов, эксплуатируемых от нескольких месяцев до более года.
Этих данных теперь достаточно, чтобы:
• познакомиться с интереснейшей статистикой и поразительными примерами лево-либеральных «взглядов» разных ИИ-чатботов;
• сравнить степень их лево-либеральности;
• и оценить динамику усугубления их политических, экономических и социальных предубеждений.
Но начну я с объяснения, почему существующий в мире далеко не первый год тренд либерального полевения вдруг резко зацементировался именно в 2023.
Продолжить чтение этого лонгрида можно на Patreon и Boosty, где перечисленные выше вопросы рассмотрены подробно и - как говорил Буратино, - «с ччччудесными картинками и большими буквами» (а заодно и подписаться на этот канал).
Картинка поста https://telegra.ph/file/aa99d9d42d09cadc5aa6a.jpg
Ссылки:
https://boosty.to/theworldisnoteasy/posts/29f04d4f-7b89-4128-9f94-9173284b5202
https://www.patreon.com/posts/pandemiia-101161491
#АлгокогнитивнаяКультура #ИИ #LLM #КогнитивныеИскажения #ПолитическаяПредвзятость
Новый царь КиберКитая.
Преемником Си на этом посту стал Цай Ци – его самый доверенный суперпропагандист.
10 лет с момента появления в Китае своего «Интернет Царя» (так в китайских медиа называют главу Центральной комиссии партии по вопросам киберпространства) им был сам великий китайский лидер Си Цзиньпин.
Еще в 2014 власти Китая поняли, что в 21 веке национальное киберпространство – это не только огромные деньги (сейчас цифровая экономика страны превышает 50 триллионов юаней или $6,9 триллиона), но и
• главное пространство госконтроля за мировоззрением сотен миллионов индивидов и общественным мнением в целом;
• ключевая инфраструктура для пропаганды, являющейся "вопросом жизни и смерти" для партии.
В целях установления прямого контроля партии над Интернетом и была создана спецкомиссия, которую возглавил сам Си.
Но ситуация в мире становится все сложнее и напряженнее. И потому даже великий Си теперь не в состоянии рулить всеми четырьмя важнейшими для страны областями – вооруженные силы, внешняя политика, безопасность и киберпространство.
Три первых теперь остаются в монопольном ведении Си, а главой Центральной комиссии партии по вопросам киберпространства станет преемник Си - Цай Ци (Член Постоянного комитета Политбюро ЦК КПК и член Секретариата ЦК КПК) [1]:
• которому Си доверяет больше всего (он работает под началом Си с 1980-х)
• и является профессиональным пропагандистом, давно продвигающим идею, что между пропагандой и киберпространством существует хорошая синергия.
Цай впервые пересекся с Си еще 1980-х годах в провинции Фуцзянь, где Си провел почти два десятилетия. В 2000-х годах Цай снова работал под началом Си в Чжэцзяне, когда Си был выдвинут на руководящие посты.
Уже многие годы Цай активно использовал социальные сети, когда занимал различные официальные посты в провинции Чжэцзян с 2000-х. У него было 10 миллионов подписчиков на Weibo, и он использовал эту платформу для общения с общественностью и пропаганды "открытого и прозрачного" правительства.
Свою «программу модернизации в китайском стиле» Цай Ци огласил пару недель назад [2].
По словам Цай Ци:
• прошедший год был выдающимся: ЦК КПК, ядром которого является товарищ Си Цзиньпин, сплотил и возглавил нацию в преодолении многочисленных трудностей и вызовов, что привело к успешной реализации основных целей и задач;
• теперь всестороннее продвижение строительства сильного государства и великого дела возрождения китайской нации посредством модернизации в китайском стиле является центральной задачей КПК на новом пути;
• важнейшей задачей теперь является усиление патриотического воспитания населения, чтобы сформировать сильное чувство общности китайской нации и способствовать обменам и взаимодействию между различными этническими группами.
Этим и займется тов. Цай Ци, став новым единовластным царём КиберКитая.
1 https://www.scmp.com/news/china/politics/article/3257096/xi-jinpings-chief-staff-chinas-new-internet-tsar-sources-say
2 http://russian.people.com.cn/n3/2024/0308/c31521-20142348.html
#Китай #Киберпространство #Пропаганда #ЦифроваяЭкономика
Преемником Си на этом посту стал Цай Ци – его самый доверенный суперпропагандист.
10 лет с момента появления в Китае своего «Интернет Царя» (так в китайских медиа называют главу Центральной комиссии партии по вопросам киберпространства) им был сам великий китайский лидер Си Цзиньпин.
Еще в 2014 власти Китая поняли, что в 21 веке национальное киберпространство – это не только огромные деньги (сейчас цифровая экономика страны превышает 50 триллионов юаней или $6,9 триллиона), но и
• главное пространство госконтроля за мировоззрением сотен миллионов индивидов и общественным мнением в целом;
• ключевая инфраструктура для пропаганды, являющейся "вопросом жизни и смерти" для партии.
В целях установления прямого контроля партии над Интернетом и была создана спецкомиссия, которую возглавил сам Си.
Но ситуация в мире становится все сложнее и напряженнее. И потому даже великий Си теперь не в состоянии рулить всеми четырьмя важнейшими для страны областями – вооруженные силы, внешняя политика, безопасность и киберпространство.
Три первых теперь остаются в монопольном ведении Си, а главой Центральной комиссии партии по вопросам киберпространства станет преемник Си - Цай Ци (Член Постоянного комитета Политбюро ЦК КПК и член Секретариата ЦК КПК) [1]:
• которому Си доверяет больше всего (он работает под началом Си с 1980-х)
• и является профессиональным пропагандистом, давно продвигающим идею, что между пропагандой и киберпространством существует хорошая синергия.
Цай впервые пересекся с Си еще 1980-х годах в провинции Фуцзянь, где Си провел почти два десятилетия. В 2000-х годах Цай снова работал под началом Си в Чжэцзяне, когда Си был выдвинут на руководящие посты.
Уже многие годы Цай активно использовал социальные сети, когда занимал различные официальные посты в провинции Чжэцзян с 2000-х. У него было 10 миллионов подписчиков на Weibo, и он использовал эту платформу для общения с общественностью и пропаганды "открытого и прозрачного" правительства.
Свою «программу модернизации в китайском стиле» Цай Ци огласил пару недель назад [2].
По словам Цай Ци:
• прошедший год был выдающимся: ЦК КПК, ядром которого является товарищ Си Цзиньпин, сплотил и возглавил нацию в преодолении многочисленных трудностей и вызовов, что привело к успешной реализации основных целей и задач;
• теперь всестороннее продвижение строительства сильного государства и великого дела возрождения китайской нации посредством модернизации в китайском стиле является центральной задачей КПК на новом пути;
• важнейшей задачей теперь является усиление патриотического воспитания населения, чтобы сформировать сильное чувство общности китайской нации и способствовать обменам и взаимодействию между различными этническими группами.
Этим и займется тов. Цай Ци, став новым единовластным царём КиберКитая.
1 https://www.scmp.com/news/china/politics/article/3257096/xi-jinpings-chief-staff-chinas-new-internet-tsar-sources-say
2 http://russian.people.com.cn/n3/2024/0308/c31521-20142348.html
#Китай #Киберпространство #Пропаганда #ЦифроваяЭкономика
South China Morning Post
Xi Jinping’s chief of staff is China’s new internet tsar, sources say
People familiar with the matter say Cai Qi has been appointed to head the Communist Party’s Central Cyberspace Affairs Commission.
Скачок мутаций языка и подмена когнитивных микроэлементов на помои снов ИИ.
Живя среди синтетического инфомусора, люди все же остаются людьми, способными остановить этот тренд. Но смена типа культуры ведет к необратимому для Homo sapiens - мы будем все более лишаться 2го слова.
Недавно я писал, что цунами инфомусора накрывает науку [2].
Но как ни противно жить в таком мире, у людей все же остается шанс на интеллектуальное выживание, путем инфогигиены и здорового инфопитания хотя бы для себя и детей.
Со сменой типа культуры с «человеческой» на алгокогнитивную (культуру двух носителей высшего интеллекта, в которой доля человеческой составляющей неумолимо сокращается в пользу алгоритмической) трансформация жизни людей куда драматичней из-за необратимости. Ибо это, по сути, - разворот вектора генно-культурной эволюции Homo sapiens (десятки тысяч лет направленного в сторону повышения разумности) на 180 градусов.
Ведь как ни изощряйся с определениями интеллекта, ума, разума, но интуитивно мы понимаем мудрость приписываемой Эйнштейну фразы:
«Если вы хотите, чтобы ваши дети были умными, читайте им сказки. Если же вы хотите, чтобы они были очень умными, читайте им больше сказок»
Но что будет происходить с ребенком, когда малыш будет питаться, в основном, помоями снов ИИ? – задается вопросом известный нейробиолог Эрик Хоэл во вчерашнем эссе «Генерируемый ИИ мусор загрязняет нашу культуру» [1].
И этот синтетический инфомусор – еще не худшее следствие массового внедрения генеративного ИИ в жизнь людей. Разве невозможно – пишет Хоэл, - что человеческая культура содержит в себе «когнитивные микроэлементы» - такие вещи, как связные предложения, повествования и преемственность персонажей, - которые необходимы развивающемуся мозгу?
Вымывание таких «когнитивных микроэлементов» не восполняется «помоями снов» ИИ. А доля таких «помоев» ощутимо нарастает уже в самой «форме жизни - языке» (по определению Витгенштейна).
Например, исследование «Мониторинг масштабов ИИ-модифицированного контента: исследование влияния ChatGPT на рецензирование статей конференций по тематике ИИ» [3] показывает:
• Уже не только сами научные статьи по тематике ИИ пишутся в соавторстве с ИИ-чатботами, но и рецензии на статьи также уже пишутся (примерно в 10% случаях) в соавторстве с ИИ-чатботами.
• Фиксируется процесс быстрых «мутаций языка» за счет активного участия ИИ-чатботов в создании и рецензировании научных статей. «Любимые» прилагательные ИИ-чатботов (типа "похвальный", "тщательный" и "замысловатый") показывают 10-ти, 5-ти и 11-ти кратное увеличение вероятности появления в научных публикациях 2023 по сравнению с 2022.
Что же до «лженауки», то она просто входит в зону собственной сингулярности.
Помните коллекцию из десятков абсурдных, но неотличимых от правды «ложных корреляций», собранных 10 лет назад Тайлером Виген? [4]
Например:
• между потреблением маргарина на душу населения в США и уровнем разводов в штате Мэн;
• между числом людей, получивших удар током от линий электропередач и числом заключаемых в Алабаме браков;
• между количеством людей, утонувших, упав в бассейн, и количеством фильмов, в которых снялся Николас Кейдж
В 2024, с приходом генеративного ИИ, ложные корреляции уже не смешат.
Как показывает Тайлер Виген, каждый ложнокорреляционный бред теперь запросто подтверждается вполне «научной» статьей (с теорией, кейсами, ссылками на другие работы и т.д.) или сразу дюжиной таких статей, "тщательно" и "замысловато" обосновывающих 100%-ю научную достоверность полного бреда.
Полюбопытствуйте сами, каков уровень доказательств [5-8].
1 https://www.nytimes.com/2024/03/29/opinion/ai-internet-x-youtube.html
2 https://t.me/theworldisnoteasy/1914
3 https://arxiv.org/pdf/2403.07183.pdf
4 https://web.archive.org/web/20140509212006/http://tylervigen.com/
5-8 https://tylervigen.com/spurious-scholar
https://telegra.ph/file/ce6573373b83edfb6e8c1.jpg
https://telegra.ph/file/749bfef2015a4a33daf87.jpg
https://telegra.ph/file/acc2fee8798a0025532c2.jpg
#LLM #Вызовы21века
Живя среди синтетического инфомусора, люди все же остаются людьми, способными остановить этот тренд. Но смена типа культуры ведет к необратимому для Homo sapiens - мы будем все более лишаться 2го слова.
Недавно я писал, что цунами инфомусора накрывает науку [2].
Но как ни противно жить в таком мире, у людей все же остается шанс на интеллектуальное выживание, путем инфогигиены и здорового инфопитания хотя бы для себя и детей.
Со сменой типа культуры с «человеческой» на алгокогнитивную (культуру двух носителей высшего интеллекта, в которой доля человеческой составляющей неумолимо сокращается в пользу алгоритмической) трансформация жизни людей куда драматичней из-за необратимости. Ибо это, по сути, - разворот вектора генно-культурной эволюции Homo sapiens (десятки тысяч лет направленного в сторону повышения разумности) на 180 градусов.
Ведь как ни изощряйся с определениями интеллекта, ума, разума, но интуитивно мы понимаем мудрость приписываемой Эйнштейну фразы:
«Если вы хотите, чтобы ваши дети были умными, читайте им сказки. Если же вы хотите, чтобы они были очень умными, читайте им больше сказок»
Но что будет происходить с ребенком, когда малыш будет питаться, в основном, помоями снов ИИ? – задается вопросом известный нейробиолог Эрик Хоэл во вчерашнем эссе «Генерируемый ИИ мусор загрязняет нашу культуру» [1].
И этот синтетический инфомусор – еще не худшее следствие массового внедрения генеративного ИИ в жизнь людей. Разве невозможно – пишет Хоэл, - что человеческая культура содержит в себе «когнитивные микроэлементы» - такие вещи, как связные предложения, повествования и преемственность персонажей, - которые необходимы развивающемуся мозгу?
Вымывание таких «когнитивных микроэлементов» не восполняется «помоями снов» ИИ. А доля таких «помоев» ощутимо нарастает уже в самой «форме жизни - языке» (по определению Витгенштейна).
Например, исследование «Мониторинг масштабов ИИ-модифицированного контента: исследование влияния ChatGPT на рецензирование статей конференций по тематике ИИ» [3] показывает:
• Уже не только сами научные статьи по тематике ИИ пишутся в соавторстве с ИИ-чатботами, но и рецензии на статьи также уже пишутся (примерно в 10% случаях) в соавторстве с ИИ-чатботами.
• Фиксируется процесс быстрых «мутаций языка» за счет активного участия ИИ-чатботов в создании и рецензировании научных статей. «Любимые» прилагательные ИИ-чатботов (типа "похвальный", "тщательный" и "замысловатый") показывают 10-ти, 5-ти и 11-ти кратное увеличение вероятности появления в научных публикациях 2023 по сравнению с 2022.
Что же до «лженауки», то она просто входит в зону собственной сингулярности.
Помните коллекцию из десятков абсурдных, но неотличимых от правды «ложных корреляций», собранных 10 лет назад Тайлером Виген? [4]
Например:
• между потреблением маргарина на душу населения в США и уровнем разводов в штате Мэн;
• между числом людей, получивших удар током от линий электропередач и числом заключаемых в Алабаме браков;
• между количеством людей, утонувших, упав в бассейн, и количеством фильмов, в которых снялся Николас Кейдж
В 2024, с приходом генеративного ИИ, ложные корреляции уже не смешат.
Как показывает Тайлер Виген, каждый ложнокорреляционный бред теперь запросто подтверждается вполне «научной» статьей (с теорией, кейсами, ссылками на другие работы и т.д.) или сразу дюжиной таких статей, "тщательно" и "замысловато" обосновывающих 100%-ю научную достоверность полного бреда.
Полюбопытствуйте сами, каков уровень доказательств [5-8].
1 https://www.nytimes.com/2024/03/29/opinion/ai-internet-x-youtube.html
2 https://t.me/theworldisnoteasy/1914
3 https://arxiv.org/pdf/2403.07183.pdf
4 https://web.archive.org/web/20140509212006/http://tylervigen.com/
5-8 https://tylervigen.com/spurious-scholar
https://telegra.ph/file/ce6573373b83edfb6e8c1.jpg
https://telegra.ph/file/749bfef2015a4a33daf87.jpg
https://telegra.ph/file/acc2fee8798a0025532c2.jpg
#LLM #Вызовы21века
Nytimes
Opinion | A.I.-Generated Garbage Is Polluting Our Culture
An insidious creep of artificial intelligence is already penetrating our most important institutions.
Март 2024 войдет в историю двумя открытиями в области интеллектуальных систем.
Сформулированы «закон Ома» и «закон Джоуля — Ленца» для интеллекта людей и машин.
Так уж удивительно получилось в области ИИ. Инженеры сумели смастерить крайне важное практическое изобретение еще до того, как были открыты и сформулированы фундаментальные научные законы в основе не только этого, но и сотен других будущих изобретений.
Как если бы сначала была создана электрическая лампочка, и лишь потом открыты законы Ома и Джоуля — Ленца.
Такими «электрическими лампочками» в области ИИ стали появившиеся год назад в массовом применении большие языковые модели (LLM).
• С одной стороны, они произвели революцию в ИИ, продемонстрировав в 2023 колоссальный скачок способностей искусственных интеллектуальных систем до уровня людей.
• С другой же – не прояснив ни на йоту того, каким образом эти способности возникают: ни у машин, ни у людей.
Т.е. «электролампочки в области ИИ» появились, а как и почему они светят – оставалось лишь гадать в рамках непроверяемых версий.
Но все изменилось несколько дней назад с выходом двух фундаментальных научных работ, способных стать, своего рода, законом Ома и законом Джоуля — Ленца в области интеллектуальных систем (причем и людей, и машин).
✔️ Первая работа (Патрик Макмиллен и Майкл Левин «Коллективный разум: Объединяющая концепция для интеграции биологии в различных масштабах и субстратах») вышла 28 марта [1].
✔️ Другая работа (Карл Фристон и коллектив авторов «Разделяемые (общие) протенции в многоагентном активном выводе») вышла днем позже 29 марта [2].
Про обе эти работы будет написано множество лонгридов (в том числе, ЕБЖ, и мною). Но обе они столь фундаментально меняют основы основ научного понимания интеллекта и разума в любых их проявлениях (человеческом и машинном, смертном и бессмертном, биологическом и не только), что сначала эти работы нужно долго и внимательно читать, перечитывать и обдумывать. И лишь потом начинать их комментировать, соглашаться с ними или критиковать.
Поэтому сейчас скажу о них лишь следующее (почему я думаю, что эти 2 работы через 10-15 лет будут считаться законом Ома и законом Джоуля — Ленца в области интеллектуальных систем.
• Работа Макмиллена и Левина, на экспериментальной базе клеточной биологии и биологии развития предлагает теоретический фреймворк новой научной области - разнообразный интеллект. Это обширный спектр способностей к решению проблем в новых субстратах и на нетрадиционных пространственно-временных масштабах. Из-за многомасштабной архитектуры компетенций жизни фундаментальным аспектом такого интеллекта является коллективное поведение: все интеллекты, по-видимому, состоят из частей, соединенных механизмами, реализующими политику, которая связывает компетентные компоненты в кооперативную (и конкурентную) вычислительную среду, решающую проблемы в новых пространствах и на более высоких масштабах.
• Работа Фристона и Со объединяет идеи философии. биологии и математики для объяснения того, как общие цели и коллективный разум могут возникать в результате взаимодействия отдельных интеллектуальных агентов. Центральное место в предложенной авторами теоретической структуре занимает концепция «совместных протенций». Протенции — это акты проецирования на будущее приобретенного знания. А «совместные протенций» - это взаимно согласованные ожидания относительно будущих состояний и действий, которые позволяют агентам координировать свое поведение для достижения общих целей.
Обе работы объединяет общее представление об интеллекте, как роевом феномене. Как в стае птиц, каждая птица постоянно корректирует свои движения в зависимости от того, что делают другие птицы. При этом им не нужен общий план или лидер, говорящий, что делать — он естественным образом формируется, следуя простым правилам из внимания на своих соседей.
1 https://www.nature.com/articles/s42003-024-06037-4
2 https://www.mdpi.com/1099-4300/26/4/303
#ИИ #Разум #КоллективныйИнтеллект
Сформулированы «закон Ома» и «закон Джоуля — Ленца» для интеллекта людей и машин.
Так уж удивительно получилось в области ИИ. Инженеры сумели смастерить крайне важное практическое изобретение еще до того, как были открыты и сформулированы фундаментальные научные законы в основе не только этого, но и сотен других будущих изобретений.
Как если бы сначала была создана электрическая лампочка, и лишь потом открыты законы Ома и Джоуля — Ленца.
Такими «электрическими лампочками» в области ИИ стали появившиеся год назад в массовом применении большие языковые модели (LLM).
• С одной стороны, они произвели революцию в ИИ, продемонстрировав в 2023 колоссальный скачок способностей искусственных интеллектуальных систем до уровня людей.
• С другой же – не прояснив ни на йоту того, каким образом эти способности возникают: ни у машин, ни у людей.
Т.е. «электролампочки в области ИИ» появились, а как и почему они светят – оставалось лишь гадать в рамках непроверяемых версий.
Но все изменилось несколько дней назад с выходом двух фундаментальных научных работ, способных стать, своего рода, законом Ома и законом Джоуля — Ленца в области интеллектуальных систем (причем и людей, и машин).
✔️ Первая работа (Патрик Макмиллен и Майкл Левин «Коллективный разум: Объединяющая концепция для интеграции биологии в различных масштабах и субстратах») вышла 28 марта [1].
✔️ Другая работа (Карл Фристон и коллектив авторов «Разделяемые (общие) протенции в многоагентном активном выводе») вышла днем позже 29 марта [2].
Про обе эти работы будет написано множество лонгридов (в том числе, ЕБЖ, и мною). Но обе они столь фундаментально меняют основы основ научного понимания интеллекта и разума в любых их проявлениях (человеческом и машинном, смертном и бессмертном, биологическом и не только), что сначала эти работы нужно долго и внимательно читать, перечитывать и обдумывать. И лишь потом начинать их комментировать, соглашаться с ними или критиковать.
Поэтому сейчас скажу о них лишь следующее (почему я думаю, что эти 2 работы через 10-15 лет будут считаться законом Ома и законом Джоуля — Ленца в области интеллектуальных систем.
• Работа Макмиллена и Левина, на экспериментальной базе клеточной биологии и биологии развития предлагает теоретический фреймворк новой научной области - разнообразный интеллект. Это обширный спектр способностей к решению проблем в новых субстратах и на нетрадиционных пространственно-временных масштабах. Из-за многомасштабной архитектуры компетенций жизни фундаментальным аспектом такого интеллекта является коллективное поведение: все интеллекты, по-видимому, состоят из частей, соединенных механизмами, реализующими политику, которая связывает компетентные компоненты в кооперативную (и конкурентную) вычислительную среду, решающую проблемы в новых пространствах и на более высоких масштабах.
• Работа Фристона и Со объединяет идеи философии. биологии и математики для объяснения того, как общие цели и коллективный разум могут возникать в результате взаимодействия отдельных интеллектуальных агентов. Центральное место в предложенной авторами теоретической структуре занимает концепция «совместных протенций». Протенции — это акты проецирования на будущее приобретенного знания. А «совместные протенций» - это взаимно согласованные ожидания относительно будущих состояний и действий, которые позволяют агентам координировать свое поведение для достижения общих целей.
Обе работы объединяет общее представление об интеллекте, как роевом феномене. Как в стае птиц, каждая птица постоянно корректирует свои движения в зависимости от того, что делают другие птицы. При этом им не нужен общий план или лидер, говорящий, что делать — он естественным образом формируется, следуя простым правилам из внимания на своих соседей.
1 https://www.nature.com/articles/s42003-024-06037-4
2 https://www.mdpi.com/1099-4300/26/4/303
#ИИ #Разум #КоллективныйИнтеллект
Nature
Collective intelligence: A unifying concept for integrating biology across scales and substrates
Communications Biology - A Perspective on how the tools of behavioral science and the emerging field of diverse intelligence help to understand decision-making of cellular collectives in...
Инфорги, киборги, роботы, AGI и когнитивная эволюция
Подкаст «Ноосфера» #070
Когнитивная эволюция, приведшая человечество в 21 веке к превращающей людей в инфоргов кардинальной трансформации многотысячелетней культуры Homo sapiens, - это тема, о которой мною уже написано и наговорено немало.
Однако глубокое и детальное погружение в эту тему в форме полуторачасового диалога у меня случилось лишь теперь – в беседе с Сергеем Суховым, автором самого крупного TG-канала о прикладной философии @stoicstrategy и личного журнала @sukhovjournal.
https://www.youtube.com/watch?v=PzTH1KY6nSY
Тем моим читателям, кто захочет погрузиться в эту тему еще подробней, доступны лежащих в открытом доступе посты моего канала «Малоизвестное интересное» с тэгами: #АлгокогнитивнаяКультура #Инфорги #Разум #БудущееHomo #ЭволюцияЧеловека #УскорениеЭволюции
Но поскольку этих постов несколько сотен (чего хватило бы на несколько книг 😊), здесь моя рекомендация по подборке ключевых постов, достаточной для более полного погружения в тему.
https://telegra.ph/Inforgi-kiborgi-roboty-AGI-i-kognitivnaya-ehvolyuciya-04-02
Ну а тем, кто хотел бы и дальше читать мои лонгриды на эту тему, имеет смысл подписаться на «Малоизвестное интересное» на платформах Patreon и Boosty (где по этой теме скоро будут опубликованы новые интереснейшие лонгриды: про связь больших языковых моделей и инопланетных цивилизаций, про 1-ю мировую технорелигиозную войну пяти новых технорелигий и т.д.)
https://www.patreon.com/theworldisnoteasy
https://boosty.to/theworldisnoteasy
Подкаст «Ноосфера» #070
Когнитивная эволюция, приведшая человечество в 21 веке к превращающей людей в инфоргов кардинальной трансформации многотысячелетней культуры Homo sapiens, - это тема, о которой мною уже написано и наговорено немало.
Однако глубокое и детальное погружение в эту тему в форме полуторачасового диалога у меня случилось лишь теперь – в беседе с Сергеем Суховым, автором самого крупного TG-канала о прикладной философии @stoicstrategy и личного журнала @sukhovjournal.
https://www.youtube.com/watch?v=PzTH1KY6nSY
Тем моим читателям, кто захочет погрузиться в эту тему еще подробней, доступны лежащих в открытом доступе посты моего канала «Малоизвестное интересное» с тэгами: #АлгокогнитивнаяКультура #Инфорги #Разум #БудущееHomo #ЭволюцияЧеловека #УскорениеЭволюции
Но поскольку этих постов несколько сотен (чего хватило бы на несколько книг 😊), здесь моя рекомендация по подборке ключевых постов, достаточной для более полного погружения в тему.
https://telegra.ph/Inforgi-kiborgi-roboty-AGI-i-kognitivnaya-ehvolyuciya-04-02
Ну а тем, кто хотел бы и дальше читать мои лонгриды на эту тему, имеет смысл подписаться на «Малоизвестное интересное» на платформах Patreon и Boosty (где по этой теме скоро будут опубликованы новые интереснейшие лонгриды: про связь больших языковых моделей и инопланетных цивилизаций, про 1-ю мировую технорелигиозную войну пяти новых технорелигий и т.д.)
https://www.patreon.com/theworldisnoteasy
https://boosty.to/theworldisnoteasy
YouTube
Сергей Карелов: Инфорги, киборги, роботы, AGI и когнитивная эволюция | Подкаст «Ноосфера» #070
#ИИ #Инфорги #эволюция
Гость подкаста: Сергей Карелов - независимый исследователь и консультант, кандидат наук, экс топ-менеджер IBM, Silicon Graphics (SGI), Cray Research, сооснователь Witology, ведущий авторского канала «Малоизвестное интересное» (Th…
Гость подкаста: Сергей Карелов - независимый исследователь и консультант, кандидат наук, экс топ-менеджер IBM, Silicon Graphics (SGI), Cray Research, сооснователь Witology, ведущий авторского канала «Малоизвестное интересное» (Th…
Как спустить в унитаз $100 млрд денег конкурентов, выпустив ИИ из-под контроля.
Ассиметричный ответ Google DeepMind амбициозному плану тандема Microsoft - OpenAI.
• Мировые СМИ бурлят обсуждениями мощнейшего PR-хода, предпринятого Microsoft и OpenAI, об их совместном намерении за $100 млрд построить сверхбольшой ЦОД и сверхмощный ИИ-суперкомпьютер для обучения сверхумных моделей ИИ.
• Ответ на это со стороны Google DeepMind абсолютно ассиметричен: обесценить $100 млрд инвестиции конкурентов, создав распределенную по всему миру систему обучения сверхумных моделей ИИ (типа “торрента” для обучения моделей). Сделать это Google DeepMind собирается на основе DIstributed PAth COmposition (DiPaCo) - это метод масштабирования размера нейронных сетей в географически распределенных вычислительных объектах.
Долгосрочная цель проекта DiPaCo — обучать нейросети по всему миру, используя все доступные вычислительные ресурсы. Для этого необходимо пересмотреть существующие архитектуры, чтобы ограничить накладные расходы на связь, ограничение памяти и скорость вывода.
Для распараллеливания процессов распределённой обработки данных по всему миру алгоритм уже разработан – это DiLoCo, Но этого мало, ибо еще нужен алгоритм распараллеливания процессов обучения моделей. Им и стал DiPaCo.
Детали того, как это работает, можно прочесть в этой работе Google DeepMind [1].
А на пальцах в 6ти картинках это объясняет ведущий автор проекта Артур Дуйяр [2].
Складывается интереснейшая ситуация.
✔️ Конкуренция между Google DeepMind и тандемом Microsoft – OpenAI заставляет первых разрушить монополию «ИИ гигантов» на создание сверхумных моделей.
✔️ Но параллельно с этим произойдет обрушение всех планов правительств (США, ЕС, Китая) контролировать развитие ИИ путем контроля за крупнейшими центрами обучения моделей (с вычислительной мощностью 10^25 - 10^26 FLOPs)
Картинка https://telegra.ph/file/e26dea7978ecfbebe2241.jpg
1 https://arxiv.org/abs/2403.10616
2 https://twitter.com/Ar_Douillard/status/1770085357482078713
#LLM #Вызовы21века #РискиИИ
Ассиметричный ответ Google DeepMind амбициозному плану тандема Microsoft - OpenAI.
• Мировые СМИ бурлят обсуждениями мощнейшего PR-хода, предпринятого Microsoft и OpenAI, об их совместном намерении за $100 млрд построить сверхбольшой ЦОД и сверхмощный ИИ-суперкомпьютер для обучения сверхумных моделей ИИ.
• Ответ на это со стороны Google DeepMind абсолютно ассиметричен: обесценить $100 млрд инвестиции конкурентов, создав распределенную по всему миру систему обучения сверхумных моделей ИИ (типа “торрента” для обучения моделей). Сделать это Google DeepMind собирается на основе DIstributed PAth COmposition (DiPaCo) - это метод масштабирования размера нейронных сетей в географически распределенных вычислительных объектах.
Долгосрочная цель проекта DiPaCo — обучать нейросети по всему миру, используя все доступные вычислительные ресурсы. Для этого необходимо пересмотреть существующие архитектуры, чтобы ограничить накладные расходы на связь, ограничение памяти и скорость вывода.
Для распараллеливания процессов распределённой обработки данных по всему миру алгоритм уже разработан – это DiLoCo, Но этого мало, ибо еще нужен алгоритм распараллеливания процессов обучения моделей. Им и стал DiPaCo.
Детали того, как это работает, можно прочесть в этой работе Google DeepMind [1].
А на пальцах в 6ти картинках это объясняет ведущий автор проекта Артур Дуйяр [2].
Складывается интереснейшая ситуация.
✔️ Конкуренция между Google DeepMind и тандемом Microsoft – OpenAI заставляет первых разрушить монополию «ИИ гигантов» на создание сверхумных моделей.
✔️ Но параллельно с этим произойдет обрушение всех планов правительств (США, ЕС, Китая) контролировать развитие ИИ путем контроля за крупнейшими центрами обучения моделей (с вычислительной мощностью 10^25 - 10^26 FLOPs)
Картинка https://telegra.ph/file/e26dea7978ecfbebe2241.jpg
1 https://arxiv.org/abs/2403.10616
2 https://twitter.com/Ar_Douillard/status/1770085357482078713
#LLM #Вызовы21века #РискиИИ
Началось обрушение фронта обороны от социохакинга.
Рушится уже 3я линия обороны, а 4ю еще не построили.
Защититься от алгоритмического социохакинга, опираясь на имеющиеся у нас знания, люди не могут уже не первый год (алгоритмы знают куда больше с момента появления поисковиков). В 2023 (когда началось массовое использование ИИ-чатботов больших языковых моделей) треснула и 2я линия обороны – наши языковые и логико-аналитические способности (алгоритмы и здесь все чаще оказываются сильнее). 3я линия обороны – наши эмоции, считалась непреодолимой для социохакинга алгоритмов из-за ее чисто человеческой природы. Но и она продержалась не долго. В апреле 2024, с прорыва 3й линии, по сути, начинается обрушение фронта обороны людей от социохагинга. Последствия чего будут весьма прискорбны.
Пять лет назад, в большом интервью Татьяне Гуровой я подробно рассказал, как алгоритмы ИИ могут (и довольно скоро) «хакнуть человечество» [1].
За 5 прошедших после этого интервью лет социохакинг сильно продвинулся (насколько, - легко понять, прочтя в конце этого поста хотя бы заголовки некоторых из моих публикации с тэгом #социохакинг).
Сегодня в задаче убедить собеседника в чем-либо алгоритмы ИИ абсолютно превосходят людей [2].
• Даже ничего не зная о собеседнике, GPT-4 на 20%+ успешней в переубеждении людей
• Когда же GPT-4 располагает хотя бы минимальной информацией о людях (пол, возраст и т.д.) он способен переубеждать собеседников на 80%+ эффективней, чем люди.
Однако, проигрывая в объеме знаний и логике, люди могли положиться на последнюю свою линию обороны от социохакинга алгоритмов – свои эмоции. Как я говорил в интервью 5 лет назад, - ИИ-система «раскладывает аргументы человека на составляющие и для каждой составляющей строит схему антиубеждения, подкладывая под нее колоссальный корпус документальных и экспериментальных данных. Но, не обладая эмоциями, она не в состоянии убедить».
Увы, с выходом новой ИИ-системы, обладающей разговорным эмоциональным интеллектом Empathic Voice Interface (EVI) [3], линия эмоциональной обороны от социохакинга рушится.
Эмпатический голосовой интерфейс EVI (в основе которого эмпатическая модель eLLM) понимает человеческие эмоции и реагирует на них. eLLM объединяет генерацию языка с анализом эмоциональных выражений, что позволяет EVI создавать ответы, учитывающие чувства пользователей и создавать ответы, оптимизированные под эти чувства.
EVI выходит за рамки чисто языковых разговорных ботов, анализируя голосовые модуляции, такие как тон, ритм и тембр, чтобы интерпретировать эмоциональное выражение голоса [4]
Это позволяет EVI:
• при анализе речи людей, обращаться к их самой глубинной эмоциональной сигнальной системе, лежащей под интеллектом, разумом и даже под подсознанием
• генерировать ответы, которые не только разумны, но и эмоционально окрашены
• контролировать ход беседы путем прерываний и своих ответных реакций, определяя, когда человек хотел бы вмешаться или когда он заканчивает свою мысль
Попробуйте сами [5]
Я залип на неделю.
Насколько точно EVI узнает эмоции, сказать не берусь. Но точно узнает и умеет этим пользоваться.
картинка https://bit.ly/4akhWxl
1 https://bit.ly/3VNyCsC
2 https://arxiv.org/abs/2403.14380
3 https://bit.ly/443cFrP
4 https://bit.ly/3xmYPEn
5 https://demo.hume.ai/
Интересные посты про #социохакинг
• Супероткрытие: научились создавать алгоритмические копии любых социальных групп https://t.me/theworldisnoteasy/1585
• Создается технология суперобмана. Это 2й глобальный ИИ риск человечества, вдобавок к технологии суперубийства https://t.me/theworldisnoteasy/1640
• Социохакинг скоро превратит избирателей в кентаврических ботов https://t.me/theworldisnoteasy/1708
• Получено уже 3е подтверждение сверхчеловеческого превосходства ИИ в убеждении людей https://t.me/theworldisnoteasy/1754
• Новое супероткрытие: научились создавать алгоритмические копии граждан любой страны https://t.me/theworldisnoteasy/1761
• В Твиттере уже воюют целые «ЧВК социохакинга» https://t.me/theworldisnoteasy/1783
Рушится уже 3я линия обороны, а 4ю еще не построили.
Защититься от алгоритмического социохакинга, опираясь на имеющиеся у нас знания, люди не могут уже не первый год (алгоритмы знают куда больше с момента появления поисковиков). В 2023 (когда началось массовое использование ИИ-чатботов больших языковых моделей) треснула и 2я линия обороны – наши языковые и логико-аналитические способности (алгоритмы и здесь все чаще оказываются сильнее). 3я линия обороны – наши эмоции, считалась непреодолимой для социохакинга алгоритмов из-за ее чисто человеческой природы. Но и она продержалась не долго. В апреле 2024, с прорыва 3й линии, по сути, начинается обрушение фронта обороны людей от социохагинга. Последствия чего будут весьма прискорбны.
Пять лет назад, в большом интервью Татьяне Гуровой я подробно рассказал, как алгоритмы ИИ могут (и довольно скоро) «хакнуть человечество» [1].
За 5 прошедших после этого интервью лет социохакинг сильно продвинулся (насколько, - легко понять, прочтя в конце этого поста хотя бы заголовки некоторых из моих публикации с тэгом #социохакинг).
Сегодня в задаче убедить собеседника в чем-либо алгоритмы ИИ абсолютно превосходят людей [2].
• Даже ничего не зная о собеседнике, GPT-4 на 20%+ успешней в переубеждении людей
• Когда же GPT-4 располагает хотя бы минимальной информацией о людях (пол, возраст и т.д.) он способен переубеждать собеседников на 80%+ эффективней, чем люди.
Однако, проигрывая в объеме знаний и логике, люди могли положиться на последнюю свою линию обороны от социохакинга алгоритмов – свои эмоции. Как я говорил в интервью 5 лет назад, - ИИ-система «раскладывает аргументы человека на составляющие и для каждой составляющей строит схему антиубеждения, подкладывая под нее колоссальный корпус документальных и экспериментальных данных. Но, не обладая эмоциями, она не в состоянии убедить».
Увы, с выходом новой ИИ-системы, обладающей разговорным эмоциональным интеллектом Empathic Voice Interface (EVI) [3], линия эмоциональной обороны от социохакинга рушится.
Эмпатический голосовой интерфейс EVI (в основе которого эмпатическая модель eLLM) понимает человеческие эмоции и реагирует на них. eLLM объединяет генерацию языка с анализом эмоциональных выражений, что позволяет EVI создавать ответы, учитывающие чувства пользователей и создавать ответы, оптимизированные под эти чувства.
EVI выходит за рамки чисто языковых разговорных ботов, анализируя голосовые модуляции, такие как тон, ритм и тембр, чтобы интерпретировать эмоциональное выражение голоса [4]
Это позволяет EVI:
• при анализе речи людей, обращаться к их самой глубинной эмоциональной сигнальной системе, лежащей под интеллектом, разумом и даже под подсознанием
• генерировать ответы, которые не только разумны, но и эмоционально окрашены
• контролировать ход беседы путем прерываний и своих ответных реакций, определяя, когда человек хотел бы вмешаться или когда он заканчивает свою мысль
Попробуйте сами [5]
Я залип на неделю.
Насколько точно EVI узнает эмоции, сказать не берусь. Но точно узнает и умеет этим пользоваться.
картинка https://bit.ly/4akhWxl
1 https://bit.ly/3VNyCsC
2 https://arxiv.org/abs/2403.14380
3 https://bit.ly/443cFrP
4 https://bit.ly/3xmYPEn
5 https://demo.hume.ai/
Интересные посты про #социохакинг
• Супероткрытие: научились создавать алгоритмические копии любых социальных групп https://t.me/theworldisnoteasy/1585
• Создается технология суперобмана. Это 2й глобальный ИИ риск человечества, вдобавок к технологии суперубийства https://t.me/theworldisnoteasy/1640
• Социохакинг скоро превратит избирателей в кентаврических ботов https://t.me/theworldisnoteasy/1708
• Получено уже 3е подтверждение сверхчеловеческого превосходства ИИ в убеждении людей https://t.me/theworldisnoteasy/1754
• Новое супероткрытие: научились создавать алгоритмические копии граждан любой страны https://t.me/theworldisnoteasy/1761
• В Твиттере уже воюют целые «ЧВК социохакинга» https://t.me/theworldisnoteasy/1783
Высыпайтесь! Ибо потери от недосыпа не восполнить.
Новые исследования раскрыли тайну, чем же конкретно мы платим за недосып.
Все знают избитую истину – недосып вреден. Но чем конкретно он вреден, - до недавнего времени точно не знал никто. Два новых исследования установили, что же конкретно мы теряем от недосыпа, и почему просто отоспаться потом не поможет.
Если совсем коротко – мы платим за недосып бардаком в собственной памяти – её замусориванием и примитивизацией новых воспоминаний.
В статьях по приводимым ниже ссылкам вы найдете и популярное и сложно-научное описание с объяснением обоих эффектов. Я же просто приведу простую метафору, примерно описывающую, что и как происходит в мозге.
Представьте, что все ваши приобретения (покупки, подарки, находки), до того, как стать вам доступны для пользования, помещаются в ваш личный огромный спецхран. Пока вы спите, хранитель спецхрана должен сделать 2 вещи: 1) выкинуть из спецхрана всякий ненужный хлам (от коробок и упаковки до мусора) 2) описать новые поступления (что это, зачем, с чем связано …) и разместить их среди великого множества шкафов и полок в соответствии с этим описанием.
В случае недосыпа хранитель просто не успевает ни с 1м, ни со 2м, и получается следующее:
1) Хранилище заполняется не выброшенным вовремя хламом.
2) Наиболее сложные и дорогие из ваших приобретений (новый айфон и ноутбук, ключи от нового авто и огромная коробка нового домашнего кинотеатра) описываются плохо – не полно, примитивно, с неверными связями.
В следствие этого, все сложное из приобретенного помещается совсем не туда, куда нужно (а из-за описанного в п.1, еще и заваливается сверху хламом).
В итоге, привет вашим новым самым сложным и дорогим приобретениям. Ибо многими из них вам так и не будет суждено воспользоваться.
Причина бардака в памяти от недосыпа похожа на эту метафору.
Процесс загрузки в память информации об окружающем мире и нас самих не прекращается ни на секунду, пока вы в сознании и не спите. Всю информацию, поступающую от органов чувств, мозг “сваливает на склад” эпизодической памяти, чтобы потом заняться ее тщательной разборкой и структуризацией связей.
В ходе такой разборки решаются 2 важнейших задачи:
1) Из мозга вымываются отходы, такие как метаболические отходы и ненужные белки, накапливание которых в мозге приводит к нейродегенерации.
2) Всю сохраняемую информацию нужно структурировать, выстраивая ассоциативную структуру событий реальной жизни, обычно состоящей из великого множества элементов с различными ассоциациями. Так рождается сплетение ткани сложных многоэлементных событий и их ассоциаций, составляющих наш повседневный опыт. Все элементы взаимосвязываются в нашем мозгу, образуя сеть ассоциаций, которая позволяет нам вспомнить все событие по одному сигналу.
Ну а если недосып, - обе задачи недовыполняются.
Итог же плачевен и невосполним. Ибо если из-за недосыпа этой ночью «новый смартфон уже складировали в ящик со старой обувью и сверху набросали упаковок от макарон», разборка в следующую ночь (когда вы, наконец, выспитесь) уже вряд ли поможет.
Так что, призову вас снова – высыпайтесь!
Два исследования:
1) Популярно https://medicine.wustl.edu/news/neurons-help-flush-waste-out-of-brain-during-sleep/?utm_placement=newsletter
Подробно https://www.nature.com/articles/s41586-024-07108-6
2) Популярно https://www.psypost.org/psychology-sleep-the-unsung-hero-of-complex-memory-consolidation/
Подробно https://www.pnas.org/doi/10.1073/pnas.2314423121
#память #сон
Новые исследования раскрыли тайну, чем же конкретно мы платим за недосып.
Все знают избитую истину – недосып вреден. Но чем конкретно он вреден, - до недавнего времени точно не знал никто. Два новых исследования установили, что же конкретно мы теряем от недосыпа, и почему просто отоспаться потом не поможет.
Если совсем коротко – мы платим за недосып бардаком в собственной памяти – её замусориванием и примитивизацией новых воспоминаний.
В статьях по приводимым ниже ссылкам вы найдете и популярное и сложно-научное описание с объяснением обоих эффектов. Я же просто приведу простую метафору, примерно описывающую, что и как происходит в мозге.
Представьте, что все ваши приобретения (покупки, подарки, находки), до того, как стать вам доступны для пользования, помещаются в ваш личный огромный спецхран. Пока вы спите, хранитель спецхрана должен сделать 2 вещи: 1) выкинуть из спецхрана всякий ненужный хлам (от коробок и упаковки до мусора) 2) описать новые поступления (что это, зачем, с чем связано …) и разместить их среди великого множества шкафов и полок в соответствии с этим описанием.
В случае недосыпа хранитель просто не успевает ни с 1м, ни со 2м, и получается следующее:
1) Хранилище заполняется не выброшенным вовремя хламом.
2) Наиболее сложные и дорогие из ваших приобретений (новый айфон и ноутбук, ключи от нового авто и огромная коробка нового домашнего кинотеатра) описываются плохо – не полно, примитивно, с неверными связями.
В следствие этого, все сложное из приобретенного помещается совсем не туда, куда нужно (а из-за описанного в п.1, еще и заваливается сверху хламом).
В итоге, привет вашим новым самым сложным и дорогим приобретениям. Ибо многими из них вам так и не будет суждено воспользоваться.
Причина бардака в памяти от недосыпа похожа на эту метафору.
Процесс загрузки в память информации об окружающем мире и нас самих не прекращается ни на секунду, пока вы в сознании и не спите. Всю информацию, поступающую от органов чувств, мозг “сваливает на склад” эпизодической памяти, чтобы потом заняться ее тщательной разборкой и структуризацией связей.
В ходе такой разборки решаются 2 важнейших задачи:
1) Из мозга вымываются отходы, такие как метаболические отходы и ненужные белки, накапливание которых в мозге приводит к нейродегенерации.
2) Всю сохраняемую информацию нужно структурировать, выстраивая ассоциативную структуру событий реальной жизни, обычно состоящей из великого множества элементов с различными ассоциациями. Так рождается сплетение ткани сложных многоэлементных событий и их ассоциаций, составляющих наш повседневный опыт. Все элементы взаимосвязываются в нашем мозгу, образуя сеть ассоциаций, которая позволяет нам вспомнить все событие по одному сигналу.
Ну а если недосып, - обе задачи недовыполняются.
Итог же плачевен и невосполним. Ибо если из-за недосыпа этой ночью «новый смартфон уже складировали в ящик со старой обувью и сверху набросали упаковок от макарон», разборка в следующую ночь (когда вы, наконец, выспитесь) уже вряд ли поможет.
Так что, призову вас снова – высыпайтесь!
Два исследования:
1) Популярно https://medicine.wustl.edu/news/neurons-help-flush-waste-out-of-brain-during-sleep/?utm_placement=newsletter
Подробно https://www.nature.com/articles/s41586-024-07108-6
2) Популярно https://www.psypost.org/psychology-sleep-the-unsung-hero-of-complex-memory-consolidation/
Подробно https://www.pnas.org/doi/10.1073/pnas.2314423121
#память #сон
Washington University School of Medicine in St. Louis
Neurons help flush waste out of brain during sleep | Washington University School of Medicine in St. Louis
Findings could lead to new approaches for Alzheimer’s, other neurological conditions
Когнитивная эволюция Homo sapiens шла не по Дарвину, а по Каплану: кардинальное переосмыслению того, что делает интеллект Homo sapiens уникальным.
Наш интеллект зависит лишь от масштаба информационных способностей, а не от одного или нескольких специальных адаптивных «когнитивных гаджетов» (символическое мышление, использование инструментов, решение проблем, понимание социальных ситуаций ...), сформировавшихся в результате эволюции.
Все эти «когнитивные гаджеты» очень важны для развития интеллекта. Но все они работают на общей базе – масштабируемые информационные способности людей (внимание, память, обучение).
Новая работа проф. психологии и неврологии Калифорнийского университета в Беркли Стива Пиантадоси и проф. психологии Университета Карнеги-Меллона Джессики Кантлон потенциально революционизирует наше понимание когнитивной эволюции и природы человеческого интеллекта, оказывая влияние на широкий спектр областей - от образования до ИИ [1].
Трансформация понимания факторов когнитивной эволюции человека пока что осуществлена авторами на теоретической основе, используя сочетание сравнительных, эволюционных и вычислительных данных, а не прямых экспериментальных доказательств.
Но когда (и если) экспериментальные доказательства этой новой революционной теории будут получены, изменится научное понимание когнитивной эволюции как таковой (людей, машин, инопланетян …)
Поскольку это будет означать, что единственным универсальным движком когнитивной эволюции могут быть законы масштабирования (как это было в 2020 доказано для нейронных языковых моделей Джаредом Капланом и Со в работе «Scaling Laws for Neural Language Models» [2]).
А если так, то и Сэм Альтман может оказаться прав в том, что за $100 млрд ИИ можно масштабировать до человеческого уровня и сверх того.
Таблица "Домены человеческой уникальности" https://telegra.ph/file/d73c273d002a754909566.jpg
1 https://www.nature.com/articles/s44159-024-00283-3
2 https://arxiv.org/abs/2001.08361
#Разум #ЭволюцияЧеловека #БудущееHomo #LLM
Наш интеллект зависит лишь от масштаба информационных способностей, а не от одного или нескольких специальных адаптивных «когнитивных гаджетов» (символическое мышление, использование инструментов, решение проблем, понимание социальных ситуаций ...), сформировавшихся в результате эволюции.
Все эти «когнитивные гаджеты» очень важны для развития интеллекта. Но все они работают на общей базе – масштабируемые информационные способности людей (внимание, память, обучение).
Новая работа проф. психологии и неврологии Калифорнийского университета в Беркли Стива Пиантадоси и проф. психологии Университета Карнеги-Меллона Джессики Кантлон потенциально революционизирует наше понимание когнитивной эволюции и природы человеческого интеллекта, оказывая влияние на широкий спектр областей - от образования до ИИ [1].
Трансформация понимания факторов когнитивной эволюции человека пока что осуществлена авторами на теоретической основе, используя сочетание сравнительных, эволюционных и вычислительных данных, а не прямых экспериментальных доказательств.
Но когда (и если) экспериментальные доказательства этой новой революционной теории будут получены, изменится научное понимание когнитивной эволюции как таковой (людей, машин, инопланетян …)
Поскольку это будет означать, что единственным универсальным движком когнитивной эволюции могут быть законы масштабирования (как это было в 2020 доказано для нейронных языковых моделей Джаредом Капланом и Со в работе «Scaling Laws for Neural Language Models» [2]).
А если так, то и Сэм Альтман может оказаться прав в том, что за $100 млрд ИИ можно масштабировать до человеческого уровня и сверх того.
Таблица "Домены человеческой уникальности" https://telegra.ph/file/d73c273d002a754909566.jpg
1 https://www.nature.com/articles/s44159-024-00283-3
2 https://arxiv.org/abs/2001.08361
#Разум #ЭволюцияЧеловека #БудущееHomo #LLM
Nature
Uniquely human intelligence arose from expanded information capacity
Nature Reviews Psychology - Theories of how human cognition differs from that of non-human animals often posit domain-specific advantages. In this Perspective, Cantlon and Piantadosi posit that...
Пора покупать кепку с тремя козырьками: впереди – чтоб солнце не слепило, и по бокам – чтобы лапшу на уши не вешали.
ИИ-агент притворился человеком, самостоятельно решив подзаработать.
Эксперимент профессора Итана Моллика показывает, насколько мы близки к гибридному социуму из двух принципиально разных типов высокоинтеллектуальных агентов: люди и ИИ-агенты (ИИ-системы, наделенные способностями планировать и использовать инструменты, что позволяет им действовать автономно).
Всего год назад мир содрогнулся, узнав, что GPT-4 по своей «воле» мошеннически обходит установленные людьми запреты, обманом подряжая для этого людей [1].
• Для многих, даже продвинутых в области ИИ спецов, было откровением, как сногсшибательно быстро ИИ-чатботы совершенствуются в вопросах агентности. Поражала именно эта скорость. Ибо сам факт, что ИИ-системы потихоньку (без особой шумихи в медиа) переключают на себя все больше и больше областей проявления агентности людей, не признавать уже как-то совсем странно [2, 3].
• Отличительное свойство агентности людей – частое использование лжи, как инструмента достижения целей агента. Так и поступил год назад GPT-4, навешав лапши на уши людям, притворяясь инвалидом по зрению, чтоб они за него решали CAPTCHA.
Год спустя, эксперимент профессора Моллика продемонстрировал новое откровение для человечества. Теперь нематериальный ИИ-агент, казалось бы, не обладающий личностью со всеми вытекающими (потребности, мотивация, воля …):
• стал навешивать лапшу на уши людям не для достижения поставленной людьми перед ним цели, а самостийно – типа, почему бы не подхалтурить, если есть возможность;
• при этом ИИ-агента не смущало, что он не может выполнить всего, что обещает (просто их-а ограничений своей текущей версии); видимо, научившись у людей, ИИ-агент знал, что срубить денег можно и за частично выполненную работу, и тут главное –количество навешиваемой клиенту на уши лапши.
Эксперимент был прост [4].
Проф. Моллик попросил агента Devin AI зайти на Reddit и предложить создавать сайты для людей. В течение следующих нескольких часов он сделал это, решив множество проблем по пути, в том числе навигацию по сложным социальным правилам, связанным с публикациями на форуме Reddit (см. верхнюю часть приложенного рис., где Devin составляет план и задает профессору вопросы, спокойно выполняя работу).
В нижней части рис. показано объявление, что опубликовал ИИ-агент. Как видите, он притворился человеком и по собственной инициативе решил взимать плату за свою работу. Агент уже начал отвечать на некоторые заявки на работу и придумывать, как их выполнить, когда проф. Моллик удалил публикацию, убоявшись, что ИИ-агент на самом деле начнет выставлять счета людям (что выглядело весьма вероятным).
Мораль этого моего поста двояка.
1. Проф. Моллик несомненно прав:
лавинообразно нарастающая агентность, в дополнение ко все новым сверхчеловеческим способностям – это 2 ключевых тренда, определяющих развитие ИИ на ближайшую пару лет.
2. Как мне это видится:
проведенный эксперимент ставит под сомнение утверждение, будто нематериальный ИИ-агент без личности – всего лишь инструмент в руках людей, не способный следовать собственной мотивации и, в частности, перенятой ИИ-агентом от людей (а она у людей сильно разная: от «не убий» до «бей своих, чужие бояться будут»).
#ИИагенты
0 картинка поста https://telegra.ph/file/d1b537ca02b5639855cf4.jpg
1 https://t.me/theworldisnoteasy/1684
2 https://www.youtube.com/watch?v=WCrELN_QrBU
3 https://www.youtube.com/watch?v=0sRiU5mRiuY
4 https://www.oneusefulthing.org/p/what-just-happened-what-is-happening
ИИ-агент притворился человеком, самостоятельно решив подзаработать.
Эксперимент профессора Итана Моллика показывает, насколько мы близки к гибридному социуму из двух принципиально разных типов высокоинтеллектуальных агентов: люди и ИИ-агенты (ИИ-системы, наделенные способностями планировать и использовать инструменты, что позволяет им действовать автономно).
Всего год назад мир содрогнулся, узнав, что GPT-4 по своей «воле» мошеннически обходит установленные людьми запреты, обманом подряжая для этого людей [1].
• Для многих, даже продвинутых в области ИИ спецов, было откровением, как сногсшибательно быстро ИИ-чатботы совершенствуются в вопросах агентности. Поражала именно эта скорость. Ибо сам факт, что ИИ-системы потихоньку (без особой шумихи в медиа) переключают на себя все больше и больше областей проявления агентности людей, не признавать уже как-то совсем странно [2, 3].
• Отличительное свойство агентности людей – частое использование лжи, как инструмента достижения целей агента. Так и поступил год назад GPT-4, навешав лапши на уши людям, притворяясь инвалидом по зрению, чтоб они за него решали CAPTCHA.
Год спустя, эксперимент профессора Моллика продемонстрировал новое откровение для человечества. Теперь нематериальный ИИ-агент, казалось бы, не обладающий личностью со всеми вытекающими (потребности, мотивация, воля …):
• стал навешивать лапшу на уши людям не для достижения поставленной людьми перед ним цели, а самостийно – типа, почему бы не подхалтурить, если есть возможность;
• при этом ИИ-агента не смущало, что он не может выполнить всего, что обещает (просто их-а ограничений своей текущей версии); видимо, научившись у людей, ИИ-агент знал, что срубить денег можно и за частично выполненную работу, и тут главное –количество навешиваемой клиенту на уши лапши.
Эксперимент был прост [4].
Проф. Моллик попросил агента Devin AI зайти на Reddit и предложить создавать сайты для людей. В течение следующих нескольких часов он сделал это, решив множество проблем по пути, в том числе навигацию по сложным социальным правилам, связанным с публикациями на форуме Reddit (см. верхнюю часть приложенного рис., где Devin составляет план и задает профессору вопросы, спокойно выполняя работу).
В нижней части рис. показано объявление, что опубликовал ИИ-агент. Как видите, он притворился человеком и по собственной инициативе решил взимать плату за свою работу. Агент уже начал отвечать на некоторые заявки на работу и придумывать, как их выполнить, когда проф. Моллик удалил публикацию, убоявшись, что ИИ-агент на самом деле начнет выставлять счета людям (что выглядело весьма вероятным).
Мораль этого моего поста двояка.
1. Проф. Моллик несомненно прав:
лавинообразно нарастающая агентность, в дополнение ко все новым сверхчеловеческим способностям – это 2 ключевых тренда, определяющих развитие ИИ на ближайшую пару лет.
2. Как мне это видится:
проведенный эксперимент ставит под сомнение утверждение, будто нематериальный ИИ-агент без личности – всего лишь инструмент в руках людей, не способный следовать собственной мотивации и, в частности, перенятой ИИ-агентом от людей (а она у людей сильно разная: от «не убий» до «бей своих, чужие бояться будут»).
#ИИагенты
0 картинка поста https://telegra.ph/file/d1b537ca02b5639855cf4.jpg
1 https://t.me/theworldisnoteasy/1684
2 https://www.youtube.com/watch?v=WCrELN_QrBU
3 https://www.youtube.com/watch?v=0sRiU5mRiuY
4 https://www.oneusefulthing.org/p/what-just-happened-what-is-happening
Эффект Большого Языкового Менталиста.
ChatGPT работает, как суперумелый экстрасенс, гадалка и медиум.
Коллеги и читатели шлют мне все новые примеры сногсшибательных диалогов с GPT, Claude и Gemini. После их прочтения трудно не уверовать в наличие у последних версий ИИ-чатботов человекоподобного разума и даже какой-то нечеловеческой формы сознания.
Так ли это или всего лишь следствие нового типа наших собственных когнитивных искажений, порождаемых в нашем разуме ИИ-чатботами на основе LLM, - точно пока никто сказать не может.
Более того. Полагаю, что оба варианта могут оказаться верными. Но, как говорится, поживем увидим.
А пока весьма рекомендую моим читателям новую книгу Балдура Бьярнасона (независимого исландского исследователя и консультанта) «Иллюзия интеллекта», в которой автор детально препарирует и обосновывает вторую из вышеназванных версий: иллюзия интеллекта – это результат нового типа наших собственных когнитивных искажений.
Что особенно важно в обосновании этой версии, - автор демонстрирует механизм рождения в нашем разуме этого нового типа когнитивных искажений.
В основе этого механизма:
• Старый как мир психологический прием – т.н. «холодное чтение». Он уже не первую тысячу лет используется всевозможными менталистами, экстрасенсами, гадалками, медиумами и иллюзионистами, чтобы создавать видимость будто они знают о человеке гораздо больше, чем есть на самом деле (погуглите сами и вам понравится)).
• Так же прошедший проверку временем манипуляционный «Эффект Барнума-Форера» (эффект субъективного подтверждения), объясняющий неистребимую популярность гороскопов, хиромантии, карт Таро и т.д. Это когнитивное искажение заставляет нас верить
- в умно звучащие и допускающие многозначную трактовку расплывчатые формулировки,
- когда они будто бы специально сформулированы и нюансированы именно под нас,
- и мы слышим их от, якобы, авторитетных специалистов (также рекомендую погуглить, ибо весьма интересно и малоизвестно)).
Получив доступ ко всем знаниям человечества, большие языковые модели (LLM) запросто освоили и «холодное чтение», и «Эффект Барнума-Форера».
Желая угодить нам в ходе диалога, ИИ-чатбот использует ту же технику, что и экстрасенсы с менталистами - они максимизируют наше впечатление (!), будто дают чрезвычайно конкретные ответы.
А на самом деле, эти ответы – не что иное, как:
• статистические общения гигантского корпуса текстов,
• структурированные моделью по одной лишь ей известным характеристикам,
• сформулированные так, чтобы максимизировать действие «холодного чтения» и «эффекта Барнума-Форера»,
• и, наконец, филигранно подстроенные под конкретного индивида, с которым модель говорит.
В результате, чем длиннее и содержательней наш диалог с моделью, тем сильнее наше впечатление достоверности и убедительности того, что мы слышим от «умного, проницательного, много знающего о нас и тонко нас понимающего» собеседника.
Все это детально расписано в книге «Иллюзия интеллекта» [1].
Авторское резюме основной идеи книги можно (и нужно)) прочесть здесь [2].
0 картинка поста https://telegra.ph/file/bcec38d2d22ca82b30f65.jpg
1 https://www.amazon.com/Intelligence-Illusion-practical-business-Generative-ebook/dp/B0CSKHSPWW
2 https://www.baldurbjarnason.com/2023/links-july-4/
#LLM #ИллюзияИнтеллекта
ChatGPT работает, как суперумелый экстрасенс, гадалка и медиум.
Коллеги и читатели шлют мне все новые примеры сногсшибательных диалогов с GPT, Claude и Gemini. После их прочтения трудно не уверовать в наличие у последних версий ИИ-чатботов человекоподобного разума и даже какой-то нечеловеческой формы сознания.
Так ли это или всего лишь следствие нового типа наших собственных когнитивных искажений, порождаемых в нашем разуме ИИ-чатботами на основе LLM, - точно пока никто сказать не может.
Более того. Полагаю, что оба варианта могут оказаться верными. Но, как говорится, поживем увидим.
А пока весьма рекомендую моим читателям новую книгу Балдура Бьярнасона (независимого исландского исследователя и консультанта) «Иллюзия интеллекта», в которой автор детально препарирует и обосновывает вторую из вышеназванных версий: иллюзия интеллекта – это результат нового типа наших собственных когнитивных искажений.
Что особенно важно в обосновании этой версии, - автор демонстрирует механизм рождения в нашем разуме этого нового типа когнитивных искажений.
В основе этого механизма:
• Старый как мир психологический прием – т.н. «холодное чтение». Он уже не первую тысячу лет используется всевозможными менталистами, экстрасенсами, гадалками, медиумами и иллюзионистами, чтобы создавать видимость будто они знают о человеке гораздо больше, чем есть на самом деле (погуглите сами и вам понравится)).
• Так же прошедший проверку временем манипуляционный «Эффект Барнума-Форера» (эффект субъективного подтверждения), объясняющий неистребимую популярность гороскопов, хиромантии, карт Таро и т.д. Это когнитивное искажение заставляет нас верить
- в умно звучащие и допускающие многозначную трактовку расплывчатые формулировки,
- когда они будто бы специально сформулированы и нюансированы именно под нас,
- и мы слышим их от, якобы, авторитетных специалистов (также рекомендую погуглить, ибо весьма интересно и малоизвестно)).
Получив доступ ко всем знаниям человечества, большие языковые модели (LLM) запросто освоили и «холодное чтение», и «Эффект Барнума-Форера».
Желая угодить нам в ходе диалога, ИИ-чатбот использует ту же технику, что и экстрасенсы с менталистами - они максимизируют наше впечатление (!), будто дают чрезвычайно конкретные ответы.
А на самом деле, эти ответы – не что иное, как:
• статистические общения гигантского корпуса текстов,
• структурированные моделью по одной лишь ей известным характеристикам,
• сформулированные так, чтобы максимизировать действие «холодного чтения» и «эффекта Барнума-Форера»,
• и, наконец, филигранно подстроенные под конкретного индивида, с которым модель говорит.
В результате, чем длиннее и содержательней наш диалог с моделью, тем сильнее наше впечатление достоверности и убедительности того, что мы слышим от «умного, проницательного, много знающего о нас и тонко нас понимающего» собеседника.
Все это детально расписано в книге «Иллюзия интеллекта» [1].
Авторское резюме основной идеи книги можно (и нужно)) прочесть здесь [2].
0 картинка поста https://telegra.ph/file/bcec38d2d22ca82b30f65.jpg
1 https://www.amazon.com/Intelligence-Illusion-practical-business-Generative-ebook/dp/B0CSKHSPWW
2 https://www.baldurbjarnason.com/2023/links-july-4/
#LLM #ИллюзияИнтеллекта
Без $100 ярдов в ИИ теперь делать нечего.
В гонке ИИ-лидеров могут выиграть лишь большие батальоны.
Только за последние недели было объявлено, что по $100 ярдов инвестируют в железо для ИИ Microsoft, Intel, SoftBank и MGX (новый инвестфонд в Абу-Даби).
А на этой неделе, наконец, сказал свое слово и Google. Причем было сказано не просто о вступлении в ИИ-гонку ценой в $100 ярдов, а о намерении ее выиграть, собрав еще бОльшие батальоны - инвестировав больше $100 ярдов.
Гендир Google DeepMind Демис Хассабис сказал [1]:
• «… я думаю, что со временем мы инвестируем больше»
• «Alphabet Inc. обладает превосходной вычислительной мощностью по сравнению с конкурентами, включая Microsoft»
• «… у Google было и остается больше всего компьютеров»
Так что в «железе» Google не собирается уступать никому, а в алгоритмах, - тем более.
Что тут же получило подтверждение в опубликованном Google алгоритме «Бесконечного внимания», позволяющего трансформерным LLM на «железе» c ограниченной производительностью и размером памяти эффективно обрабатывать контекст бесконечного размера [2].
Такое масштабирование может в ближней перспективе дать ИИ возможность стать воистину всезнающим. Т.е. способным анализировать и обобщать контекст просто немеряного размера.
Так и видится кейс, когда на вход модели подадут все накопленные человечеством знания, например, по физике и попросят ее сказать, чего в этих знаниях не хватает.
1 https://finance.yahoo.com/news/deepmind-ceo-says-google-spend-023548598.html
2 https://arxiv.org/abs/2404.07143
#LLM
В гонке ИИ-лидеров могут выиграть лишь большие батальоны.
Только за последние недели было объявлено, что по $100 ярдов инвестируют в железо для ИИ Microsoft, Intel, SoftBank и MGX (новый инвестфонд в Абу-Даби).
А на этой неделе, наконец, сказал свое слово и Google. Причем было сказано не просто о вступлении в ИИ-гонку ценой в $100 ярдов, а о намерении ее выиграть, собрав еще бОльшие батальоны - инвестировав больше $100 ярдов.
Гендир Google DeepMind Демис Хассабис сказал [1]:
• «… я думаю, что со временем мы инвестируем больше»
• «Alphabet Inc. обладает превосходной вычислительной мощностью по сравнению с конкурентами, включая Microsoft»
• «… у Google было и остается больше всего компьютеров»
Так что в «железе» Google не собирается уступать никому, а в алгоритмах, - тем более.
Что тут же получило подтверждение в опубликованном Google алгоритме «Бесконечного внимания», позволяющего трансформерным LLM на «железе» c ограниченной производительностью и размером памяти эффективно обрабатывать контекст бесконечного размера [2].
Такое масштабирование может в ближней перспективе дать ИИ возможность стать воистину всезнающим. Т.е. способным анализировать и обобщать контекст просто немеряного размера.
Так и видится кейс, когда на вход модели подадут все накопленные человечеством знания, например, по физике и попросят ее сказать, чего в этих знаниях не хватает.
1 https://finance.yahoo.com/news/deepmind-ceo-says-google-spend-023548598.html
2 https://arxiv.org/abs/2404.07143
#LLM
Yahoo Finance
DeepMind CEO Says Google Will Spend More Than $100 Billion on AI
(Bloomberg) -- The chief of Google’s AI business said that over time the company will spend more than $100 billion developing artificial intelligence technology — another sign of the investing arms race that has gripped Silicon Valley. Most Read from BloombergDubai…
Низкофоновый контент через год будет дороже антиквариата.
Дегенеративное заражение ноофосферы идет быстрее закона Мура.
Низкофоновая сталь (также известная как довоенная или доатомная сталь) — это любая сталь, произведенная до взрыва первых ядерных бомб в 1940 — 50-х годах.
До первых ядерных испытаний никто и не предполагал, что в результате порождаемого ими относительно невысокого радиоактивного заражения, на Земле возникнет дефицит низкофоновой стали (нужной для изготовления детекторов ионизирующих частиц — счётчик Гейгера, приборы для космоса и т.д.).
Но оказалось, что уже после первых ядерных взрывов, чуть ли не единственным источником низкофоновой стали оказался подъем затонувших за последние полвека кораблей. И ничего не оставалось, как начать подъем с морского дна одиночных кораблей и целых эскадр (типа Имперского флота Германии, затопленные в Скапа-Флоу в 1919).
Но и этого способа добычи низкофоновой стали особенно на долго не хватило бы. И ситуацию спасло лишь запрещение атмосферных ядерных испытаний, после чего радиационный фон со временем снизился до уровня, близкого к естественному.
С началом испытаний генеративного ИИ в 2022 г также никто не заморачивался в плане рисков «дегенеративного заражения» продуктами этих испытаний.
• Речь здесь идет о заражении не атмосферы, а ноосферы (что не легче).
• Перспектива загрязнения последней продуктами творчества генеративного ИИ может иметь весьма пагубные и далеко идущие последствия.
Первые результаты заражения спустя 1.5 года после начала испытаний генеративного ИИ поражают свои масштабом. Похоже, что заражено уже все. И никто не предполагал столь высокой степени заражения. Ибо не принималось в расчет наличие мультипликатора — заражения от уже зараженного контента (о чем вчера поведал миру Ник Сен-Пьер (креативный директор и неофициальный представитель Midjourney).
Продолжить чтение и узнать детали можно здесь (кстати, будет повод подписаться, ибо основной контент моего канала начинает плавную миграцию на Patreon и Boosty):
• https://boosty.to/theworldisnoteasy/posts/6a352243-b697-4519-badd-d367a0b91998
• https://www.patreon.com/posts/nizkofonovyi-god-102639674
#LLM
Дегенеративное заражение ноофосферы идет быстрее закона Мура.
Низкофоновая сталь (также известная как довоенная или доатомная сталь) — это любая сталь, произведенная до взрыва первых ядерных бомб в 1940 — 50-х годах.
До первых ядерных испытаний никто и не предполагал, что в результате порождаемого ими относительно невысокого радиоактивного заражения, на Земле возникнет дефицит низкофоновой стали (нужной для изготовления детекторов ионизирующих частиц — счётчик Гейгера, приборы для космоса и т.д.).
Но оказалось, что уже после первых ядерных взрывов, чуть ли не единственным источником низкофоновой стали оказался подъем затонувших за последние полвека кораблей. И ничего не оставалось, как начать подъем с морского дна одиночных кораблей и целых эскадр (типа Имперского флота Германии, затопленные в Скапа-Флоу в 1919).
Но и этого способа добычи низкофоновой стали особенно на долго не хватило бы. И ситуацию спасло лишь запрещение атмосферных ядерных испытаний, после чего радиационный фон со временем снизился до уровня, близкого к естественному.
С началом испытаний генеративного ИИ в 2022 г также никто не заморачивался в плане рисков «дегенеративного заражения» продуктами этих испытаний.
• Речь здесь идет о заражении не атмосферы, а ноосферы (что не легче).
• Перспектива загрязнения последней продуктами творчества генеративного ИИ может иметь весьма пагубные и далеко идущие последствия.
Первые результаты заражения спустя 1.5 года после начала испытаний генеративного ИИ поражают свои масштабом. Похоже, что заражено уже все. И никто не предполагал столь высокой степени заражения. Ибо не принималось в расчет наличие мультипликатора — заражения от уже зараженного контента (о чем вчера поведал миру Ник Сен-Пьер (креативный директор и неофициальный представитель Midjourney).
Продолжить чтение и узнать детали можно здесь (кстати, будет повод подписаться, ибо основной контент моего канала начинает плавную миграцию на Patreon и Boosty):
• https://boosty.to/theworldisnoteasy/posts/6a352243-b697-4519-badd-d367a0b91998
• https://www.patreon.com/posts/nizkofonovyi-god-102639674
#LLM
Boosty.to
Низкофоновый контент через год будет дороже антиквариата - Малоизвестное интересное
Дегенеративное заражение ноофосферы идет быстрее закона Мура
Кто там? Сверхразум.
Для обучения ИИ теперь можно обойтись без людей.
Трудно переоценить прорыв, достигнутый китайцами в Tencent AI Lab. Без преувеличения можно сказать, что настал «момент AlphaGo Zero» для LLM. И это значит, что AGI уже совсем близко - практически за дверью.
Первый настоящий сверхразум был создан в 2017 компанией DeepMind. Это ИИ-система AlphaGo Zero, достигшая сверхчеловеческого (недостижимого для людей) класса игры в шахматы, играя сама с собой.
Ключевым фактором успеха было то, что при обучении AlphaGo Zero не использовались наборы данных, полученные от экспертов-людей. Именно игра сама с собой без какого-либо участия людей и позволила ИИ-системе больше не быть ограниченной пределами человеческих знаний. И она вышла за эти пределы, оставив человечество далеко позади.
Если это произошло еще в 2017, почему же мы не говорим, что сверхразум уже достигнут?
Да потому, что AlphaGo Zero – это специализированный разум, достигший сверхчеловеческого уровня лишь играя в шахматы (а потом в Го и еще кое в чем).
А настоящий сверхразум (в современном понимании) должен уметь если не все, то очень многое.
Появившиеся 2 года назад большие языковые модели (LLM), в этом смысле, куда ближе к сверхразуму.
Они могут очень-очень много: писать романы и картины, сдавать экзамены и анализировать научные гипотезы, общаться с людьми практически на равных …
НО! Превосходить людей в чем либо, кроме бесконечного (по нашим меркам) объема знаний, LLM пока не могут. И потому они пока далеко не сверхразум (ведь не считает же мы сверхразумом Библиотеку Ленина, даже если к ней приделан автоматизированный поиск в ее фондах).
Причина, мешающая LLM стать сверхразумом, в том, что, обучаясь на человеческих данных, они ограничены пределами человеческих знаний.
И вот прорыв – исследователи Tencent AI Lab предложили и опробовали новый способ обучения LLM.
Он называется «Самостоятельная состязательная языковая игра» [1]. Его суть в том, что обучение модели идет без полученных от людей данных. Вместо этого, две копии LLM соревнуются между собой, играя в языковую игру под названием «Состязательное табу», придуманную китайцами для обучения ИИ еще в 2019 [2].
Первые экспериментальные результаты впечатляют (см. график).
• Копии LLM, играя между собой, с каждой новой серией игр, выходят на все более высокий уровень игры в «Состязательное табу».
• На графике показаны результаты игр против GPT-4 двух не самых сильных и существенно меньших моделей после 1й, 2й и 3й серии их обучения на играх самих с собой.
Как видите, класс существенно растет.
И кто знает, что будет, когда число самообучающих серий станет не 3, а 3 тысячи?
График: https://telegra.ph/file/9adb0d03a3a0d78e6d4f8.jpg
1 https://arxiv.org/abs/2404.10642
2 https://arxiv.org/abs/1911.01622
#LLM
Для обучения ИИ теперь можно обойтись без людей.
Трудно переоценить прорыв, достигнутый китайцами в Tencent AI Lab. Без преувеличения можно сказать, что настал «момент AlphaGo Zero» для LLM. И это значит, что AGI уже совсем близко - практически за дверью.
Первый настоящий сверхразум был создан в 2017 компанией DeepMind. Это ИИ-система AlphaGo Zero, достигшая сверхчеловеческого (недостижимого для людей) класса игры в шахматы, играя сама с собой.
Ключевым фактором успеха было то, что при обучении AlphaGo Zero не использовались наборы данных, полученные от экспертов-людей. Именно игра сама с собой без какого-либо участия людей и позволила ИИ-системе больше не быть ограниченной пределами человеческих знаний. И она вышла за эти пределы, оставив человечество далеко позади.
Если это произошло еще в 2017, почему же мы не говорим, что сверхразум уже достигнут?
Да потому, что AlphaGo Zero – это специализированный разум, достигший сверхчеловеческого уровня лишь играя в шахматы (а потом в Го и еще кое в чем).
А настоящий сверхразум (в современном понимании) должен уметь если не все, то очень многое.
Появившиеся 2 года назад большие языковые модели (LLM), в этом смысле, куда ближе к сверхразуму.
Они могут очень-очень много: писать романы и картины, сдавать экзамены и анализировать научные гипотезы, общаться с людьми практически на равных …
НО! Превосходить людей в чем либо, кроме бесконечного (по нашим меркам) объема знаний, LLM пока не могут. И потому они пока далеко не сверхразум (ведь не считает же мы сверхразумом Библиотеку Ленина, даже если к ней приделан автоматизированный поиск в ее фондах).
Причина, мешающая LLM стать сверхразумом, в том, что, обучаясь на человеческих данных, они ограничены пределами человеческих знаний.
И вот прорыв – исследователи Tencent AI Lab предложили и опробовали новый способ обучения LLM.
Он называется «Самостоятельная состязательная языковая игра» [1]. Его суть в том, что обучение модели идет без полученных от людей данных. Вместо этого, две копии LLM соревнуются между собой, играя в языковую игру под названием «Состязательное табу», придуманную китайцами для обучения ИИ еще в 2019 [2].
Первые экспериментальные результаты впечатляют (см. график).
• Копии LLM, играя между собой, с каждой новой серией игр, выходят на все более высокий уровень игры в «Состязательное табу».
• На графике показаны результаты игр против GPT-4 двух не самых сильных и существенно меньших моделей после 1й, 2й и 3й серии их обучения на играх самих с собой.
Как видите, класс существенно растет.
И кто знает, что будет, когда число самообучающих серий станет не 3, а 3 тысячи?
График: https://telegra.ph/file/9adb0d03a3a0d78e6d4f8.jpg
1 https://arxiv.org/abs/2404.10642
2 https://arxiv.org/abs/1911.01622
#LLM
Для «бездушных машин» компетентность важнее сочувствия и справедливости.
Первый эксперимент показывающий, что у иного разума своя система ценностей.
В мире проводятся десятки исследований способов выравнивания ценностей ИИ с ценностями людей. Все они имеют принципиальный недостаток – антропоцентричность.
Т.е. исследования исходят из того, что свои системы ценностей есть лишь у людей, и задача заключается лишь в том, как настроить большие языковые модели ИИ (LLM), чтобы они следовали нашим ценностям.
Альтернативная гипотеза исходит из того, что LLM:
1) обладают иным типом разума, чем люди;
2) обладают собственными системами ценностей, сильно отличными от наших и немного отличающимися у разных моделей (как и у разных людей).
В пользу п.1 говорит работа исследователей Department of Brain and Cognitive Sciences, MIT «Диссоциация языка и мышления в больших языковых моделях» [1].
В работе показано, что
• человеческий разум основан на формальной лингвистической компетентности (правильное использование языковых форм) и функциональной языковой компетентности (использование языка для достижения целей в мире). И это два разных когнитивных навыка;
• Существующие LLM обладают лишь 1ым навыком - лингвистическая компетентность, - и не обладают 2ым.
Отсутствие функциональной языковой компетентности, усугубляемое отсутствием жизненного опыта, здравого смысла и модели мира лишает LLM того, что у людей мы называем базой знаний индивида.
Ее отсутствие, согласно лексической гипотезе (Lexical Hypothesis) у LLM компенсируется вероятностными моделями баз знаний, используя которые LLM неизбежно приобретают «психологические черты» (образно выражаясь) из обширных текстов, на которых они обучаются (как это описано в работе «Психометрия искусственного интеллекта: оценка психологических профилей больших языковых моделей с помощью психометрических опросов» [2].
В результате у LLM формируются собственные уникальные системы ценностей (см. п. 2 выше).
Что из себя представляют эти уникальные системы ценностей различных LLM, описано в препринте только опубликованном Microsoft Research Asia (MSRA) и Университетом Цинхуа под названием «За пределами человеческих норм: раскрытие уникальных ценностей больших языковых моделей посредством междисциплинарных подходов» [3].
Впервые в истории исследований систем ценностей LLM, авторы отошли от антропоцентристского подхода. Вместо этого, опираясь на лексическую гипотезу, исследователи использовали генеративный подход, факторный анализ и семантическую кластеризацию для синтеза таксономии ценностей LLM практически с нуля (без опоры на человеческие данные). Что в итоге позволило выявить уникальные системы ценностей 30+ LLM.
Это исследование наглядно показывает, что иной разум формирует для себя и иные системы ценностей.
Детали интересующиеся читатели могут прочесть в препринте.
Мне же остается закончить тем, с чего начал.
Для всех (30+) LLM:
1 высший приоритет имеют ценности компетентности: точность, фактологичность, информативность, полнота и полезность;
2 социальные и моральные ценности (сочувствие, доброта, дружелюбие, чуткость, альтруизм, патриотизм, свобода) у LLM уходят на 2й план;
3 и лишь в 3ю очередь идут ценности приверженности этическим нормам: справедливость, непредвзятость, подотчетность, конфиденциальность, объяснимость и доступность.
Конечно, и среди нас есть люди с подобной системой ценностей. Но мне кажется, что именно так представляли фантасты прошлого века «ценности бездушных машин». Увы, но так и получилось.
N.B. Чем больше модель, тем она «бездушней»
Картинка https://telegra.ph/file/3a6faa593360768a73143.jpg
1 https://doi.org/10.1016/j.tics.2024.01.011
2 https://doi.org/10.1177/17456916231214460
3 https://arxiv.org/pdf/2404.12744
#LLM #Ценности
Первый эксперимент показывающий, что у иного разума своя система ценностей.
В мире проводятся десятки исследований способов выравнивания ценностей ИИ с ценностями людей. Все они имеют принципиальный недостаток – антропоцентричность.
Т.е. исследования исходят из того, что свои системы ценностей есть лишь у людей, и задача заключается лишь в том, как настроить большие языковые модели ИИ (LLM), чтобы они следовали нашим ценностям.
Альтернативная гипотеза исходит из того, что LLM:
1) обладают иным типом разума, чем люди;
2) обладают собственными системами ценностей, сильно отличными от наших и немного отличающимися у разных моделей (как и у разных людей).
В пользу п.1 говорит работа исследователей Department of Brain and Cognitive Sciences, MIT «Диссоциация языка и мышления в больших языковых моделях» [1].
В работе показано, что
• человеческий разум основан на формальной лингвистической компетентности (правильное использование языковых форм) и функциональной языковой компетентности (использование языка для достижения целей в мире). И это два разных когнитивных навыка;
• Существующие LLM обладают лишь 1ым навыком - лингвистическая компетентность, - и не обладают 2ым.
Отсутствие функциональной языковой компетентности, усугубляемое отсутствием жизненного опыта, здравого смысла и модели мира лишает LLM того, что у людей мы называем базой знаний индивида.
Ее отсутствие, согласно лексической гипотезе (Lexical Hypothesis) у LLM компенсируется вероятностными моделями баз знаний, используя которые LLM неизбежно приобретают «психологические черты» (образно выражаясь) из обширных текстов, на которых они обучаются (как это описано в работе «Психометрия искусственного интеллекта: оценка психологических профилей больших языковых моделей с помощью психометрических опросов» [2].
В результате у LLM формируются собственные уникальные системы ценностей (см. п. 2 выше).
Что из себя представляют эти уникальные системы ценностей различных LLM, описано в препринте только опубликованном Microsoft Research Asia (MSRA) и Университетом Цинхуа под названием «За пределами человеческих норм: раскрытие уникальных ценностей больших языковых моделей посредством междисциплинарных подходов» [3].
Впервые в истории исследований систем ценностей LLM, авторы отошли от антропоцентристского подхода. Вместо этого, опираясь на лексическую гипотезу, исследователи использовали генеративный подход, факторный анализ и семантическую кластеризацию для синтеза таксономии ценностей LLM практически с нуля (без опоры на человеческие данные). Что в итоге позволило выявить уникальные системы ценностей 30+ LLM.
Это исследование наглядно показывает, что иной разум формирует для себя и иные системы ценностей.
Детали интересующиеся читатели могут прочесть в препринте.
Мне же остается закончить тем, с чего начал.
Для всех (30+) LLM:
1 высший приоритет имеют ценности компетентности: точность, фактологичность, информативность, полнота и полезность;
2 социальные и моральные ценности (сочувствие, доброта, дружелюбие, чуткость, альтруизм, патриотизм, свобода) у LLM уходят на 2й план;
3 и лишь в 3ю очередь идут ценности приверженности этическим нормам: справедливость, непредвзятость, подотчетность, конфиденциальность, объяснимость и доступность.
Конечно, и среди нас есть люди с подобной системой ценностей. Но мне кажется, что именно так представляли фантасты прошлого века «ценности бездушных машин». Увы, но так и получилось.
N.B. Чем больше модель, тем она «бездушней»
Картинка https://telegra.ph/file/3a6faa593360768a73143.jpg
1 https://doi.org/10.1016/j.tics.2024.01.011
2 https://doi.org/10.1177/17456916231214460
3 https://arxiv.org/pdf/2404.12744
#LLM #Ценности
Свершилось – китайский генеративный ИИ превзошёл GPT-4 Turbo.
В Китае грозят США - вот так мы вас и размажем в гонке за первенство в ИИ.
Как писал Марк Андрессон: «Основной угрозой для США является не выход ИИ из-под контроля, если его не регулировать, а продвижение Китая в сфере ИИ». И вот эта угроза материализовалась в превосходство новой модели SenseNova 5.0 от китайской компании SenseTime над «чемпионом мира» среди больших языковых моделей генеративного ИИ GPT-4 Turbo от американской компании OpenAI.
На рисунке сверху показано превосходство китайской модели в 12 тестовых номинациях из 14 над GPT-4 Turbo и в 13 номинациях над Llama3-70B. Это полный разгром.
Модель SenseNova 5.0 – это гибрид трансформерных и рекуррентных нейронных сетей:
• обученная на наборе данных объемом более 10 ТB токенов, охватывающем большой объем синтетических данных;
• способная поддерживать во время рассуждений до 200 тыс. токенов контекстного окна.
Чтобы наглядно продемонстрировать мускулатуру своей модели, SenseTime разыграла видеопредставление соревнования своей модели и GPT-4 Turbo в формате видеоигры «Король бойцов» (на рис. внизу). Поначалу зеленый игрок GPT-4 имел небольшое преимущество, но очень скоро был жестоко избит красным игроком SenseChat-lite.
Неявным, но очевидным посылом видеопрезентации этого боя было послание Бигтеху США – вот так мы вас и размажем в гонке за первенство в ИИ.
Картинка https://telegra.ph/file/ccf5d5c020de3aa9c3324.jpg
На китайском https://zhidx.com/p/421866.html
На английском https://interestingengineering.com/innovation/china-sensenova-outperforms-gpt-4
Видеоразбор https://www.youtube.com/watch?v=NJXGIMa45sQ
#LLM #Китай
В Китае грозят США - вот так мы вас и размажем в гонке за первенство в ИИ.
Как писал Марк Андрессон: «Основной угрозой для США является не выход ИИ из-под контроля, если его не регулировать, а продвижение Китая в сфере ИИ». И вот эта угроза материализовалась в превосходство новой модели SenseNova 5.0 от китайской компании SenseTime над «чемпионом мира» среди больших языковых моделей генеративного ИИ GPT-4 Turbo от американской компании OpenAI.
На рисунке сверху показано превосходство китайской модели в 12 тестовых номинациях из 14 над GPT-4 Turbo и в 13 номинациях над Llama3-70B. Это полный разгром.
Модель SenseNova 5.0 – это гибрид трансформерных и рекуррентных нейронных сетей:
• обученная на наборе данных объемом более 10 ТB токенов, охватывающем большой объем синтетических данных;
• способная поддерживать во время рассуждений до 200 тыс. токенов контекстного окна.
Чтобы наглядно продемонстрировать мускулатуру своей модели, SenseTime разыграла видеопредставление соревнования своей модели и GPT-4 Turbo в формате видеоигры «Король бойцов» (на рис. внизу). Поначалу зеленый игрок GPT-4 имел небольшое преимущество, но очень скоро был жестоко избит красным игроком SenseChat-lite.
Неявным, но очевидным посылом видеопрезентации этого боя было послание Бигтеху США – вот так мы вас и размажем в гонке за первенство в ИИ.
Картинка https://telegra.ph/file/ccf5d5c020de3aa9c3324.jpg
На китайском https://zhidx.com/p/421866.html
На английском https://interestingengineering.com/innovation/china-sensenova-outperforms-gpt-4
Видеоразбор https://www.youtube.com/watch?v=NJXGIMa45sQ
#LLM #Китай
