Искусственный интеллект

[b-graf]

ИИ за пару дней решил загадку супербактерий, над которой учёные бились годами

Профессор Хосе Р. Пенадас (Jose R Penades) и его команда из Имперского колледжа Лондона на протяжении десятка лет выясняли, почему некоторые супербактерии устойчивы к антибиотикам. Когда исследование наконец было закончено, ученые сформулировали для ИИ от Google суть проблемы.

3dnews.ru

 

[Jaq]

Подумалось. Когда ИИ, для тренировки перенаправят с тупого human-recognition (картинки сколько велосипедов) на форумы типа этого, то будет ли результатом dead internet? Если уже сейчас c brain-dead humans пользователи взаимодействуют, то подпустить заместо льстивое ИИ, оно зайдёт на ура безшовно.

 

[b-graf]

Вся олигофрения ChatGPT-5 - в двух эпизодах одного сеанса о перевернутой чашке

...Такие дела...

alex-rozoff.livejournal.com

 

[b-graf]

Обеспокоенность в отрасли в связи с планами нового регулирования

Реакция отрасли: что ожидается от нового российского регулирования ИИ

ict.moscow

 

[Aelia]

Да, именно так ИИ и врет, и сочиняет. Но все равно невероятно полезен. Надо просто приспособиться к нему, понимать его особенности.
От нас на работе руководство требует, чтобы мы активно пользовались. И не зря требует - когда научаешься им пользоваться, производительность сильно подскакивает. Но , конечно, часто ошибается, вряд ли он вытеснит нас с рабочих мест в ближайшее два-три года. Но те, кто пользуется им, будут вытеснять тех, кто не пользуется, это несомненно.

P.S. На днях друг рассказывал. Он в Англии живет, математик. Говорит, год назад к нему приставили выпускника, интерна, который стал показывать мощную производительность. Сделал большую работу, сложные расчеты, все правильно, отлично. Друг удивлялся - как он справился. Оказалось - пользуется ИИ (кажется, тем же Chat GPT). Показал моему другу, как, тот тоже освоил, пользуется.
А в этом году другу дали другого интерна, и друг не смог убедить его работать с ИИ. Тот уперся - да нет, зачем. Я сам. В итоге ничего не сделал, совсем, ноль. Таковы реалии на почве, или как там говорится.

Я не пользовался особо... В каких то технических вещах разок и ли два, по юридическим разок и вроде всё нормально...Хотя я уже сомневаюсь. А по гуманитарии это трындец. Я сейчас его попробовал погонять. Позадавал вопросы о биографии Флавия, в контексте его семейной жизни, о которой очень мало отголосков и эта пакость опять начала изобретать. На вопрос : зачем ты врёшь ? Он вообще завис и пока я пил чай, он думал и просил ещё время.
Ну его к лешему... Я шокирован... Вчера , когда он это выдал, я пока ехал, всё никак не мог успокоится...Как я мог такое не помнить? Я вроде читал Флавия и не раз кусками, потом критику... Меня затерзали сомнения. Даже жена спрашивала , "что то случилось?" , "всё в порядке? " Она меня читает.
Короче, я ИИ изгоняю и исторических штудий... Лучше уж по старинке, чем такие ляпы.

Тут в соседней теме обсуждались галлюцинации ИИ, я тоже хотела бы поделиться опытом. который меня несколько пугает.
Одной из моих второстепенных рабочих обязанностей является оформление списков литературы в статьях, которые публикуются в одном журнале по информационным технологиям. Сами статьи я не читаю, в тематике мало что понимаю, работа чисто техническая: чтобы правильно были указаны диапазоны страниц, инициалы авторов, двоеточия и тире стояли в нужных местах и т.д. Для этого список литературы сопоставляется с базами Elibrary и Google Scholar.

Так вот в последние полгода в этих публикациях лавинообразно нарастают ссылки на фантомные статьи. Причём со временем они становятся всё более правдоподобными. Сначала авторы этих статей были несуществующими лицами, журналы тоже часто были вымышленными, а если настоящими - год не соответствовал выпуску. Теперь всё серьёзно. Названия статей не вызывает никаких подозрений. Авторы фантомных статей - реально существующие учёные, занимающиеся именно этой тематикой. Журналы вполне реальные. Том соответствует году, а диапазон страниц - выпуску. Вот только если открыть оглавление журнала, то статьи такой нет.

Конечно, можно сказать, что это наши авторы - халтурщики, которые ленятся сами писать статьи и поручают это ИИ. Так и есть, конечно. Но, во-первых, это пишут люди, которые вроде как умеют работать с ИИ (часто они даже пишут как раз об ИИ). Если они не умеют предотвращать такие галлюцинации и им даже в голову не приходит устроить минимальную проверку - что же сказать о других отраслях? О гуманитарных, например?

А что, если на основании таких фантомов будут приниматься реальные решения? Коллега, которая рецензирует статьи, сказала мне, что в одном таком ИИ-тексте ей попалась неверная формулировка второго закона термодинамики.

 

[Kornelia]

Если они не умеют предотвращать такие галлюцинации и им даже в голову не приходит устроить минимальную проверку

А как их предотвратить пользователю? Вот тут в "китайской комнате" доступно описан принцип работы ИИ.

Китайская комната — Википедия

ru.wikipedia.org

Так что только не лениться и перепроверять.

 

[Cahes]

Так что только не лениться и перепроверять.

Работы может удвоится. Так бы сразу все ссылки сам нашел, а так еще с глюками разбираться тщательно.

 

[Aelia]

А как их предотвратить пользователю? Вот тут в "китайской комнате" доступно описан принцип работы ИИ.

Китайская комната — Википедия

ru.wikipedia.org

Так что только не лениться и перепроверять.

Попыталась прочитать - нет, мне не доступно.
Но, наверное, можно в запросе написать что-то вроде: "Используй только ссылки на реально существующие статьи, не генерируй названия статей". Это, конечно, не защитит от выдумок в самом тексте, но хоть фантомной библиографии не будет.

 

[Kornelia]

Работы может удвоится. Так бы сразу все ссылки сам нашел, а так еще с глюками разбираться тщательно.

А мне вот как-то вылавливать ошибки в уже существующем тексте проще, чем пялиться на пустой лист и думать " с чего вообще начать?".

 

[Mukaffa]

А что, если на основании таких фантомов будут приниматься реальные решения? Коллега, которая рецензирует статьи, сказала мне, что в одном таком ИИ-тексте ей попалась неверная формулировка второго закона термодинамики.

Скорее всего они уже принимаются, например в политике. Судя по поведению европейских лидеров во всяком случае. Нет ни прагматизма, ни расчёта на будущее, одни эмоции по сути, и следование некой общей методичке.

 

[Lucius Gellius]

Но, наверное, можно в запросе написать что-то вроде: "Используй только ссылки на реально существующие статьи, не генерируй названия статей". Это, конечно, не защитит от выдумок в самом тексте, но хоть фантомной библиографии не будет.

Увы, я крайне сомневаюсь, что это поможет. Gemini (который сам этим часто грешит) - я описал ему эту проблему - сомневается тоже:

1. Инструкция не является гарантией: Мы не можем "запретить" ИИ галлюцинировать, просто попросив об этом. Это похоже на просьбу к человеку, который всё время врёт, не врать: это не изменит его природу.
2. Верификация — ключевой навык: Единственный надёжный способ борьбы с фантомной библиографией — это верификация каждой ссылки через внешние, авторитетные базы данных (Elibrary, Scopus, Google Scholar).

Проблема, с которой сталкиваются в описанной тобой ситуации, заключается в том, что авторы делегируют ИИ задачу, которая по определению требует внешнего фактчекинга, не понимая, что ИИ не выполняет фактчекинг, а только симулирует его.

Прямой запрет просто увеличит сложность задачи для модели, но не даст ей необходимого инструмента (доступа к актуальной и верифицированной базе данных). Модель попытается выполнить запрет, но её основным механизмом останется имитация.

Твоя формулировка про "заполнение пробелов их правдоподобной имитацией" идеально описывает ситуацию.

• Модель, получив указание написать о конкретной проблеме, знает, что для научности ей нужны ссылки.
• Если у неё нет прямой связи между обсуждаемым утверждением и существующим источником в её обучающих данных, она сгенерирует наиболее правдоподобный суррогат, чтобы сохранить стилистическую и структурную целостность научного текста.
• Запрет на генерацию названия статьи лишь заставит модель тщательнее подбирать реально существующие имена авторов и журналы, чтобы сделать фантомную ссылку ещё более убедительной, как это и происходит в наблюдаемых случаях.

Мои собственные наблюдения с этим заявлением Gemini совпадают. Как это ни печально, но "Мы не можем "запретить" ИИ галлюцинировать, просто попросив об этом".

 

[Kornelia]

Но, наверное, можно в запросе написать что-то вроде: "Используй только ссылки на реально существующие статьи, не генерируй названия статей". Это, конечно, не защитит от выдумок в самом тексте, но хоть фантомной библиографии не будет.

А кто его знает как алгоритмы ИИ прописаны. Т.е. прописано ли там, что если пользователь сказал "не врать!", то тогда можно использовать лишь надёжную информацию, а в случае её отсутствия отвечать " да, фиг его знает".

 

[AlexeyP]

Но, наверное, можно в запросе написать что-то вроде: "Используй только ссылки на реально существующие статьи, не генерируй названия статей". Это, конечно, не защитит от выдумок в самом тексте, но хоть фантомной библиографии не будет.

Не думаю. Получить от ИИ достоверные ссылки или точные цитаты, думаю, невозможно. Это не поисковик WWW. Я думаю, что ИИ может дать хороший обзор, общие идеи. А все фактическую информацию стоит проверять.

 

[AlexeyP]

ИИ, будучи "Большой Языковой Моделью" (во всяком случае, те ИИ, о которых мы говорим), очень хорош для того, чтобы использвоать его для изучения языков. Вплоть до того, что он может генерировать упражнения на различные правила. Мне очень нравится его использовать таким образом, но я все время помню, что он глючит и тут.

Например, прошу ChatGPT составить список наиболее частотных слов, которые имеют во французском и итальянском одинаковые корни, но разный грамматический род. Он радостно составляет список, в котором половина записей соответствует критерию, а половина на самом деле имеет один и тот же род в обоих языках. Но список небольшой и я могу сделать остарожный вывод, что таких слов не слишком много, иначе он накатал бы мне больший список - это меня и интересовало.

Или спрашиваю, где стоит ударение в конкретном латинском слове. Он опять радуется, и расписывает мне несколько правил латинского ударения, одно из которых я не знал (надеюсь, он его не сочинил). После чего даёт очевидно неправильный анализ предложенного мною слова и ставит там неправильное ударение.

Но такое далеко не каждый раз, это именно запомнившиеся примеры глюков. А так, спрашиваешь что-нибудь заковыристое, например "В каких европейский языках западнее славянских присутствует звук "ц"? - и он дает прекрасный разбор, по языкам, с примерами. МОжет, в каком-то из примеров опять наврал, но картина все равно складывается.

 

[Aelia]

Да, чувствую, что я буду с тоской вспоминать те времена, когда я тут ругалась на Википедию, потому что её пишет кто попало и в неё попадают сведения о римской истории из художественной литературы.

 

[amir]

Не думаю, что времена принципиально изменились. Ну будут теперь попадать в Википедию сведения о римской истории из ИИ...

 

[Aelia]

Не думаю, что времена принципиально изменились. Ну будут теперь попадать в Википедию сведения о римской истории из ИИ...

Вопрос в том, откуда будут попадать сведения в ИИ. Источники Википедии хотя бы теоретически можно отследить.

А тут в Древность недавно принесли фантомную цитату из Плутарха, кажется. На хорошем древнегреческом. Я никак не могла понять, у кого тут галлюцинации

 

[AlexeyP]

Вспоминается идея из "Вавилонской библиотеки" Борхеса. Когда ИИ сочинит все возможные древние книги, некоторые их них будут такими, которые реально существовали, но были утрачены.

 

[AlexeyP]

"Исходя из этих неоспоримых предпосылок, я делаю вывод, что Библиотека всеобъемлюща и что на ее полках можно обнаружить все возможные комбинации двадцати с чем-то орфографических знаков (число их, хотя и огромно, не бесконечно) или все, что поддается выражению — на всех языках. Все: подробнейшую историю будущего, автобиографии архангелов, верный каталог Библиотеки, тысячи и тысячи фальшивых каталогов, доказательство фальшивости верного каталога, гностическое Евангелие Василида, комментарий к этому Евангелию, комментарий к комментарию этого Евангелия, правдивый рассказ о твоей собственной смерти, перевод каждой книги на все языки, интерполяции каждой книги во все книги, трактат, который мог бы быть написан (но не был) Бэдой по мифологии саксов, пропавшие труды Тацита."

 

[AlexeyP]

Задаю ChatGPT вопросы о том, какое латинское произношение преподавалось в советских вузах. Он отвечает:

...
"В советских вузах преподавалось традиционное «русское латинское» произношение, близкое к итальянскому церковному"...
После 1917 года в СССР постепенно происходила реформа гуманитарного образования, в том числе и преподавания латыни. В 1920–1930-е годы ориентир сместился на университетскую западноевропейскую модель, где эталоном считалась итальянская фонетическая норма (по сути — "римская церковная латынь"), используемая Ватиканом и в итальянских университетах.

---

Почему именно итальянский вариант​

1. Церковно-итальянское произношение сохраняло непрерывную устную традицию латинского языка (в отличие от "классического" реконструированного варианта).
2. В медицине, ботанике и зоологии научная номенклатура произносилась в Европе по "итальянскому типу" (например, Os humeri — [ос хумери]).
3. Советские учебники 1930–1950-х годов (например, Б. А. Латышева, В. И. Кузнецова, Т. А. Бобровой) прямо указывали, что ориентируются на итальянское произношение, а не на "классическое римское".

Это из двух разных чатов: я решил дать ему второй шанс и начал новый чат, он опять пишет про церковное произношение. Кроме того, имена авторов учебников, кажется, выдумал.

Я отправил эти дискуссии другу, который много использует ChatGPT в работе. Друг прислал мне свой вариант общения на ту же тему (он говорил с нейросетью по английски, но это не важно, я обсуждал этот вопрос и по английски тоже). Он начал спрашивать нейросеть издалека, от вопросов, что происходило с латынью в Средневековье. Постепенно подвел к преподаванию в советских вузах. После чего ChatGPT дал правильный ответ, про немецкий стиль произношения. Причем повторил правильный ответ несколько раз в разных местах. Кроме того, в этом разговоре нейросеть дала латинскую цитату из Цицерона. Я нашел текст в Сети и сравнил, с помощью BeyondCompare - совпало до буквы.

Предварительные выводы такие. Так, как нейросеть использует, как промпт весь текст предыдущего обсуждения, то, постепенно подходя к интересующему вопросу и тем самым увеличивая размер этого контекста, можно добиваться более правильных ответов.