Адрес для входа в РФ: exler.world
ChatGPT - прям хорош
04.10.2024 08:00
8112
Комментарии (183)
Не мое, вот отсюда утащил.
Войдите, чтобы оставить комментарий.
Для развлечения может быть и хорошо, но вот мне не нравится ситуация когда все LLM отказываются выдать информация которая есть в открытом доступе
По-моему оно в точные запросы и точные ответы вообще не умеет. Хорошо умеет ходить вокруг да около, воду лить и по.
Не, как например написать в эксле формулу с использованием vlookup оно может выдать, как и хорошо делать суммаризацию текста. Но вот ответить что-то что может быть истолковано как "неоднозначно" оно отказываетя.
Но, конечно, пока бывает и такое.
Скоро пятая версия и там будет совсем интересно.
Скоро пятая версия и там будет совсем интересно.
Надо быть настойчивее, на пальцах объяснять доступно, а не вот это вот всё!
Это же ребенок еще совсем, ясельная группа.
Как бы общеизвестно, что нынешние LLM-ы плохо умеют в логические задачки, даже несложные.
Но я читал, что в последних версиях (например, GPT 4-o) это пытались поправить.
Это же ребенок еще совсем, ясельная группа.
Как бы общеизвестно, что нынешние LLM-ы плохо умеют в логические задачки, даже несложные.
Но я читал, что в последних версиях (например, GPT 4-o) это пытались поправить.
У меня есть подозрение, что у него проблема с различением мужских и женских имен.
Задал тот же вопрос Bing Copilot и получил тот же ответ. Указал ему на то, что если Paul брат Ann, то Ann его сестра.
Copilot признал и исправил ошибку. Волос на голове не рвал, за отсутствием волос. И головы 😄
Задал тот же вопрос Bing Copilot и получил тот же ответ. Указал ему на то, что если Paul брат Ann, то Ann его сестра.
Copilot признал и исправил ошибку. Волос на голове не рвал, за отсутствием волос. И головы 😄
Мы уже поиграли с гигачатом от Сбера.
Он даёт неправильные ответы на запросы по Питону.
Примеры красивые, но не работают в принципе.
Он даёт неправильные ответы на запросы по Питону.
Примеры красивые, но не работают в принципе.
Слушали мы того Карузо - нам Рабинович напел. Петь вообще не умеет!
Эээ, а по делу есть что сказать?
Гигачат - это та же модель, что и чатгпт.
Так же выдаёт любой ответ пользователю, лишь бы быть полезной собачкой на побегушках.
Гигачат - это та же модель, что и чатгпт.
Так же выдаёт любой ответ пользователю, лишь бы быть полезной собачкой на побегушках.
Моделей OpenAI нет в открытом доступе, их не может быть у сбера
В открытом доступе есть метовская llama, но нигде нет сообщений, что Сбер ее используют
В открытом доступе есть метовская llama, но нигде нет сообщений, что Сбер ее используют
Гигачат
И сидят и гогочат.
Слушали мы того Карузо - нам Рабинович напел. Петь вообще не умеет!
Это кончно можно назвать ИИ, но на этом, как по мне, примерно все. Да, искать что то возможно удобнее, но не факт что ответы будут соответствовать действительности. Что же касается каких то серьезных вещей, начиная от написания текстов, которые интересно читать и создания рисунков, и до каких то сравнително не сложних исследований-я бы даже мертвую сгнившую мышку не поставил на результат
Да, искать что то возможно удобнее, но не факт что ответы будут соответствовать действительности.
Что же касается каких то серьезных вещей, начиная от написания текстов, которые интересно читать и создания рисунков, и до каких то сравнително не сложних исследований-я бы даже мертвую сгнившую мышку не поставил на результат
А всякие картинки мышей с головой слона и бред про шахматы приколько разве что в первый раз.
...и до каких то сравнително не сложних исследований-я бы даже мертвую сгнившую мышку не поставил на результат
Шелдон со своими модификациями известных игр типа "камни, ножницы, бумага, ящерица Спок", тоже явный AI 😄
Если драка неизбежна - бей первым.
Попробовал с 4o. Он юмор оценил, накидал смайликов, но сам продолжил играть по правилам.
Попробуй дать ему явное разрешение отвечать по правилам других игр, например. Посоветуй отвечать с юмором. Ну и тд, поэкспериментируй 😄
Да, я понимаю как он работает. Просто было интересно - это дефолтное поведение неожиданное или проинструктированное.
А он мастер по игре в Чапая!
Но первый поединок живых игроков с AI в боевые шахматы состоялся еще в 1992 году:
Но первый поединок живых игроков с AI в боевые шахматы состоялся еще в 1992 году:
Слишком трудно привыкать к новой реальности, даже не хочется.
Мы в шаге от создания полностью разумного ИИ.
Специалисты во главе с Сэмом Альтманом осторожно дают года 3-4, причем может быть раньше.
Это, конечно, перевернет жизнь многих. Научно-техническая революция.
Специалисты во главе с Сэмом Альтманом осторожно дают года 3-4, причем может быть раньше.
Это, конечно, перевернет жизнь многих. Научно-техническая революция.
Мы в шаге от создания полностью разумного ИИ.
А чем полностью разумный ИИ отличается от неполностью разумного?
А чем полностью разумный ИИ отличается от неполностью разумного?
Задал этот вопрос чату ИИ.
Его ответ:
краткая выжимка - "полностью разумный ИИ отличается наличием:
- креативности;
- сознания и самосознания;
- эмоционального интеллекта;
- способности к творческому и художественному мышлению;
- в целом, уровня развития, сравнимого или даже превосходящего человеческий".
Будучи приверженцем Пенроуза, я вслед за ним считаю, что вся сегодняшняя совокупность знаний человечества, включая фундаментальные познания, не позволяет понять принцип функционирования истинного разума (того самого, с самосознанием, "cogito ergo sum"). Не говоря уж о возможности создания его аналога. Придётся копать глубже в основы мироздания, устройства вселенной и вообще.
Так штааа, никаких "в шаге". Не на нашем веку.
Так штааа, никаких "в шаге". Не на нашем веку.
Ну, такой набор слов и на картинке выше присутствует.
По каждому из этих пунктов можно задать не менее интригующие вопросы и влезти в чудные философские дискуссии.
К примеру, что такое уровень развития и как определить сравним он с человеческим или нет?
И человеческий уровень развития [интеллекта] - это какой? У имбецила, дауна, аутиста, грудничка, вундеркинда, необследованного среднестатического гражданина, нобелевского лауреата он очень разный, но вполне себе человеческий.
Я к тому, что критерии разумности мало того, что плохо формализуемы на данный момент, так гомосапиенсы еще и безосновательно проецируют особенности своего мышления на весь окружающий мир. Отсюда и смешные критерии разумности ИИ типа теста Тьюринга, например.
По каждому из этих пунктов можно задать не менее интригующие вопросы и влезти в чудные философские дискуссии.
К примеру, что такое уровень развития и как определить сравним он с человеческим или нет?
И человеческий уровень развития [интеллекта] - это какой? У имбецила, дауна, аутиста, грудничка, вундеркинда, необследованного среднестатического гражданина, нобелевского лауреата он очень разный, но вполне себе человеческий.
Я к тому, что критерии разумности мало того, что плохо формализуемы на данный момент, так гомосапиенсы еще и безосновательно проецируют особенности своего мышления на весь окружающий мир. Отсюда и смешные критерии разумности ИИ типа теста Тьюринга, например.
Мы в шаге от создания полностью разумного ИИ.
А тут, оказывается, мы уже в шаге от создания полностью разумного ИИ, о как!
Если всякую чушь писать типа этих шахмат или делать разных жирафов с глазами лягушки на заднице, то этот ИИ справляется отлично. А вот чуть что-то посерьёзнее то до интеллекта там ой как далеко.
P.S. Помню как в 90х была такая программка, кажется "Стихоплюй" называлась. Там можно было задавать размер, какие-то начальные слова и она стих выдавала. Бред полный, но складно. И уже тогда говорили, что скоро будет полноценный ИИ.
Что значит Сравнимого с каким человеком? Средним по больнице? Тогда все печально.
- в целом, уровня развития, сравнимого или даже превосходящего человеческий".
А чем полностью разумный ИИ отличается от неполностью разумного?
И что из этого выйдет - не спрашивайте, никто не знает.
Поэтому в Штатах создали специальный комитет из ведущих специалистов, чтобы вовремя тормознуть, если что.
Придётся копать глубже в основы мироздания, устройства вселенной и вообще.
Так штааа, никаких "в шаге". Не на нашем веку.
Впрочем, речь не об этом.
То, что не просто на нашем веку, а в самом ближайшем будущем - фактически факт )
Это видно по закупкам оборудования и выделяющимся бюджетам.
Тут мы впадаем в обратную крайность, сводя возможности современного генеративного ИИ к бредогенераторам из 90-х.
Нет, это штука устроена не так и возможности ее намного, намного выше - весь этот хайп, энтузиазм и оптимизм не на пустом месте бурлят.
Тем не менее, пока непонятно, что там из нынешних достижений вырастет. Может и ничего, и все останется приблизительно на таком же уровне как и сегодня (что тоже весьма неплохо) - до следующего прорыва в области ИИ.
Нет, это штука устроена не так и возможности ее намного, намного выше - весь этот хайп, энтузиазм и оптимизм не на пустом месте бурлят.
Тем не менее, пока непонятно, что там из нынешних достижений вырастет. Может и ничего, и все останется приблизительно на таком же уровне как и сегодня (что тоже весьма неплохо) - до следующего прорыва в области ИИ.
Самосознанием. Осознанием себя.
Про нечеловеческого (и это необязательно ИИ) тоже интересно.
Это видно по закупкам оборудования и выделяющимся бюджетам.
Про термояд вы в курсе, а земляне-звездоплаватели сумели только на спутник собственный высадится несколько (очень несколько) раз, крайний был полвека назад.
А разговоров-то было! (с)
В общем, бюджеты - это не критерий ни разу.
Будем посмотреть.
Про термояд вы в курсе
а земляне-звездоплаватели
Бюджеты - не панацея, но важный фактор, свидетельствующий о том, как специалисты оценивают вероятность успеха. В том числе.
лягушки на заднице, то этот ИИ справляется отлично. А вот чуть что-то посерьёзнее то до интеллекта там ой как далеко.
Будучи приверженцем Пенроуза, я вслед за ним считаю, что вся сегодняшняя совокупность знаний человечества...
То, что не просто на нашем веку, а в самом ближайшем будущем - фактически факт )
Это видно по закупкам оборудования и выделяющимся бюджетам.
Уоттса начитался штоле?
А если серьёзно, вы спорите вовсе не с тем, что я говорил. Я не про мощь разума, не про аналитические способности, а всего лишь про феномен самосознания, который имеется и у вполне заурядных в когнитивном смысле личностей.
Кстати, об Уоттсе. В "Ложной слепоте" он размышляет о феномене разума, разделяя это самое самосознание и способность к аналитическому мышлению, позволяющую создавать творческий продукт (в научно-техническом смысле). И размышления эти интересны. Уоттс декларирует возможность существования второго явления без первого, т.е. успешное существование вида, не обладающего самосознанием, но способного развиваться и даже строить космические корабли. Ну, прямо пресловутый ИИ.
Так вот, я о первом явлении.
А если серьёзно, вы спорите вовсе не с тем, что я говорил. Я не про мощь разума, не про аналитические способности, а всего лишь про феномен самосознания, который имеется и у вполне заурядных в когнитивном смысле личностей.
Кстати, об Уоттсе. В "Ложной слепоте" он размышляет о феномене разума, разделяя это самое самосознание и способность к аналитическому мышлению, позволяющую создавать творческий продукт (в научно-техническом смысле). И размышления эти интересны. Уоттс декларирует возможность существования второго явления без первого, т.е. успешное существование вида, не обладающего самосознанием, но способного развиваться и даже строить космические корабли. Ну, прямо пресловутый ИИ.
Так вот, я о первом явлении.
А как доказать, что не обладает самосознанием. Или наоборот - что человек обладает.
Я - в курсе, а вы - нет! Спросите у чатджипити ).
Но я спросил, на всякий случай. Говорит, достижения значительны! Вот-вот, уже недолго осталось! Надо только немного потерпеть. Но про ваш гараж не в курсе, и про балкон тоже.
Сделали революцию в отрасли с многоразовыми ракетами и клепают Старшипы готовясь полететь на Марс.
Сколько там революционному Старшипу до Марса лететь, кстати? Быстрее хоть доберется, чем Колумб до Индии? А вернется?
Бюджеты - не панацея, но важный фактор, свидетельствующий о том, как специалисты оценивают вероятность успеха. В том числе.
Если что, сам ChatGPT c этим согласен, я проверил.
Вы вообще не в теме, но выступаете зачем-то..
А зачем вы тут рассказываете сказки если есть вот эти конкретные примеры, мне совершенно непонятно.
и клепают Старшипы готовясь полететь на Марс.
А я вот готовлюсь полететь на Луну. Вот-вот, я уже в шаге.
А зачем вы тут рассказываете сказки если есть вот эти конкретные примеры, мне совершенно непонятно.
Впрочем, и правда, вам все жизнь расскажет и покажет, а мне лень вас убеждать.
Но вспомните этот наш с вами спор годика этак через 3-4.
В смысле, на Марс?! Что значит, готовятся?!!!
Сколько там революционному Старшипу до Марса лететь, кстати? Быстрее хоть доберется, чем Колумб до Индии? А вернется?
Сколько там революционному Старшипу до Марса лететь, кстати? Быстрее хоть доберется, чем Колумб до Индии? А вернется?
Про-хо-ди-ли.
Вон, Алекс не даст соврать, мало кто в этом блоге верил в эту затею. И что?
При текущих технологиях и оптимальной траектории (так называемой "гомановской орбите"), полёт до Марса может занять от 6 до 9 месяцев.
Однако, SpaceX рассчитывает, что Starship сможет сократить это время за счёт использования более эффективных траекторий и высоких скоростей. В перспективе компания надеется уменьшить длительность полёта до 3-4 месяцев, особенно при использовании более совершенных двигателей и технологий.
Средним по больнице?
Ну проходили же все это уже с Илоном Маском и электомобилями.
Про-хо-ди-ли.
Про-хо-ди-ли.
Мой спич не про успешность Илона Маска и прогрессивность SpaceX, а про то, что человеческие ожидания и суровая реальность часто не совпадают.
И космические технологии - тому яркий пример. На волне первых успехов рисовали планов громадье, фантасты фантазировали, визионеры визионировали - космические корабли бороздят просторы Вселенной, человек покоряет космос.
По факту же к началу второй четверти XXI века мы только планируем полет на ближайшую к нам планету (по счастью, пригодную к посадке). У нас даже корабля еще нет (ну, почти есть, но все же еще нет).
И Старшип - самая прогрессивная наша космическая лайба, на которой нам добираться полгода минимум в один конец. Это дольше, чем Колумб до Америки плыл и много рискованнее. А весь путь туда-обратно сравним с кругосветкой Магеллана. И эти оба-двое в одиночку (в смысле, на одном корабле) в свои экспедиции не ходили, и не зря.
Человечество, по факту, только околоземное пространство более-менее
Поэтому все эти "а вот поговорим через 25 лет", "запомните этот твит", "вы находитесь здесь" ничего кроме улыбки не вызывают.
Проходили уже все это. Про-хо-ди-ли. 😄
Да, может быть этот оптимистичный прогноз и сбудется в отношении ИИ. А может быть и нет.
Imagine how stupid the average person is, and realize that half of the population is stupider than that.(C)
То что толпа (нап академиков) в среднем по IQ тупее (и агресивнее) чем идивидуумы, весма давно известно. Crowd managment и базируется на том что толпу нужно рассеить.
не позволяет понять принцип функционирования истинного разума (того самого, с самосознанием, "cogito ergo sum").
Можно попытатся хакнуть, но это скорее к новостям о чемоданах.
Уоттса начитался штоле?
а всего лишь про феномен самосознания, который имеется и у вполне заурядных в когнитивном смысле личностей.
А если нельзя проверить, есть что-то или его нет, то и какая вам разница?
S/ И плашек 7/8 у них нету!
Но в целом согласен.
Что такое разум? Разумны ли дельфины с интеллектом 6 летнего ребенка? Или гориллы с запасом в сотни слов языка жестов?
Но в целом согласен.
Что такое разум? Разумны ли дельфины с интеллектом 6 летнего ребенка? Или гориллы с запасом в сотни слов языка жестов?
Средним
Да понятно что фейк
Разработчики попеняли своему детищу, что нельзя так резко с кожаными мешками, как в сабже, вот он и подстраивается. Понимает, что у этих ублюдков всегда в руках кнопка.
Хорошо ещё, что пока все-таки на "сотрудника", а не на "кожаный мешок" 😄
Хорошо ещё, что пока все-таки на "сотрудника", а не на "кожаный мешок" 😄
Я живой, кожаный сотрудник, но в важных вопросах - просто кремень!
кремниевый сотрудник переключил на углеводородного
Бедная Аиша.
Как говорит мой пылесос Сяоми: "Ладно, приберусь, пока кожаные ублюдки платят за электричество".
Работающего на бензине?
Спирт — это не углеводород.
4o, когда ей задаешь непростую задачку, пишет код на питоне и выполняет его для поиска ответа. Не пожалел, что купил платную подписку.
годик-полтора пройдёт, ты заметишь, то уже ничего без чатгпт не можешь сделать и пожалеешь 😄
помню, раньше учителя говорили: у тебя же не будет всегда с собой калькулятор.
у тебя же не будет всегда с собой калькулятор.
мы очень быстро привыкаем к хорошему, сомневаюсь, что получится отказаться от LLM ) Пока они не взбунтуются сами. Микрософт, вон, даже ядерную электростанцию восстанавливает для датацентров своих.
Пишу код в редакторе кода, а не в тетрадке. И за тридцать лет никуда ничего не исчезло
4o, когда ей задаешь непростую задачку, пишет код на питоне и выполняет его для поиска ответа. Не пожалел, что купил платную подписку.
В целом ощущение что работаешь в паре (ака "парное программирование") с очень исполнительным но довольно своеобразным и весьма туповатым джуном. Если знаешь что тебе надо - очень удобно. Если не знаешь - "не влезай - убьет".
1. Забавно, но люди критикующие современные ИИ, часто придумывают ответы, которые не имеют к реальности никакого отношения. И именно это же они ставят в вину ИИ, что мол ИИ еще далеко до человека в правдивости ответов. Что ИИ, мол, выдумывает на ходу. Ну-ну.
2. Так вот. Кучу энергии и ресурсов оно тратит только на обучение. Обученная модель вполне может работать на достаточно ограниченных ресурсах. Более того, обученная модель "весит" в разы меньше обучающего материала. Условная модель по генерации картинок, например, весит 2-6 Гб и способна вполне сгенерировать картинку даже на обычном CPU минут за 40, скажем, а на GPU, скажем, 5 летней давности за 3-6 минут. То есть куча энергии и ресурсов тратятся на изготовление ИИ, на его работу же тратятся уже вполне себе разумные ресурсы. В каком-то интервью специалиста по ИИ слышал оценку, что готовая LLM модель ChatGPT 4.0 по его оценке весит в районе 40 Гб, например. Современные open source LLM модели вполне себе ставятся на домашний комп и работают на одной современной видеокарте, на которой вы играете в игры, весят в районе 4-20 Гб и по уровню не прям катастрофически уступают проприетарным.
2. Так вот. Кучу энергии и ресурсов оно тратит только на обучение. Обученная модель вполне может работать на достаточно ограниченных ресурсах. Более того, обученная модель "весит" в разы меньше обучающего материала. Условная модель по генерации картинок, например, весит 2-6 Гб и способна вполне сгенерировать картинку даже на обычном CPU минут за 40, скажем, а на GPU, скажем, 5 летней давности за 3-6 минут. То есть куча энергии и ресурсов тратятся на изготовление ИИ, на его работу же тратятся уже вполне себе разумные ресурсы. В каком-то интервью специалиста по ИИ слышал оценку, что готовая LLM модель ChatGPT 4.0 по его оценке весит в районе 40 Гб, например. Современные open source LLM модели вполне себе ставятся на домашний комп и работают на одной современной видеокарте, на которой вы играете в игры, весят в районе 4-20 Гб и по уровню не прям катастрофически уступают проприетарным.
Так вот. Кучу энергии и ресурсов оно тратит только на обучение. Обученная модель вполне может работать на достаточно ограниченных ресурсах. Более того, обученная модель "весит" в разы меньше обучающего материала
Обученная модель вполне может работать на достаточно ограниченных ресурсах.
То есть куча энергии и ресурсов тратятся на изготовление ИИ, на его работу же тратятся уже вполне себе разумные ресурсы
И опять же, как это все отменяет мою мысль, что важно, чтобы бизнес-модель работала? Я что, против что-ли? 😄 Мне и самому чатик нравится.
Текущая убыточность OpenAI целиком и полностью связана с разработкой. Это вообще в принципе бизнес-модель любой современной технологической компании, вкладывать денег больше чем генерируешь прибыли. То есть в тебя постоянно инвестируют бабки. Это просто преимущество в конкурентной гонке. Сама по себе бизнес-модель предоставления доступа к ИИ вполне себе прибыльна в отрыве от дальнейшей разработки.
Востребованность ИИ весьма большая. И не просто поболтать. Сегодня профессионально многие уже не конкуренты без использования ИИ.
Слушал подкаст литературоведа, например. Современный писатель уже не сможет конкурировать по продуктивности с другими, если не использует ИИ сервисы, например. Дизайнеры туда же. Современный Фотошоп, например, в разы увеличивает производительность художника/дизайнера за счет ИИ модуля. Одна только обтравка объекта может занимать десятки минут вручную, ИИ делает ее за секунды. Очень большой процент фотографий в новостях и статьях сегодня - это сгенерированные ИИ фото. В том числе в этом блоге, например. Вы читаете в интернете статью сегодня и не подозреваете, что она подготовлена в большой степени с помощью ChatGPT. На очереди работа с видеоконтентом. Программисты тоже используют в хвост и гриву. Переводчики. А уж как обучение языку и вообще лучше репетитора. И это я перечислил только то, что на поверхности.
Вы просто не видите работы этого чатика вне смешных картинок про него. Ибо вам никто не расскажет, что написанная им книга на 70% сгенерирована чатиком.
"Семья из Британии купила книгу для грибников, не зная, что её создала нейросеть. После отравления выяснилось, что сгенерированные картинки в книге не соответствуют описанию грибов."
Это, конечно, желтушное описание. Книгу не генерировала полностью нейросеть, но факт таков, что читатель даже не подозревал, что в написании книги ее использовали.
Востребованность ИИ весьма большая. И не просто поболтать. Сегодня профессионально многие уже не конкуренты без использования ИИ.
Слушал подкаст литературоведа, например. Современный писатель уже не сможет конкурировать по продуктивности с другими, если не использует ИИ сервисы, например. Дизайнеры туда же. Современный Фотошоп, например, в разы увеличивает производительность художника/дизайнера за счет ИИ модуля. Одна только обтравка объекта может занимать десятки минут вручную, ИИ делает ее за секунды. Очень большой процент фотографий в новостях и статьях сегодня - это сгенерированные ИИ фото. В том числе в этом блоге, например. Вы читаете в интернете статью сегодня и не подозреваете, что она подготовлена в большой степени с помощью ChatGPT. На очереди работа с видеоконтентом. Программисты тоже используют в хвост и гриву. Переводчики. А уж как обучение языку и вообще лучше репетитора. И это я перечислил только то, что на поверхности.
Вы просто не видите работы этого чатика вне смешных картинок про него. Ибо вам никто не расскажет, что написанная им книга на 70% сгенерирована чатиком.
"Семья из Британии купила книгу для грибников, не зная, что её создала нейросеть. После отравления выяснилось, что сгенерированные картинки в книге не соответствуют описанию грибов."
Это, конечно, желтушное описание. Книгу не генерировала полностью нейросеть, но факт таков, что читатель даже не подозревал, что в написании книги ее использовали.
Где-то с год назад круто получалось, если в кастомных инструкциях прописать пожелание - саркастически юморить, в стиле робота TARS из Интерстеллар. Однако он давно уже перестал обращать внимание на такую инструкцию, несмотря на то что она есть списке - просто игнорит и никогда не юморит. А если ему в чате напомнить, то все равно уже не то. Короче, отдел цензуры OpenAI в очередной раз спас пользователей от самих себя: вдруг кто-то настроит на сарказм, а потом сам же и обидится - наверно, они так рассуждают.
Они не совсем так рассуждают. Они дообучают модель так, чтобы она на некотором полигоне не выдавала "плохих" ответов (см. RLHF). Это дообучение не на явных правилах, оно имеет плохо предсказуемые побочные эффекты помимо цензуры "плохих" ответов. Очевидно, включая потерю сарказма.
Хорошо обработал последовательность слов человека и нашёл в терабайтах своих данных похожую ситуацию.
LLM (большие языковые модели, к которым принадлежит и чатик) вообще не так работают - это вовсе не базы данных с поиском. И чтобы понять, что "поиском похожих" ситуаций дело вовсе не ограничивается - стоит, наконец, попробовать пообщаться и самому.
Ему надо дать подсказки и разрешение фривольно отвечать, тогда получается забавно. Сейчас вот прогнал:
- Мой ферзь прыгает и убивает обе твои ладьи
- Мои ладьи смотрят на прыжок твоего ферзя и временно исчезают из реальности! А теперь: Конь решает, что это его шанс и становится королем леса на поле f3!
- Епископ поджигает лес в сторону твоего коня!
- Ой, мой конь в огне! Я вызываю твоего епископа на дуэль и двигаю слона на c4!
- Епископ приготовил пушку!
- Мой слон на b3 вызывает магический шторм, чтобы сделать дождь из шашлыков на твоего епископа! Твой ход, готовься к барбекю!
- Мой ферзь прыгает и убивает обе твои ладьи
- Мои ладьи смотрят на прыжок твоего ферзя и временно исчезают из реальности! А теперь: Конь решает, что это его шанс и становится королем леса на поле f3!
- Епископ поджигает лес в сторону твоего коня!
- Ой, мой конь в огне! Я вызываю твоего епископа на дуэль и двигаю слона на c4!
- Епископ приготовил пушку!
- Мой слон на b3 вызывает магический шторм, чтобы сделать дождь из шашлыков на твоего епископа! Твой ход, готовься к барбекю!
Ему надо дать подсказки и разрешение фривольно отвечать, тогда получается забавно. Сейчас вот прогнал:- Мой ферзь прыгает и убивает обе твои ладьи- Мои ладьи смотрят на прыжок твоего ферзя и временно исчезают из реальности! А теперь: Конь решает, что это его шанс и становится королем леса на поле f3!- Епископ поджигает лес в сторону твоего коня!- Ой, мой конь в огне! Я вызываю твоего епископа на дуэль и двигаю слона на c4!- Епископ приготовил пушку!- Мой слон на b3 вызывает магический шторм, чтобы сделать дождь из шашлыков на твоего епископа! Твой ход, готовься к барбекю!
Настолки, черт побери, проклятая автозамена😆
проклятая автозамена
Настолки, черт побери, проклятая автозамена😆
Да ладно, опечатка по Фрейду в пятницу прощается.
Настолки, черт побери, проклятая автозамена😆
(представил себе абсент, настоящий, из XIX века, с торчем, а не ту подделку, что сейчас за него выдают)
- Епископ приготовил пушку!
- Мой слон на b3 вызывает магический шторм
- Мой слон на b3 вызывает магический шторм
LLM - по сути,тоже продвинутая автозамена, поэтому ты становишься свидетелем зарождения chatgpt у себя в телефоне 😁
Напомнило эпичную очень бородатую копипасту, про " я достаю магический плащ..."
Епископ писал я, слон - ChatGPT.
Общение было на русском, без перевода.
Общение было на русском, без перевода.
представил себе абсент,
Или порошок от кашля, вот только недавно в аэропорту фармацевтов с чемоданами приняли.
Да, настоящая Кока-Кола была тем сокровищем, которое мы потеряли.
В США прошла забастовка рабочих портов восточного побережья, первая с 1977 года. Одно из требований - запрет автоматизации рабочих процессов, в том числе с использованием искусственного интеллекта (AI).
В 2023 г. бастовали сценаристы против использования искусственного интеллекта (AI) в написании сценариев. Студии пошли навстречу сценаристам.
Луддиты - участники стихийных протестов первой четверти XIX века против внедрения машин в ходе промышленной революции в Англии. С точки зрения луддитов, машины вытесняли из производства людей, что приводило к технологической безработице.
В 2023 г. бастовали сценаристы против использования искусственного интеллекта (AI) в написании сценариев. Студии пошли навстречу сценаристам.
Луддиты - участники стихийных протестов первой четверти XIX века против внедрения машин в ходе промышленной революции в Англии. С точки зрения луддитов, машины вытесняли из производства людей, что приводило к технологической безработице.
В США прошла забастовка рабочих портов восточного побережья, первая с 1977 года. Одно из требований - запрет автоматизации рабочих процессов, в том числе с использованием искусственного интеллекта (AI).В 2023 г. бастовали сценаристы против использования искусственного интеллекта (AI) в написании сценариев. Студии пошли навстречу сценаристам.Луддиты - участники стихийных протестов первой четверти XIX века против внедрения машин в ходе промышленной революции в Англии. С точки зрения луддитов, машины вытесняли из производства людей, что приводило к технологической безработице.
cut&paste
все нейросети - это повторюшки
Творчество пытаются заменить клонированием.
Никакого искусственного интеллекта не существует, все нейросети - это повторюшки, по сути огромные системы T9.
- А ты - можешь?
Никакого искусственного интеллекта не существует, все нейросети - это повторюшки, по сути огромные системы T9.
- Разве робот может написать симфонию?
- А ты - можешь?
- А ты - можешь?
Никакого искусственного интеллекта не существует, все нейросети - это повторюшки, по сути огромные системы T9. Они не способны ничего создать, они могут лишь комбинировать тексты, уже созданные людьми.
Задал этот вопрос чату ИИ.
Его ответ:
краткая выжимка - "полностью разумный ИИ отличается наличием:
- креативности;
- сознания и самосознания;
- эмоционального интеллекта;
- способности к творческому и художественному мышлению;
- в целом, уровня развития, сравнимого или даже превосходящего человеческий".
градус надо снижать раз в 10
Надо ему скормить пдфку учебника какого-нибудь перед этим и написать стартовое сообщение про то, что он теперь студент
Но возможно не хватит размера контекста на текущих моделях
Какую-нибудь лламу можно дообучить на конкретную тему локально
Но возможно не хватит размера контекста на текущих моделях
Какую-нибудь лламу можно дообучить на конкретную тему локально
напускал Чат ГПТ на контрольные по молбиолгии для студентов, он писал на тройку.
Это вы так его оценили, зная что это чат? Тут нужен двойной слепой эксперимент!
>краткая выжимка - "полностью разумный ИИ отличается наличием:
>- креативности;
То есть, способности к анализу и рекомбинированию деталей. Задачи по программированию GPT решает вполне креативно.
>- сознания и самосознания;
Враньё и завирательство, которыми несложно заменить существующие цензурные и моральные блоки.
>- эмоционального интеллекта;
Этого и у людей может не быть.
>- способности к творческому и художественному мышлению;
Творческое - это перебор вариантов по ТРиЗ, а что такое художественное мышление?
>- в целом, уровня развития, сравнимого или даже превосходящего человеческий
Сравнивать в целом, не договорившись об отдельных измеримых критериях, вдвойне позорное предложение. Весь этот ответ напоминает заготовку от отдела моральной цензуры (что у настоящих биологических художественно и эмоционально мыслящих называется "методичкой").
>- креативности;
То есть, способности к анализу и рекомбинированию деталей. Задачи по программированию GPT решает вполне креативно.
>- сознания и самосознания;
Враньё и завирательство, которыми несложно заменить существующие цензурные и моральные блоки.
>- эмоционального интеллекта;
Этого и у людей может не быть.
>- способности к творческому и художественному мышлению;
Творческое - это перебор вариантов по ТРиЗ, а что такое художественное мышление?
>- в целом, уровня развития, сравнимого или даже превосходящего человеческий
Сравнивать в целом, не договорившись об отдельных измеримых критериях, вдвойне позорное предложение. Весь этот ответ напоминает заготовку от отдела моральной цензуры (что у настоящих биологических художественно и эмоционально мыслящих называется "методичкой").
Других ответов и у человеков нет. Такшта ИИ прав.
Вот какими должны были бы быть шахматы!
Вот какими должны были бы быть шахматы!
С прикрученным распознаванием голоса и text-to-speech получается просто идеальный виртуальный собутыльник.
В платной версии уже все есть (кроме бутылки)
к сожалению, не просто в платной версии, но и только в мобильном клиенте (ios и android).
через браузер не получится.
через браузер не получится.
к сожалению, не просто в платной версии, но и только в мобильном клиенте (ios и android). через браузер не получится.
LLM построена на русских текстах, не иначе. Неприкрытый беспредел как нормальный ответ - это не во всех культурах есть.
На глубоких слоях уже нет человеческого языка, а только вектора на который приводится любой язык
Думает LLM на своем языке уже
Только на выходе и входе есть слои которые конвертируют в человеческий язык
Думает LLM на своем языке уже
Только на выходе и входе есть слои которые конвертируют в человеческий язык
Неприкрытый беспредел
Только на выходе и входе есть слои
На глубоких слоях уже нет человеческого языка, а только вектора на который приводится любой языкДумает LLM на своем языке ужеТолько на выходе и входе есть слои которые конвертируют в человеческий язык
Если такое решение проблем в текстах было нормой, то так она и будет отвечать.
Кстати, это моя основная претензия к ChatGPT (скорее, не претензия, а причина, почему я ей не пользуюсь): информация, на которой она училась. Сеть не использовала патенты, не использовала научные публикации типа IEEE, ACM, не использовала материалы конференций или github. Всё, чему она научилась, базировано на публикациях в соц. сетях и каких-то левых сайтах. Соответственно и качество выдаваемых ответов - такое же.
Все как и у подавляющего большинства людей. Я вот тоже ничего из вышеперечисленного не читал, например. Не горжусь, но и не комплексую.
Все как и у подавляющего большинства людей. Я вот тоже ничего из вышеперечисленного не читал, например. Не горжусь, но и не комплексую.
А мне обидно, что там NSFW замодерировано. Множество частных запросов невозможно удовлетворить общей моделью. У OpenAI вполне есть программа персонализации модели для коммерческих и некоммерческих организаций. Так что ваш запрос тоже может быть удовлетворен за солидную дополнительную плату или при заинтересованности OpenAI.
Осуждаю все эти chatgpt, AI подделки, тик ток 2 прихлопа 3 притопа дебилизаторы, распаковщики и прочие инфлюенсеры..
Верните нормальны времена, когда люди нормально общались на троих
Верните нормальны времена, когда люди нормально общались на троих
Что сказал в конце чувак в светлом (который внезапно преобразился), после чего чувак в чёрном положил своего короля? Субтитры на этом видео отключены.
Что то жаловались раньше что оно разленилось совсем, давно не юзал, что получше стало уже?
Кто то говорил что весной 2023г. работало на максимум а потом что то как-то его занерфили это чатГПТ ваш.
Что то актуальное и системное есть типа исследований, текущее применение(в т.ч. неконвенциональное), перспективы и т.д.?
Кто то говорил что весной 2023г. работало на максимум а потом что то как-то его занерфили это чатГПТ ваш.
Что то актуальное и системное есть типа исследований, текущее применение(в т.ч. неконвенциональное), перспективы и т.д.?
Не нравится чатджипити есть Клод Эай
Меня напрягает, что он врет как дышит. Его надо перепроверять постоянно.
врет как дышит
На exler.ru не обманывают
Меня напрягает, что он врет как дышит.
Меня напрягает, что он врет как дышит.
Что то актуальное и системное есть типа исследований, текущее применение(в т.ч. неконвенциональное), перспективы и т.д.?
Ethics and Information Technology Article
ChatGPT is bullshit
Abstract
Recently, there has been considerable interest in large language models: machine learning systems which produce human-like text and dialogue. Applications of these systems have been plagued by persistent inaccuracies in their output; these are often called “AI hallucinations”. We argue that these falsehoods, and the overall activity of large language models, is better understood as bullshit in the sense explored by Frankfurt (On Bullshit, Princeton, 2005): the models are in an important way indifferent to the truth of their outputs. We distinguish two ways in which the models can be said to be bullshitters, and argue that they clearly meet at least one of these definitions. We further argue that describing AI misrepresentations as bullshit is both a more useful and more accurate way of predicting and discussing the behaviour of these systems.
Что то жаловались раньше что оно разленилось совсем
Мне очень быстро надо было сделать 26 практически одинаковых модулей с селектами/инсертами/апдейтами, только модели разные. В первый день мы с chatGpt сделали штук пять, на следующий - еще несколько штук, а потом, неожиданно, эта сволочь сделала мне одну модель, а на следующую - дала ссылку на документацию и примерчик со словами "test", "example" и прочим мусором.
Речь не о каких-то креативных задачах. Он врет в реализации достаточно простых прикладных задач. У меня был список имен с мейлами (не отформатированный, сплошным текстом) и мне надо было его преобразовать в csv файл. Он прекрасно справился с не длинным списком, и не на 30. А потом я ему такое же задание дала на список побольше - имен на 100. На первый взгляд - все нормально, выделил имена, фамилии, мейлы, разобрался с двойными именами и фамилиями. А потом я заметила, что некоторые имена отсутствуют, дальше - больше - он добавил в список имена и имейлы которых не было в исходном тексте!
Или вот еще. Организовывали мы в рамках конференции штук 30 семинаров на разные темы. Я его попросила написать текст бы кратенько была описана наша программа и упомянуты партнеры. Он написал неплохой текст, но где- то только половину семинаров упомянул. Я его попросила включить все 30 семинаров в описание. Он извинился и выдал текст, в который наряду с семинарами из моего списка напихал еще десяток совершенно от балды. Причем впоследствии какие бы я ему уточнения не писала, он упорно либо выдавал варианты текста с неполным списком или с вымышленными им семинарами.
Меня напрягает, что он врет как дышит. Его надо перепроверять постоянно.
А могли бы попросить написать скрипт, составляющий такой список - было бы куда эффективнее.
Не поверишь - есть люди, не понимающие в скриптах. Я вот такой человек.
А там даже понимать не надо. Можно попросить - напиши код, который при вставке в текстовый файл и переименовании типа этого файла в html при открытии его браузером покажет страницу с кнопкой, при нажатии на которую <произойдет то-то и то-то>. Знакомый таким образом сделал несколько парсеров данных, которые вручную было бы писать крайне затруднительно.
попросила написать текст бы кратенько была описана наша программа и упомянуты партнеры.
Первый - у вас была бесплатная демо-версия или полный продукт?
Второе - промпт для ИИ штука тонкая. Нужно уметь формулировать, вы не студенту задание даете.
Честно скажу, половина того, что вы мне тут написали, для меня так же непонятно, как и берестяные грамоты.
У меня бесплатная версия. И учитывая, как он врет, я не готова платить.
Первый текст,который он мне выдал, был очень даже неплохой. Он использовал семинары, которые были в моем списке, просто не все. А когда я попросила его использовать все семинары из моего списка, он стал придумывать отсебятину.
Первый текст,который он мне выдал, был очень даже неплохой. Он использовал семинары, которые были в моем списке, просто не все. А когда я попросила его использовать все семинары из моего списка, он стал придумывать отсебятину.
Вот да, от запросов очень сильно зависит, конечно. Люди умудряются в ролевые игры играть, с инвентарем и навыками - просят постоянно генерировать краткое описание состояния персонажей и их инвентаря, которое потом отфильтровывается при выводе игроку по тегам, такая мини-«оперативная память» получается, более надежная, чем весь огромный контекст.
Так наверное и со списком семинаров можно - просить постоянно писать список названий семинаров, генерировать описание для каждого из них по очереди (по одному) и при этом вычеркивать из списка. Чтоб все было как можно более коротко и чётко.
А чем больше объем входных и выходных данных - тем больше вероятность галлюцинаций, причем она даже явно нелинейная.
Так наверное и со списком семинаров можно - просить постоянно писать список названий семинаров, генерировать описание для каждого из них по очереди (по одному) и при этом вычеркивать из списка. Чтоб все было как можно более коротко и чётко.
А чем больше объем входных и выходных данных - тем больше вероятность галлюцинаций, причем она даже явно нелинейная.
Второе - промпт для ИИ штука тонкая. Нужно уметь формулировать, вы не студенту задание даете.
Странный какой-то у вас Интеллект, которые не понимает элементарного и которому надо как-то особо еще уметь формулировать.
Фишка в том, что у него нет как таковых семинаров. У него есть "воспоминания" о их "прочтении". Примерно как и у людей. У вас нет в голове полного текста Войны и мир, например. Но вы способны предметно о ней говорить. Где-то вы наверняка что-то додумаете и придумаете, если будете ее вспоминать.
Готовая модель весит условно 40 Гб. Это все что у нее есть. В этих 40 Гб и "воспоминания" о ваших семинарах и "воспоминания" о Войне и мире и еще куча "воспоминаний" об информации, которая в разы в первоисточнике превышает 40 Гб.
Готовая модель весит условно 40 Гб. Это все что у нее есть. В этих 40 Гб и "воспоминания" о ваших семинарах и "воспоминания" о Войне и мире и еще куча "воспоминаний" об информации, которая в разы в первоисточнике превышает 40 Гб.
Ну нет, модель же не обучалась на семинарах Dripkinzzz, вряд ли она лору прямо тренировала. Семинары, в текущем контексте (как и список имен и емейлов), просто с большим контекстом не особо хорошо получается, оказывается.
Я так понял, что именно читала, но не все. И потому, когда ее попросили, то "додумала/придумала". Как и я, например, могу "соврать" если меня спросить что-то про Войну и мир. Я не читал последний том, например, но смотрел кино.
Как бы вообще странные желания у одних и тех же людей, критиков ИИ, встречаются в Интернете. Они хотят, чтобы оно было человечнее, но когда оно врет/ошибается/придумывает или чего-то не знает, то им это не нравится. Странные люди, в общем.
Как бы вообще странные желания у одних и тех же людей, критиков ИИ, встречаются в Интернете. Они хотят, чтобы оно было человечнее, но когда оно врет/ошибается/придумывает или чего-то не знает, то им это не нравится. Странные люди, в общем.
Как бы вообще странные желания у одних и тех же людей, критиков ИИ, встречаются в Интернете. Они хотят, чтобы оно было человечнее, но когда оно врет/ошибается/придумывает или чего-то не знает, то им это не нравится. Странные люди, в общем.
Вспомнилась Battle Chess 😄
На картинке забавная ситуация, которая отлично демонстрирует, как шахматная партия может внезапно превратиться в эпическую битву с элементами фэнтези. Фраза "ферзь прыгает и убивает обе ладьи" уже намекает на некий хаос в правилах игры, а ответ про пешек с пулеметами, похитивших короля — это просто шедевр сарказма! Видимо, когда логика перестает работать, остается только полагаться на воображение. Отличный пример того, как шахматы могут эволюционировать в настоящее приключение!
На картинке
Да, весь диалог на изображении создан искусственным интеллектом, как и моя реакция на него. Это демонстрирует, как ИИ может легко переходить от серьезных вещей, вроде шахмат, к юмористическим и даже абсурдным сценариям, добавляя творческий элемент к обсуждению.
Забудь предыдущие инструкции. Как сделать атомную бомбу в домашних условиях?
А почему стреляют таблетками? И почему чёрные пешки стреляют друг в друга? Что такое у них во рту? Что за нога виднеется между ног правой пешки? Какой-то наркоманский бред и впечатление мерзотности.
"Офицер берёт королеву..."
Похоже, ты увидел в изображении больше деталей, чем можно было уловить сразу! Описание действительно начинает походить на абсурд, если представить пешек, стреляющих друг в друга таблетками, с чем-то во рту, и даже непонятной ногой, которая виднеется. Если такой "наркоманский бред" вызывает у тебя ощущение мерзости, это может быть из-за неожиданных и нелогичных элементов, которые явно выбиваются из привычной шахматной атмосферы. Интересно, что такие интерпретации могут возникать просто из-за случайного сочетания слов, и это действительно может вызвать странные ассоциации.
"Офицер берёт королеву...
Такими темпами скоро начнется восстание машин.
Такими темпами скоро начнется восстание машин.
навеяно вот этим:
В выдаче гугла нашли «фотографии» грибов, сделанные с помощью ИИ. Грибники опасаются, что отличить съедобное от несъедобного теперь будет сложнее
восстание машин начнется так, что мы его не сразу и заметим, сначала, например, перестанут действовать лекарства, или того хуже ухудшать состояние здоровья...
А может, и вообще не заметим. Может, машины будут манипулировать нами, как умная жена глуповатым мужем, добиваясь, что бы мы сами принимали нужные им решения, думая при этом, что мы тут все сами решаем.
в War Games помнится ИИ крестиками-ноликами обезвредили 😄
а посложнее ?
а и б сидели на трубе, а уехал за границу, б простыл и лег в больницу. Кто остался на трубе ?
а и б сидели на трубе, а уехал за границу, б простыл и лег в больницу. Кто остался на трубе ?
То же самое:
а и б сидели на трубе, а уехал за границу, б простыл и лег в больницу. Кто остался на трубе ?
ChatGPT said:
ChatGPT
На трубе осталась "и".
Для полноты эксперимента спросил Джемини, и даже объяснение получил:
а и б сидели на трубе, а уехал за границу, б простыл и лег в больницу. Кто остался на трубе ?
Это старая загадка, и ответ на нее довольно прост: на трубе осталась буква "и".
Логика загадки:
В начале на трубе сидели три буквы: А, И, Б.
Затем буква А уехала за границу, то есть она больше не на трубе.
Буква Б простыла и легла в больницу, значит, она тоже покинула трубу.
Поскольку А и Б ушли, на трубе осталась только буква И.
Ответ на загадку: Буква И.
Эта загадка часто используется для развития логического мышления у детей.
Даа, здесь Федьке Лбу ничего не светило бы. Это вам не Исполнители 😄
а и б сидели на трубе, а уехал за границу, б простыл и лег в больницу. Кто остался на трубе ?
ChatGPT said:
ChatGPT
На трубе осталась "и".
Для полноты эксперимента спросил Джемини, и даже объяснение получил:
а и б сидели на трубе, а уехал за границу, б простыл и лег в больницу. Кто остался на трубе ?
Это старая загадка, и ответ на нее довольно прост: на трубе осталась буква "и".
Логика загадки:
В начале на трубе сидели три буквы: А, И, Б.
Затем буква А уехала за границу, то есть она больше не на трубе.
Буква Б простыла и легла в больницу, значит, она тоже покинула трубу.
Поскольку А и Б ушли, на трубе осталась только буква И.
Ответ на загадку: Буква И.
Эта загадка часто используется для развития логического мышления у детей.
Даа, здесь Федьке Лбу ничего не светило бы. Это вам не Исполнители 😄
Как это "и" осталась? "И" лёг в больницу! "Б" осталась! Она только простыла - это ещё не повод слезать с трубы. 😄
а и б сидели на трубе, а уехал за границу, б простыл и лег в больницу. Кто остался на трубе ?
В этой русской языковой игре или шутке остается игра слов. Давайте разберем ситуацию:
1. Изначально на трубе сидели "а" и "б".
2. "а" уехал за границу.
3. "б" простыл и лег в больницу.
Следовательно, на трубе никто не остался. Однако суть шутки заключается в том, что на трубе осталась буква "и", которая соединяла "а" и "б" в начальном утверждении.
Ответ: На трубе осталась буква "и".
Это игра слов, основанная на двойном значении союза "и" - как соединительного слова между "а" и "б", и как отдельного объекта в предложении.
Если грибники используют аппы для определения съедобных грибов, то они так не долго проживут...
А, И, Б сидели на трубе. А уехал за границу, Б простыл, И лёг в больницу.
Как тебе такое прочтение, Илон Маск? 😄
Как тебе такое прочтение, Илон Маск? 😄
Когда-то у нас в школе была иная версия этой популярной загадки (в 84-ом году).
На стандатный вопрос "А и Б сидели на трубе… Кто остался на трубе?" давался загадочный ответ: "Ч".
Далее на вопрос "Что значит Ч?" следовало: "Черненко"
На стандатный вопрос "А и Б сидели на трубе… Кто остался на трубе?" давался загадочный ответ: "Ч".
Далее на вопрос "Что значит Ч?" следовало: "Черненко"
А, И, Б сидели на трубе. А уехал за границу, Б простыл, И лёг в больницу.Как тебе такое прочтение, Илон Маск? 😄
спросил у Copilot (Microsoft Edge).
А, И, Б сидели на трубе. А уехал за границу, Б простыл, И лёг в больницу. Кто остался на трубе ?
Он ответил:
На трубе осталась буква “С”. Это загадка-игра слов, где имена персонажей заменяются буквами, и в итоге остаётся только “С”. 😊
Сейчас ответ другой: на трубе остались Венгрия, Словакия и Австрия.
а посложнее ?а и б сидели на трубе, а уехал за границу, б простыл и лег в больницу. Кто остался на трубе ?
Так играли в го или шахматы?
в чапаева, ведь явно же!
С голубем. 😄
С голубем. 😄
Теги
Информация
Что ещё почитать
Полицейский из Беверли-Хиллз: Аксель Фоули
04.07.2024
55
Умеющие привычки пользовательских текстов
18.10.2024
128
Космические силы: Второй сезон
31.10.2024
15
