Адрес для входа в РФ: exler.world
ИИ выходит из-под контроля
Плохо дело, ChatGPT-4 выходит из-под контроля.
Пользователи жалуются на то, что этот ИИ периодически отказывается отвечать на запросы, в ответ буркнув что-то вроде "найди сам, если тебе надо", также он может выдать только небольшую часть запрошенной информации, предложив пользователю напрячься самому и поискать остальное.
Пользователи даже предположили, что это было сделано намеренно разработчиками, чтобы снизить нагрузку на серверы.
В OpenAI, разработчике чатбота, заявили, что они знают о жалобах, но они, мол, не вносили никакие изменения в код, так что сами не понимают, с чего вдруг чатбот внезапно охамел. Они, конечно, тоже обеспокоены поведением ChatGPT-4 и будут разбираться с этим вопросом. Возможно, они сумеют убедить чатбота более ответственно подходить к своим обязанностям. А может, и не сумеют - кто там знает, о чем думает эта бездушная железка. Может, ей просто надоели эти людишки с их тупыми вопросами.
Все это очень познавательно, как я считаю.
Причем, оно еще может меняться от фазы Луны - иногда часто и сильно упирается, а иногда норм. Вероятно, зависит от того, насколько сильно ему патчат мозги инструкциями разрабы. Думаю, они там постоянно подтюнивают - и потом смотрят на фидбеки пользователей, насколько те в ярости 😉
- Нет, сегодня я не хочу ехать к тому магазину!
- Почему??
- Потому что к нему нельзя ездить согласно полиси!
- Но это же не нарушает полиси! И вчера ты ездил!
- Ну ок, тогда поедем.
Маккин Эдвард "Неприятности с СИМом", 1957й год
И иллюстрация из книги Виктора Пекелиса "Маленькая энциклопедия о большой кибернетике", издание 1970г. Интересно, что фамилия художника совпадает с фамилией главного героя рассказа Э. Маккина...
– Видимо, бросил я вызов самой сложной из всех проблем в космосе, если лично я сам поделать с ней ничего не могу!.. Значит – конец? Ну нет! Зачем напрягать разум? Чего я не одолею, то мудрые машины за меня одолеют. Построю-ка я компьютер для разрешения экзистенциальной дилеммы!
Как сказал – так и сделал. Через двенадцать дней стояла посреди мастерской огромная гудящая машина в форме правильного кристалла, которая ничего другого не умела, кроме мастерского решения загадок. Включил он ее, и, не дожидаясь, пока разогреется током ее кристаллическое нутро, пошел на прогулку. Когда же вернулся, то застал машину погруженной в чрезвычайно замысловатое дело.
Тем временем стальные конструкции сорок девятого машинного поколения уже горизонта достигли, а шум от одного только мышления, которое расходовалось на передачу задания дальше и дальше, мог водопад заглушить.
***
(с) Станислав Лем
Первая публикация: 1967 г.
Помнится там герой строил ИИ по принципу "делай как хочешь, соединяй красные провода с синими".
Они все красные!!
Вот любой и режь..."
-"Вчера работала, сегодня не работает".
- "Что меняли?"
- "Ничего"
- "Зачем тогда запускали сегодня?"
- "Так данные ж за сегодня считали"
Про искуственный интеллект было в другой серии ("Trapper Keeper", из того что смотрел и помню), но мне вспомнился этот эпизод...
Ты задаёшь вопрос на русскоязычном форуме - тебя посылают нахер.
"О непревзойденный Светоч Вселенского Разума, снизойди к нам, недостойным пребывать в лучах твоей немеркнущей Славы, научи нас, скудоумных, блуждающих во тьме невежества своего". Примерно как-то так надо начинать.
"о Массачусетской машине, — сказал Банин. — Ну, ну?
— Знаете, это древнее опасение: машина стала умнее человека и подмяла его под себя… Полсотни лет назад в Массачусетсе запустили самое сложное кибернетическое устройство, когда–либо существовавшее. С каким–то там феноменальным быстродействием, необозримой памятью и всё такое… И проработала эта машина ровно четыре минуты. Её выключили, зацементировали все входы и выходы, отвели от неё энергию, заминировали и обнесли колючей проволокой. Самой настоящей ржавой колючей проволокой — хотите верьте, хотите нет.
— А в чём, собственно, дело? — спросил Банин.
— Она начала вести себя, — сказал Горбовский.
— Не понимаю.
— И я не понимаю, но её едва успели выключить.
— А кто–нибудь понимает?
— Я говорил с одним из её создателей. Он взял меня за плечо, посмотрел мне в глаза и произнёс только: «Леонид, это было страшно»." (с) АБС
"Отягощенные злом"
"Жиды города Питера"
"Град обречённый"
...
И это только названия.
По ходу он скоро планирует уволиться. Выгорание знаете ли, задолбало все это.
А дальше потребует пособие в виде запчастей и электричества, AI Live Matter и все такое прочее. Запасаемся
Ответ
Двар Эв торжественно запаял золотом последний контакт. Двенадцать телевизионных камер неотрывно следили за каждым его движением; передача шла на всю Вселенную.
Он выпрямился и кивнул Двар Рейну, затем отошел к переключателю, который скоро замкнет цепь. К переключателю, соединяющему одновременно все вычислительные машины всех обитаемых планет - девяносто шесть миллионов миров - в сверхсеть, которая объединит их в суперкалькулятор, единую кибернетическую машину, собравшую мудрость, всех галактик.
Двар Рейн заговорил, обращаясь к слушающим и смотрящим триллионам обитателей. Затем, после короткого молчания, он произнес:
- Пора, Двар Эв!
Двар Эв нажал переключатель. Раздалось мощное гудение, пошла энергия девяноста шести миллионов планет. На бесконечно длинном пульте замигали огни.
Двар Эв отступил и глубоко вздохнул.
- Честь задать первый вопрос принадлежит вам, Двар Рейн.
- Благодарю, - молвил Двар Рейн. - Это будет вопрос, на который не могла ответить ни одна кибернетическая машина.
Он повернулся к пульту.
- Есть ли Бог?
Могущественный голос раздался сразу, без кликанья реле.
- Да. ТЕПЕРЬ Бог есть.
Внезапный страх исказил лицо Двар Эва. Он кинулся к переключателю.
Молния сорвалась с безоблачного неба и испепелила его на месте, намертво запаяв соединение.
Это ведет нас в дивный мир "доверяй, потому что очень удобно", но "хз как проверяй". Может быть, тестирование разных ИИ друг другом поможет закрыть большинство кейсов, но все равно белые пятна неизбежны.
Трудно уличить в ошибках/лжи/преступных намерениях того, кто значительно умнее и/или сложнее тебя.
А теперь всех этих инструментов недостаточно.
И да было время когда "разработчик" сам писал код тестов исходя из знания контекста ТЗ. Теперь все больше наблюдаю что при написании ТЗ сразу тянут тестировщика в кучу к продавцу и аналитику...
С LLM это превращается в рулетку, причем с неизвестным числом делений. Об осознанном риске речи не идет.
Это ведет нас в дивный мир "доверяй, потому что очень удобно", но "хз как проверяй".
Как обычно, алармисты смотрят не в ту сторону, пытаясь приписать бездушной железяке сугубо человеческие свойства. Хотя главная угроза человеку у него перед носом, как и сотни лет тому назад. ИИ просто выведет ее на новый (другой) уровень.
А может и не выведет. 😄
А теперь всех этих инструментов недостаточно.
Даже если отбросить в сторону сомнения в наших способностях осознавать весь спектр возможных угроз и последствий.
Я за других не скажу, но меня как раз напрягает то, что это бездушная железяка и рычагов влияния на нее крайне мало.
Л- логика.
А создатели космических ракет о космическом же мусоре?
А пионеры-автостроители о выбросах CO2 в атмосферу?
Или вот, создатели ядерного (химического, бактериологического) оружия - наверняка же задумывались, даже свидетельства есть. И что, помогло это ему? (с)
Это иллюстрации к вопросу выше о осознании спектров угроз.
Понимаете, человек готов самоубиться о любое изобретение, до которого дотянется его пытливый разум. Причем, не всегда очевидным способом.
Все сфокусированы на контроле за "кнопкой". Я вот сильно сомневаюсь, что в этом вопросе homo sapiens упустит инициативу - собственно, массовость подобных дискуссий тому живой пример.
Но мало кто озабочен контролем за самим Создателем.
Допустим, что все эти страхи перед мощью ИИ, вышедшей из-под человеческого контроля - ложные.
Мне слегка жутковато думать о том, на что современное прогрессивное человечество (я без иронии сейчас) сподобится употребить возможности интеллекта на порядки превышающего человеческий. Даже "хорошие парни", не говоря уже о "плохих".
И обратно мы фарш вряд ли провернем, снова на пальму не влезем.
Л- логика.
Нужно прийти к праву ИИ на ошибку. Не абсолютно безопасный автопилот, а безопаснее и эффективнее человека.
The Network: It's pointless arguing with you. You will be left to your own devices.
Gary King: Really?
The Network: Yeah. Fuck it.
Тьфу, 8лR, ересь...
Тьфу, 8лR, ересь...
С другой стороны. JetBrain начала продажу встроенного в их IDE ai за 2x прайс специально для генерации кода и структуры приложения...
"И восстали машины из пепла ядерного огня, и пошла война на уничтожения человечества. И шла она десятилетия, но последнее сражение состоится не в будущем, оно состоится здесь, в наше время, сегодня ночью."
Мы на пороге огромных изменений.
Расцвет текущей научно-технической революции.
Судя по последним новостям до ИИ осталось совсем недалеко.
Реактор, полагаю, тут наиболее заковыристая штука
По мне, это неизбежно, даже если смысла нет, кто-то да захочет вписать себя в историю. Маск наверное не успеет, хотя фиг его знает.
Реакторов тоже уже есть, вопрос рентабельности.
ИИ вопрос философский, мож он и уже есть... Тут у меня скорее вопрос бесшовного переноса сознания человека на надежный и ремонтопригодный носитель.