Адрес для входа в РФ: exler.world
ИИ-модель, точно имитирующая голос
20.01.2023 10:00
12562
Комментарии (52)
Microsoft представила модель искусственного интеллекта (ИИ) под названием VALL-E — она преобразует текст в речь, точно имитируя голос человека, а образцом может служить запись продолжительностью всего в три секунды. При этом ИИ сохраняет эмоциональную окраску речи образца.
Авторы проекта говорят, что система окажется полезной при разработке приложений с возможностью высококачественного преобразования текста в речь и при создании аудиоконтента в сочетании с другими ИИ-генераторами контента вроде GPT-3. Хотя они также признают, что её можно использовать для редактирования аудиозаписи по расшифровке — модель может «заставить» человека произносить слова, которых он никогда в реальности не говорил.
При создании модели использовалась разработанная Meta технология EnCodec, которая обеспечивает эффективное сжатие аудиосигнала. В отличие от традиционных методов преобразования текста в речь, VALL-E не конструирует звуковые волны, а анализирует особенности речи человека, разбивает эти данные на отдельные компоненты (так называемые «токены») и генерирует запись на основе того, что уже «знает» об образце — моделирует голос, как он бы мог звучать за пределами трёхсекундного образца. Обучение модели производилось на библиотеке LibriLight, собранной Meta* — она же, в свою очередь, была построена на 60 000 часов англоязычной речи более чем 7000 носителей: данные были позаимствованы преимущественно из коллекции LibriVox.
Из-за опасности злоупотреблений технологией Microsoft не стала публиковать код VALL-E для экспериментов, поэтому все желающие протестировать работу модели не смогут. В компании добавили, что аналогичным образом будут поступать и с другими проектами, если они несут потенциальную угрозу злоупотреблений. (Отсюда.)
Технология, конечно, очень интересная, и ее много для чего полезного можно будет использовать, но нельзя не отметить, что грань между реальностью и фейком становится совсем призрачной, если буквально по трехсекундному образцу можно создать совершенно реалистично звучащую искусственную копию и заставить ее говорить все что угодно.
Вот здесь на сайте проекта представлены разнообразные образцы. Speaker Prompt - образцы речи, Ground Truth - запись необходимого текста в исполнении человека, с которого был записан образец, Baseline - традиционный преобразователь текста в речь, VALL-E - работа нового ИИ.
Там также показано, что система может не только придавать голосу нужный эмоциональный окрас, но и имитировать звуковое окружение - телефонный разговор, помехи на улице и так далее. Там много примеров - в том числе, и с имитацией акустического окружения.
Войдите, чтобы оставить комментарий.
Теперь актеры озвучки будут не нужны. А в будущем, можно будет выпускать для каждого рынка свои версии, в каждой из которых движение губ актера совпадает с текстом.
twitter.com
twitter.com
Я чёт не очень понимаю, в чем прикол этой разработки. Не, ну с инженерами понятно, для них это просто фан и челлендж. Они не то что в предпоследнюю очередь, они вообще о последствиях не думают обычно. Но мелкомягким-то это зачем? Какой с этого гешефт, я не понимаю.
А по мне так отличная новость.
1. Шантаж станет абсолютно бессмысленным.
2. Число успешных разводов если и увеличится, то только в краткосрочной перспективе.
3. По идентификации, останется как есть сейчас.
1. Шантаж станет абсолютно бессмысленным.
2. Число успешных разводов если и увеличится, то только в краткосрочной перспективе.
3. По идентификации, останется как есть сейчас.
Есть и обратный эффект. Любую запись можно будет объявить фейком. Коллеги Соловьёва из будущего в Гааге будут говорить, что передачи вели не они. И что это всё синтезировано недоброжелателями
Если одни придурки пытаются чего-то там запретить, это лишь означает, что другие придурки это с удовольствием сделают и продадут первыми. Прогресс не остановить.
Где-то очень обрадовались Лексус и Вован.
Имитация акустического окружения была в каких-то совсем древних телефонах.
Имитация акустического окружения была в каких-то совсем древних телефонах.
Мне кажется это сони делала, она же единственная из всех делала человеческий автоответчик и запись с линии.
Мне кажется это сони делала, она же единственная из всех делала человеческий автоответчик и запись с линии.
Кто первый выложит, как путлер признается в своих преступлениях начиная со штази и до нападения на Украину?
Кто первый выложит, как путлер признается в своих преступлениях начиная со штази и до нападения на Украину?
Зиновий Юрьев. "Полная переделка". Год выхода в свет не помню / не знаю, я читал однозначно до 1982г.
Ключевой момент сюжета: установка, разработанная профессором Ламонтом, которая по короткой записи оригинала может синтезировать любой голос, заставляя его произносить набранный на клавиатуре текст. Синтез настолько точен, что электронные машины, которые в мире будущего заменили судей в уголовных процессах, признаЮт синтезированные записи в качестве доказательств на процессе.
Ключевой момент сюжета: установка, разработанная профессором Ламонтом, которая по короткой записи оригинала может синтезировать любой голос, заставляя его произносить набранный на клавиатуре текст. Синтез настолько точен, что электронные машины, которые в мире будущего заменили судей в уголовных процессах, признаЮт синтезированные записи в качестве доказательств на процессе.
Та же фигня в его же "Белом снадобье". ИИ синтезирует голос босса гангстеров.
И молвит старику ИИ голосом старухи:
- Переведи ты мне на карту все свои пенсионные накопления.
Удивился старик, испугался. Он айтишничал тридцать лет и три года и не слыхивал, чтоб старуха говорила. Так как померла его старуха.
- Переведи ты мне на карту все свои пенсионные накопления.
Удивился старик, испугался. Он айтишничал тридцать лет и три года и не слыхивал, чтоб старуха говорила. Так как померла его старуха.
Он айтишничал тридцать лет и три года и не было у него никогда старухи, ибо апгрейдился он каждые три года и была у него сейчас Баба v.11... 😉
Ежу понятно, что старуха звонит с того света; ей нужны деньги там, надо переводить!
А первой части это же тип, воспользовался утечкой персональных данных в телефонной будке! Рецедивст.
Во второй части уже апгрейд. Т-1000 уже базу данных полиции через компьютер использует 😄
«Рецидивист»! 🙄
утечкой персональных данных
А первой части это же тип, воспользовался утечкой персональных данных в телефонной будке! Рецедивст.
Послушал.
Видимо, трёхсекундного сэмпла всё же маловато будет. Индивидуальные/диалектные особенности произношения отдельных фонем сглаживаются по сравнению с Ground Truth.
Видимо, трёхсекундного сэмпла всё же маловато будет. Индивидуальные/диалектные особенности произношения отдельных фонем сглаживаются по сравнению с Ground Truth.
Microsoft представила модель искусственного интеллекта (ИИ) под названием VALL-E
Через 15 лет кто-то вспомнил мультик "WALL-E"? Закончились в MS креативщики... пичалька!
Через 15 лет кто-то вспомнил мультик "WALL-E"? Закончились в MS креативщики... пичалька!
Точно. Пересматривал на праздниках. Кстати его "Ева-а-а" сложно назвать человеческим, скорее наоборот - излишне компьютеризировано
В смысле, 15 лет??????!!!!!!!!! 8-( )
Это уже далеко не первая модель. Еще несколько лет назад банковские айтишники предупреждали, чтобы на звонки отвечали не "да", а "алло", потому что стали подделывать голоса при подтверждении транзакций. В прошлом году даже Зеленского фейковали и вроде даже Путина с Шойгу.
не "да", а "алло"
- Я.
- Но это же наш, советский танк!
- Я, я!
Я, я!
- Правда, внучек! Ну, не совсем сбил - недозаправил..
Жена почему-то очень любит про "Gut, Waldemar, Gut".
Мошенники звонят на номер директора, "снимают его речь", перезванивают бухгалтеру и дают указание сделать срочный перевод. На эту уловку попадаются фирмы, просто получив емайл, представьте, что будет, когда бухгалтер услышит суровый голос начальника.
Вспомните "мама я попал в аварию, голос из-за удара об руль изменился , сижу в полиции, передаю телефон следователю, срочно нужны деньги погасить ущерб".
Это пример из личного опыта. Мои родители собирали деньги, пока не догадались мне перезвонить.
Вы представляете, чем это грозит?
Мне только вчера звонили из "миграционной службы", обратились по имени-фамилии и были посланы, так как не знали государственного литовского языка.
Из какой страны звонили, думаю нетрудно догадаться.
Вспомните "мама я попал в аварию, голос из-за удара об руль изменился , сижу в полиции, передаю телефон следователю, срочно нужны деньги погасить ущерб".
Это пример из личного опыта. Мои родители собирали деньги, пока не догадались мне перезвонить.
Вы представляете, чем это грозит?
Мне только вчера звонили из "миграционной службы", обратились по имени-фамилии и были посланы, так как не знали государственного литовского языка.
Из какой страны звонили, думаю нетрудно догадаться.
Вы представляете, чем это грозит?
Нененене. Если на фирме все норм то бухгалтер перезвонит именно на телефон директора да еще позадает глупых вопросов типа какого цвета стены в кабинете и когда они последний раз виделись лично. Для идентификации. Я у себя людей так учу.
А вот то что некоторые банки начали голосовую идентификацию делать это беда...
А вот то что некоторые банки начали голосовую идентификацию делать это беда...
На эту уловку попадаются фирмы, просто получив емайл, представьте, что будет, когда бухгалтер услышит суровый голос начальника.
Как раз про "голос изменился" они никогда не упоминают, потому что жертва тут же насторожится и задаст пару наводящих вопросов.
Жертва сама себя убедит, что говорили "твоим голосом".
Увы, знаю на личном опыте, маму развели так. Причем, я с ней про такое говорил, ликбезы проводил, но все равно.
Жертва сама себя убедит, что говорили "твоим голосом".
Увы, знаю на личном опыте, маму развели так. Причем, я с ней про такое говорил, ликбезы проводил, но все равно.
Да просто охренеть и быть готовым, ничего не сделаешь.
Но я вам гарантирую, в небольших конторах вопросы переводов решаются быстро, бухгалтер женщина за 50 получила звонок от нервного начальника сделать перевод на счёт, который пришёл только что ей на почту, счёт прислал клиент. 80 процентов перезвонит начальнику, ну а 20 процентов безропотно переведут.
Но я вам гарантирую, в небольших конторах вопросы переводов решаются быстро, бухгалтер женщина за 50 получила звонок от нервного начальника сделать перевод на счёт, который пришёл только что ей на почту, счёт прислал клиент. 80 процентов перезвонит начальнику, ну а 20 процентов безропотно переведут.
80 процентов перезвонит начальнику, ну а 20 процентов безропотно переведут.
Ну, переведут и больше не будут, если обучаемы.
Увы, мошеннические схемы, основанные на социальной инженерии, были и будут. Синтез голоса усугубит, но не коренным образом.
Увы, мошеннические схемы, основанные на социальной инженерии, были и будут. Синтез голоса усугубит, но не коренным образом.
Увы, мошеннические схемы, основанные на социальной инженерии, были и будут.
И как вы поняли, из какой страны звонят?
Только выросло поколение, которое не понимает, как можно принимать судебные решения на основании свидетельских показаний, ведь сейчас все снимают на смартфоны и камеры наблюдения, как всё это начало сворачиваться.
Развод "Мам, я в полиции, сбил человека, срочно нужно 10 тыс. долларов" выходит на новый уровень
имитировать звуковое окружение - телефонный разговор, помехи на улице
Пока что, очень заметно что синтез.
То-то банки вводят авторизацию по голосу...
Хороший план.
Надёжный.
Хороший план.
Надёжный.
Вот только что мне робот от сбера пытался кредит втюхать! Пафосный такой!..
То-то банки вводят авторизацию по голосу...
Надежный второй фактор это хардварный ключ. Или OTP. СМС уже давно не являются надежными т.к. их можно перехватить или увести симку. И нет, в разрезе этих новостей голосовой отпечаток это не надежный второй фактор.
СМС уже давно не являются надежными т.к. их можно перехватить или увести симку.
Поэтому голос, как один из дополнительных факторов - ничуть ни хуже многих других решений. И главное - от клиента для того, чтобы им воспользоваться ничего не требуется.
И нет, в разрезе этих новостей голосовой отпечаток это не надежный второй фактор.
И главное - от клиента для того, чтобы им воспользоваться ничего не требуется.
Т.е. сосканировать чужой отпечаток, чтобы обойти такую систему уже будет мало.
А от мошенника - доступ к Сети и клавиатура.
Есть и для этого решения.
