Как распознавать текст на картинках и как переводить его

17.04.2024 32319   Комментарии (81)

Современные средства машинного перевода настолько хороши, что позволяют очень быстро и качественно переводить любой скопированный пользователем текст. Однако нередко бывает так, что текст на каком-то сайте невозможно скопировать, потому что он представлен в виде графики, картинки. Сейчас не будем обсуждать, зачем это делают создатели сайтов - причины там могут быть самые разные, - но то, что подобное встречается, причем нередко - это неоспоримый факт. 

И мне неоднократно в письмах пользователей, которые спрашивали совета по тому или иному поводу, попадались вопросы на эту тему: как получить текст с изображения в виде текста, с которым можно работать, ну и как более общей вопрос - как переводить текст с картинок, потому что чаще всего речь идет именно о переводе. 

Давайте это рассмотрим в данной статье. 

Задача перевода текста с картинки разбивается на три этапа. 

Этап первый - создание скриншота текста с картинки, чтобы с ним можно было потом работать. 

Этап второй - распознавание текста со скриншота. 

Этап третий - перевод распознанного текста. 

Создание скриншота с картинки

Скриншот обычно можно делать базовыми средствами операционной системы. В операционной системе Windows 11 (и нескольких предыдущих) есть встроенное средство создания скриншотов Snipping Tool ("Ножницы"), которое вызывается нажатием клавиши Print Screen (или Shift+Win+S).

При этом в самом верху экрана по центру появится вот такая панель с пиктограммами. 

Первая пиктограмма - захват прямоугольного изображения. Выделяете мышкой прямоугольную область на экране, отпускаете левую кнопку - захваченная картинка появляется в приложении "Ножницы", где ее можно сохранить, отредактировать, загрузить в редактор Paint, скопировать в системный буфер и так далее.  

Также в панели инструментов, вызываемой по кнопке Print Screen, можно вызвать подменю, в котором выбирается захват прямоугольника, активного окна, всего экрана или произвольной фигуры.  

Для Windows, разумеется, также есть куча самых разнообразных приложений для захвата скриншотов, и я больше всего люблю приложение FastStone Capture, которое использую много лет. 

На компьютерах Mac скриншоты также легко делаются с помощью комбинаций Shift+Cmd+3 (полный экран), Shift+Cmd+4 (область экрана) и так далее. 

Распознавание текста

В случае с Windows в приложении "Ножницы" есть встроенная система распознавания текста. Если вы делаете скриншот с текстом и открываете его в приложении "Ножницы", то прямо там можно нажать соответствующую пиктограмму снизу, чтобы распознать текст и скопировать его в буфер. 

Разумеется, это работает для самых разных языков. 

Если у вас нет встроенной системы распознавания, то вы можете воспользоваться приложением для распознавания (английская аббревиатура - OCR, Optical Character Recognition) или каким-то онлайновым сервисом. 

Пока в Windows не было встроенной системы распознавания, я использовал вот такой онлайновый сервис. Ему указывается скриншот, выбирается язык, выбирается выходной формат - он и распознает. 

У бесплатной версии есть определенные ограничения на количество распознанных скриншотов (что-то там порядка 10), но обычно этого вполне хватает. 

Для Mac мне хвалили программу распознавания OwlOCR.

Перевод текста

С переводом распознанного текста совсем все просто: копируете текст в Переводчик Гугла, Яндекс.Переводчик или DeepL - получаете перевод.

Однако если вы используете переводчик DeepL (а он, наверное, лучший из всего, что есть), то там есть очень интересная возможность создания скриншота с текстом, распознавания и перевода "в одном флаконе". По умолчанию такой перевод появляется по комбинации клавиш Ctrl+F8: вы выделяете прямоугольный блок с текстом на картинке, отпускаете левую кнопку мыши, после чего в окне DeepL появляется перевод. И это очень и очень удобно.

Единственное, о чем нужно предупредить: эта функция DeepL почему-то не справляется с кириллицей, распознает ее крайне криво. Со всеми остальными языками, поддерживаемыми DeepL, никаких проблем не было.

© 1998–2024 Alex Exler
17.04.2024

Комментарии 81

Вот еще одна программа, которая позволяет делать со скринами все что душе угодно. В том числе и распознавать. Называется ShareX. Рекомендую.
06.05.24 09:56
0 0

Алекс, все намного проще.
addons.mozilla.org
Right click -> Send to Google Lens, там выбираем "переводчик".
И ВСЁ!!
18.04.24 11:24
0 1

А в хроме и аддон не нужен.
18.04.24 15:57
0 2

На Самсунге - сфотал, нажал на глазик справа вверху, пальцем выделил (можно сразу всё), скопировать или перевести нажать.
18.04.24 04:28
0 1

Корейский Самсунг АИ понимает не очень...
А так-да.
25.04.24 22:47
0 0

На пикселе примерно так же
18.04.24 15:56
0 0

Попробовал сделать все по инструкции - нажал на PrtSc и стал искать на экране меню. Не нашел. Хотел уже Алексу пожаловаться, но потом вспомнил, что удалил Ножницы сразу после инсталляции винды 😄
18.04.24 01:48
0 1

PrtSc и стал искать на экране меню.
Там в винде10 и 11 ножницы (сниппинг тул) - чуть другая подсистема.
Попробуйте нажать Win+Shift+S, либо включите в настройках клавиатуры вот эту настройку (я текст взял из приложухи именно этим способом):

Print Screen shortcut
Use the PrtScn button to open screen snipping
Based on other app settings, you might need to restart your PC to see this change.
18.04.24 09:20
0 0

Если речь о ПК, то есть способ даже проще в пару кликов при помощи Power Toys или ABBYY Screenshot Reader. Не надо никаких скриншотов - можно просто навести на любую область экрана и вуаля - распознанный текст в буфере.
Но способ описанный Алексом однозначно зачетный, учитывая что не требуется никаих сторонних приложений. Вообще красота. Спасибо за ликбез.
17.04.24 21:35
0 1

В Windows 10 у меня по Win+Shift+S выплывает "Набросок на фрагмент экрана". Там нет возможности копировать текст.
Принудительно запустил "Ножницы", не нашёл там опцию распознавания текста.
17.04.24 19:52
0 0

Оно появилось с 11 версии. Так что вставь текст в гугль (нажав на фотоаппарат в строке поиска) и всё.
18.04.24 09:17
0 0

"Для Mac мне хвалили программу распознавания OwlOCR".
Спасибо за рекомендацию, Алекс! Установил, потестирую в ближайшие дни.
17.04.24 19:36
2 0

Скармливаю картинки/скриншоты в командной строке Tesseract֊у, отлично работает, доступен практически для любой операционной системы.
17.04.24 18:32
0 0

Перевожу через Google Lens, это удобнее всего. Но спасибо, интересно было узнать разные варианты, в том числе предложенные в комментариях.
17.04.24 17:08
0 6

Самый простой способ распознания - это Google Lens.
Идём на главную страницу Google, жмём на линзу с поиском по картинке, либо кидаем файл, либо просто вставляем из клипборда, копируем распознанный текст. Не нужно ничего, кроме браузера.
17.04.24 16:08
0 3

Ну, передать из браузера в линзу не проблема сотней способов.
Для меня самое ценное именно буфер обмена, так как картинку (если она не упрятана в, скажем канвас или в цсс, т.е. не кликабельна) могу что в хроме, что в Вивальди туда кинуть и так.
18.04.24 19:06
0 0

Для файрфокса есть специальный аддон, который добавляет меню по клику правой кнопкой, "Search on Google Lens".
Далее просто нажимаем "переводчик" - и вот он, переведенный текст.
Два клика.
18.04.24 11:26
0 0

Если картинка уже в браузере, то да. Но как раз такое мне нужно очень редко, чаще всего что-то из телеги, или из браузера, но где до картинки добираться через девелоперс тулс, сканы и так далее.

В данном способе ценна именно возможность вставки из буфера обмена, в который можно поместить откуда угодно, сделав скриншот области через win+shift+S, или просто включив настройку "выделять область при нажатии на принтскрин" (как сделал я)
18.04.24 09:16
0 0

Даже не нужно идти на главную страницу Google. Right-click по картинке или тексту веб страницы и потом "Search images with Google".
17.04.24 18:05
0 4

По поводу комбинации клавиш для снятия скриншотов в Маке. Я работаю на Винде, а мак у меня домашний, и знаете, реально бесило, как легко снять скриншот части экрана в Винде (Shift+Win+S) и как нужно раскорячиться, чтобы сделать это на маке (Shift+Control+Command+4). Нашел интересный выход, поделюсь, может, кто не знает. На Маке можно переназначать шорткаты действий и как правило свободны клавиши F1 и F2. Я повесил на F1 снять скриншот части экрана в буфер обмена и F2 на скриншот части экрана в файл. Стало намного удобнее.
17.04.24 14:51
0 0

Очень приятно, спасибо. Награда нашла героя, как говорится. А минусующих я знаю, это глубоко несчастные, одинокие люди.

Я использую сочетание Cmd+Shift+5, попробуйте и вы. Три клавиши вместо четырех, плюс дополнительные "плюшки".
Не понимаю тех, кто минусует ваш комментарий. Я об этом функционале не знал и очень благодарен за совет. Хотя мне конкретно для задачи просто снять скриншот части экрана функционал излишен, но на будущее запомню, действительно, похоже на виндовый интерфейс Snip, удобно сразу редактировать.

Есть ещё отличная программка Shottr. Есть бесплатная версия и платная. Заменяет родной граббер картинок, позволяет назначать любые шоркаты, есть свой встроенный простой редактор - позволяет убрать текст, либо замазать прямоугольником часть, сделать кроп, нарисовать стрелочки, линии, кружки, и автоматическая линейка вертикальная и горизонтальная, которая считает расстояние в пикселях между разными объектами (для веб разработчиков)
17.04.24 21:31
0 2

Cmd+Sh+4 от зубов отскакивает. Скриншот селектом.
Не работает у меня такое сочетание. Как правило, мне нужен скриншот части экрана и не в файл, а в буфер обмена, стандартное сочетание из 4 клавиш - Sh+Cmd+Ctrl+4. Это было очень неудобно. А теперь стало просто через F1. Иногда мне нужен скриншот в файл, это теперь я делаю простым нажатием F2.
17.04.24 17:07
0 1

Спасибо, у меня теперь одна клавиша, удобнее. А старая комбинация - и ваша - не устраивала, потому что цифры далеко от функциональных клавиш и одной рукой не нажмёшь или сложно. Комбинация из винды Win+Shift+S - три клавиши, но они рядом и нажимаются без проблем, удобно. Да еще и открывается сразу в Snip, можно сразу отредактировать да и в файл сохранить.

По поводу комбинации клавиш для снятия скриншотов в Маке. Я работаю на Винде, а мак у меня домашний, и знаете, реально бесило, как легко снять скриншот части экрана в Винде (Shift+Win+S) и как нужно раскорячиться, чтобы сделать это на маке (Shift+Control+Command+4). Нашел интересный выход, поделюсь, может, кто не знает. На Маке можно переназначать шорткаты действий и как правило свободны клавиши F1 и F2. Я повесил на F1 снять скриншот части экрана в буфер обмена и F2 на скриншот части экрана в файл. Стало намного удобнее.
Cmd+Sh+4 от зубов отскакивает. Скриншот селектом.
17.04.24 15:19
0 1

как нужно раскорячиться, чтобы сделать это на маке (Shift+Control+Command+4)
Я использую сочетание Cmd+Shift+5, попробуйте и вы. Три клавиши вместо четырех, плюс дополнительные "плюшки".

Тот же принцип, но можно сделать проще (если информация не конфиденциальная):
1. Копируем с помощью инструмента windows "Snipping Tool" участок изображения с текстом в буфер обмена.
2. Открываем Гугл и в правом верхнем углу страницы нажимаем "картинки" - важно: нажимать именно там, а не значок фотоаппарата в строке поиска (по крайней мере у меня только так работает).
3. Дальше, теперь уже, нажимаем значок фотоаппарата в строке поиска справа и вставляем изображение из буфера обмена "Ctrl+V".
Начинается поиск по картинке и под ней появляются три кнопки: поиск, текст - распознанный текст, и перевод - перевод распознанного текста .
17.04.24 14:39
0 3

Для распознавания пользуюсь ABBYY Screenshot Reader. Удобная штука, выделяешь область и сразу в буфер обмена распознанный текст. А потом хоть в гугл переводчик, хоть куда.
17.04.24 13:33
0 2

Для распознавания пользуюсь ABBYY Screenshot Reader
Это платная программа?

Эпл уже года два распознает текст на картинках без танцев с бубном и позволяет его перевести на лету использую правую кнопку мыши, или в контекстном меню на телефоне.

И еще очень хорошо ищет в Фото фотографии по тексту на них
17.04.24 13:23
1 2

Сафари недолюбливаю
Сафари:

а Safari сразу на картинках на страничках может выделять без надобности сохранения
Сафари недолюбливаю
17.04.24 15:16
0 0

а Safari сразу на картинках на страничках может выделять без надобности сохранения
17.04.24 13:54
0 1

Несправедливо не упомянут встроенный в десктопный Chrome механизм "Search image with Google", который позволит это сделать в пару кликов без всяких скриншотов и других промежуточных действий.
17.04.24 13:10
0 6

На самом деле, для меня реально загадка, почему в хроме это приходится делать самому.
Ведь механизм перевод текста "на лету" уже есть, почему бы не добавить то же самое и для картинок? чтобы не надо было каждый раз кликать на каждой картинке и посылать её на гугл ленс.
18.04.24 12:15
0 0

Несправедливо не упомянут встроенный в десктопный Chrome механизм "Search image with Google"
да, отлично работает, регулярно пользуюсь
17.04.24 14:01
1 3

Вчера делал задание по немецкому, аудирование, не сошёлся в ответах с учебником. Решил подключить нейросеть, заодно проверить как она работает с разными типами информации. Учебник в виде скана и не самого лучшего, закидываю аудиофайл, скрин страницы, прошу дать ответ по заданию и транскрипцию аудио. Всё просто идеально сделала, транскрипция без ошибок. Ответ, кстати, совпал с моим. Уровень B2, DeepL такой уровень уже не всегда корректно переводит. Новая сетка от Гугла, по-моему лучше ГПТ4 и бесплатная. И миллион токенов за раз переваривает, может по большой книге задания выполнять.
17.04.24 13:02
0 0

Новая сетка от Гугла, по-моему лучше ГПТ4 и бесплатная.
Пожалуй, да. Попросила сгенерировать поздравление с теми же условиями, что и чат GPT, текст получился намного менее формальным и более человечным. И без видимых грамматических ошибок, в отличие от.
18.04.24 07:41
0 0

В Яндекс.браузере(не знаю как в других) когда делаешь поиск по картинке - он не только находит схожие , но и сам распознает текст. Таким образом - не надо ничего копировать , сохранять - просто в браузере кликаешь правой кнопкой по картинке - сделать поиск и получаешь распознанный текст, очень удобно!
17.04.24 12:54
0 0

Тут для распознавания мчится AI
g.co
17.04.24 12:35
0 0

У эпла все встроенное и на маках и на телефоне, распознается и на фотках и на картинках, даже никаких скриншотов делать не надо. Распознается, выделяется и копируется даже в окне быстрого просмотра по нажатию пробела на файле или объекте.
ab
17.04.24 12:24
1 4

Не умеет в Грузинский. Google lens - умеет. Ходил с обоими 😄
17.04.24 14:46
0 1

Я для перевода использую чатгпт. И текст, и картинки переводит гораздо лучше Гугла. Ещё и пояснения по переводу попросить можно.
17.04.24 12:21
0 0

Нет. Меня достаточно устраивает чатгпт, чтоб не тратить время на что-то другое 😄

чатгпт
Gemini пробовали?

На скриншоте с Гугловским переводчиком отчётливо видно кнопку "Изображения".
Посему, самый быстрый способ будет не возиться с Ножницами, а нажать Win+Shift+S или сделать принт-скрин и сразу из буфера влепить эту картинку в Гугл переводчик. Он всё разберёт и переведёт.
17.04.24 11:54
0 3

А можно вставить картинку в гугл переводчик он и перевел и текст даст скопировать сразу.
17.04.24 11:45
0 5

Я такой старый, что для OCR до сих пор пользуюсь Файнридером
17.04.24 11:19
0 2

У некоторых установлена бесплатная винда и бесплатный файнридер)
17.04.24 13:31
0 2

Дорого
17.04.24 12:44
0 0

Есть ещё прога такая бесплатная Crow Translate, в ней функция захвата и перевода встроена.
17.04.24 11:01
0 1

Идешь на гугл переводчик, добавляешь картинку, копируешь текст. Мультиплатформенно

PS картинку можно даже вставить из буфера обмена!
17.04.24 10:43
0 11

Google Object
Вполне справляется с небольшими кусками экрана и картинками. Мне пока хватает.
Плюс может сразу показать, где похожий текст или картинка встречается.
Плюс сам опознает исходный язык.
17.04.24 10:34
0 1

На iOS все встроенное. Даже системный поиск может найти текст на фотке, про которую вы уже забыли
17.04.24 10:28
1 5

в macOS (по крайней мере в Sonoma) распознавание текста работает "из коробки", в Preview открываешь картинку, выделяешь и просто копируешь текст.
17.04.24 10:03
0 6

в Preview открываешь картинку, выделяешь и просто копируешь текст.
Да, и в Quick Look (по нажатию пробела) это тоже можно делать.

Можно также установить приложение DeepL для Windows.
И в нём сразу отмечать область экрана и переводить текст в ней.
17.04.24 09:51
0 1

Оффтоп Какой многообещающий заголовок. Я аж встрепенулся.
Владимир Путин получил свое
16 апреля президент России Владимир Путин принял в Кремле главу Центризбиркома Эллу Памфилову для вручения удостоверения президента России.Коммерсантъ
17.04.24 09:40
7 2

Я имел в виду "Получил своё!

для вручения удостоверения президента России
Выходит, Памфилова - новый президент РФ? Ведь у нее теперь есть соответствующее удостоверение. 😄

У меня беда - на офисном компе не работает Print Screen, как и иное сочетание клавиш. (
17.04.24 09:36
0 0

Тогда только запустить Snipping Tool через кнопку "Пуск" и держать его открытым )
17.04.24 10:28
0 0

Смартфон с Google Lens сделает это быстрее. Ну, если не предполагается дальнейшей работы с распознанным и переведенным текстом на том компе...
17.04.24 09:25
1 4

Пользуюсь аналогичными средствами под Андроидом, ибо требуется в основном на мобильных устройствах за пределами офиса/дома.
Win в этом случае малоактуален, под ним для этого есть ABBYY FineReader 12.
17.04.24 09:25
0 0

свежие версии распознают НАМНОГО более качественно
Меня и текущая полностью устраивает, ошибок распознавания не наблюдаю.
Но передам инфу своему сисадмину 😄
18.04.24 08:15
0 0

Смысл только в том, что свежие версии распознают НАМНОГО более качественно.
PS Да, последняя версия - 16я.
17.04.24 14:28
0 0

актуальная версия finereader 15 или 16.
У меня лицензионка, не вижу смысла менять.
17.04.24 11:02
0 0

По моему актуальная версия finereader 15 или 16.
17.04.24 09:36
0 1

А как бы в Win10 включить, чтоб по PrintScrn ножницы открывались автоматически, а не просто в буфер скриншот копировался? А то к сочетанию Shift+win+s я никогда привыкнуть не смогу.
Ну и распознания по картинке в приложении ножниц в Win10 похоже нету((.
17.04.24 09:24
0 3

В самом приложении ножниц была соответствующая опция
18.04.24 22:44
0 0

В случае с Windows в приложении "Ножницы" есть встроенная система распознавания текста.
В Windows 10 не наблюдаю. Может только в 11 добавили? Или что-то обновить надо?
17.04.24 09:23
0 6

Как говорится, если что-то не получается, то RTFM.

Supported languages
Text Extractor can only recognize languages that have the OCR language pack installed.

Поставьте нужный языковый пакет и должно сработать.
17.04.24 11:39
0 4

что-то на кириллице хромает оно ...
вот что получилось из вашего поста

He Bhaen HOXHHU OTaenbHO, HO eCTb 60nee ya06Hag Tynga "3 naKeTa powertoys
learn.microsoft.com
HaXhMae1Llb KOM6HHaLU4}O KnaBVIU.J Win+Shift+T, Bblnenqelllb TeKCT Ha KaPTV•1HKe 91 nonyqaeLLlb B
6y$epe pacn03HaHHblV1 pegynbTaT.
roman.maschak
FatherYan 17.0424 09:35
17.04.24 10:09
2 2

Поставил. Работает. Спасибо огромное.
Если кому еще надо, инструкция по установке пакета тут: learn.microsoft.com
17.04.24 09:58
0 0

Не видел ножниц отдельно, но есть более удобная тулза из пакета powertoys learn.microsoft.com
Нажимаешь комбинацию клавиш Win+Shift+T, выделяешь текст на картинке и получаешь в буфере распознанный результат.
17.04.24 09:35
0 9

честно говоря , я тупо пользуюсь смартфоном
просто включаю пекреводчик и навожу нв экран
но это для бытового использования
17.04.24 09:21
0 11

Контролцэ
Коммандцэ 😄

этот текст на компьютере получить
легко.
А вот как на компе с Win без сканера сделать фото реального изображения для захвата/извлечения/перевода текста...
17.04.24 11:05
0 1

Если на телефоне клава стоит от MS - SwiftKey, на ней можно включить общий с компом буфер обмена. Правда, у меня не работало 😄 Только между мобильными смог настроить.
17.04.24 11:04
0 1

На macOS + iPhone общий буфер обмена. Контролцэ на телефоне, контролвэ на компьютере.
Наверняка на Android + Windows такого добра навалом, так как системы более открытые.
17.04.24 10:26
0 2

А как потом этот текст на компьютере получить? Через Избранное в Телеге пересылать, или через почту сам себе? Какие-то костыли же.
17.04.24 09:48
3 0