Улучшить качество фото нейросетью: что именно она дорисовывает

Под словом «улучшить» прячутся три разные операции. Увеличение разрешения — из 800 на 600 точек сделать 3200 на 2400. Шумоподавление и устранение смаза — убрать зерно ночного кадра или след дрогнувшей руки. Содержательная правка — убрать провод, заменить фон, «оживить» старый портрет. Нейросеть умеет участвовать во всех трёх, но механизмы у них разные, и путаница здесь обходится дорого.

Первая аналогия у большинства — ползунок резкости в телефоне. Она близка, но неверна. Резкость в обычном редакторе усиливает контраст на границах, которые уже есть в файле. Генеративное увеличение добавляет новые мелкие контуры, которых в файле не было. Точнее сравнивать его с реставратором фрески, который дописывает утраченный кусок по стилю соседних фрагментов, а не по фотографии оригинала. Результат может быть очень похож на правду — и всё равно остаётся догадкой.

Эта статья — про первые две операции и про лица. Об обработке фото нейросетью в целом (ретушь, свет, стилизация, работа фотографа) подробно рассказано в материале «Нейросеть для обработки фото», а про анимацию старых снимков — в статье «Как оживить фото».

Для понимания нужно отступить назад, к тому, как вообще увеличивают картинку. Растровое изображение — это сетка образцов, снятых с сенсора. Увеличить его — значит пересчитать сетку на более частую, то есть, на языке обработки сигналов, сменить частоту дискретизации. При уменьшении картинку сглаживают, иначе на диагоналях появляются «лесенки». При увеличении нужен фильтр восстановления, который распределяет цвет каждого старого пикселя по новым клеткам.

Бикубическая интерполяция смотрит на шестнадцать соседних точек и строит между ними плавный переход. Фильтр Lanczos аккуратнее с краями. Но оба метода работают только с тем, что уже лежит в файле. Если исходник — крошечный скан размером с марку, увеличение вчетверо даст картинку в шестнадцать раз больше по площади, но ресниц, которых не было даже на отпечатке, не вернёт. Причём на рисунках с резкими линиями бикубика ещё и снижает контраст границ — картинка становится мягче, а не детальнее.

Отсюда честный ответ на вопрос «можно ли улучшить качество фото без нейросети». Можно, если под качеством понимать аккуратное увеличение, локальный контраст и умеренную резкость. Для экрана и печати небольшого формата этого часто хватает. Новых подробностей при этом не появится — зато не появится и выдуманных.

Схема обычного и нейросетевого увеличения, иллюстрация GPThub

Нейросетевое увеличение называют сверхразрешением (super-resolution). Точка отсчёта для большинства бесплатных программ — работа Real-ESRGAN, которую Синтао Ван, Лянбинь Се, Чао Дун и Ин Шань выложили 22 июля 2021 года. Модель продолжает более раннюю ESRGAN и решает так называемую «слепую» задачу: она не знает заранее, как именно испорчен снимок.

Главная идея — в обучении. Настоящих пар «плохое фото — то же фото в хорошем качестве» почти не бывает, поэтому авторы портили чистые картинки сами, причём многоступенчато: размытие, уменьшение, шум, сжатие JPEG, а затем всё это ещё раз поверх. Отдельно добавлялись звон и переходы яркости у границ — типичные следы сжатия и повышения резкости. Сеть видит миллионы таких испорченных копий и учится возвращать чистый вариант.

В устройстве две части. Генератор с блоками RRDB (та же схема, что у ESRGAN) достраивает изображение в два или четыре раза крупнее, есть и режим без увеличения. Дискриминатор — вторая сеть, устроенная по схеме U-Net, — оценивает, похож ли результат на настоящую фотографию, и заставляет генератор рисовать убедительную фактуру. Это и есть генеративно-состязательная сеть: одна рисует, другая придирается.

Следствие очень простое. Генератор вознаграждают за правдоподобие. Совпадение с тем, что реально было перед объективом, в эту оценку не входит. Там, где сигнала в файле достаточно, правдоподобное и настоящее совпадают. Там, где сигнала нет, сеть рисует то, что чаще всего встречалось ей в похожих местах.

Если положить рядом исходник, его бикубическое увеличение и результат сверхразрешения, разница собирается в четыре группы.

• Края. Контуры зданий, волос и букв становятся тонкими и резкими. Иногда слишком: появляется светлый ореол или «вырезанный» вид, будто предмет наклеили на фон.
• Мелкая фактура. Кожа, ткань, асфальт, листва получают зерно и прожилки. На ровной стене сеть может нарисовать штукатурку, которой там не было, а на облаках — мелкий узор.
• Следы сжатия. Квадратные блоки JPEG исчезают, на их месте появляется новая фактура. Для пейзажа это хорошо, для вывески хуже: размытая надпись может превратиться в другую надпись с уверенными чёткими буквами.
• Повторяющиеся узоры. Плитка, обои, сетка забора иногда «клонируются» с ошибками: ритм сбивается, появляются лишние или слившиеся элементы.

Цифры и текст — самая опасная группа. Если в блоке сжатия была цифра 7, модель может нарисовать 1 или 4, причём красивым, уверенным шрифтом. Для чека, номера машины или договора такое «улучшение» хуже исходной размытости: размытость хотя бы честно показывает, что прочитать нельзя.

С лицами всё сложнее, и для них существуют отдельные модели восстановления. Две самые известные — GFPGAN и CodeFormer.

GFPGAN (Синтао Ван и соавторы, конференция CVPR 2021) использует как подсказку заранее обученную сеть-генератор лиц. Такая сеть «знает», как выглядят глаза, губы и кожа у тысяч людей, и это знание подмешивается к испорченному снимку за один проход. Код опубликован в организации TencentARC на GitHub и встроен во множество программ.

CodeFormer (Шанчэнь Чжоу, Келвин Чань, Чунъи Ли и Чэнь Чэнь Лой, конференция NeurIPS 2022) устроен иначе. Он хранит словарь — кодовую книгу — из фрагментов качественных лиц, а трансформер подбирает для каждого куска испорченного лица подходящую запись из словаря. Авторы прямо пишут, что такой словарь снижает неопределённость восстановления. У CodeFormer есть регулятор, который смещает результат между верностью исходнику и качеством картинки. Сам факт, что такой регулятор понадобился, говорит о многом: обе цели одновременно недостижимы.

На практике это значит вот что. Модель восстановления лиц не возвращает лицо конкретного человека — она собирает правдоподобное лицо, совместимое с размытым пятном. Поэтому на старом семейном фото бабушка может помолодеть, у деда пропасть шрам, а у ребёнка глаза стать симметричнее, чем были. Чем мельче лицо в кадре и чем сильнее оно испорчено, тем больше в результате словаря и меньше человека.

В мае 2024 года Регев Коэн, Идан Клигвассер, Эхуд Ривлин и Даниэль Фридман выложили работу с говорящим названием «Looks Too Good To Be True» — «Слишком хорошо, чтобы быть правдой». Это анализ галлюцинаций в генеративных моделях восстановления с точки зрения теории информации.

Отправная точка известна давно: задача восстановления некорректно поставлена. Одному и тому же размытому снимку соответствует много разных чётких оригиналов — разные лица, разные буквы, разные узоры могут дать одинаковое пятно после уменьшения и сжатия. Модель обязана выбрать один вариант, и никакой объём обучения не подскажет, какой из них был на самом деле.

Авторы доказали, что между «похожестью на настоящую фотографию» и неопределённостью есть неустранимый обмен. Чем лучше результат выглядит, тем выше его неопределённость. А чтобы результат стал неотличим от настоящих фотографий, неопределённость должна как минимум вдвое превысить ту, что заложена в самой задаче. То есть «идеально красивое» восстановление по самому своему устройству содержит больше выдумки, чем осторожное и чуть мыльное.

Для бытовых задач вывод мягкий: красивая версия годится для открытки и соцсети. Для архива, суда, медицинской карты или публикации в новостях она не годится, и причина в математике, какой бы хорошей ни была программа.

Шумоподавление ближе к классической обработке сигнала, чем к генерации. Google Research описывал, как устроены инструменты Denoise и Sharpen в редакторе Google Photos: метод pull-push для шума и polyblur для смаза. Polyblur оценивает, насколько размыт кадр, и несколько раз пересчитывает его с этой оценкой, частично отменяя размытие и не раздувая шум. Выдумки здесь мало, но и чудес не бывает: сильно смазанный кадр так не вытянуть.

Отдельный инструмент Google Photos — Photo Unblur, который компания предлагает для новых и старых размытых снимков. Здесь нейросеть участвует сильнее, и типичные ошибки знакомые: двойные контуры, «пластиковая» кожа, слишком ровные волосы.

Порядок операций важнее, чем кажется. Если сначала увеличить шумный ночной кадр, сеть примет зерно за фактуру и аккуратно его прорисует. Поэтому сначала шумоподавление, потом увеличение — и никогда наоборот.

Старые сканы — самый тяжёлый случай. Обычно это цепочка: скан, удаление пыли и царапин, шумоподавление, увеличение, восстановление лица, правка цвета. Каждый шаг добавляет свою долю выдумки, и к концу её может набраться больше, чем осталось оригинала. Музейные архивы именно поэтому чаще ограничиваются осторожным увеличением и локальным контрастом. Для семейного альбома правила мягче, но стоит сохранять промежуточные версии: если родинка исчезла, проще найти шаг, на котором это случилось.

На Android в Google Photos автоправки Enhance, Dynamic и AI Enhance собраны на одном экране редактора. Для AI Enhance справка требует Android 8.0 или новее и не меньше 3 ГБ оперативной памяти и предупреждает, что результат может отличаться на разных устройствах. Это хороший ориентир: «улучшение» в телефоне — набор инструментов с разной долей выдумки.

В чате с моделью картинок сценарий другой: вы прикладываете снимок и описываете задачу словами. Например, Nano Banana 2.1 — модель Google, которая принимает текст и снимки и умеет править изображение по маске; она уже доступна в чате GPThub, подробный разбор — в статье про Nano Banana 2.1. Такая модель уже перерисовывает снимок целиком. При расплывчатом запросе она может поменять композицию, свет или выражение лица, а не только резкость. Обзор моделей картинок и того, чем они различаются, собран в материале «Нейросети для картинок».

Текстовая модель с разбором изображений пригодится до обработки. Gemini 3.8 Flash, которая уже доступна в чате GPThub, может описать, что испорчено в кадре — шум, смаз, сжатие, пересвет, — и подсказать, какие части снимка нельзя трогать. Пиксели она при этом не меняет, и это плюс: оценка не смешивается с дорисовкой.

Модель картинок по умолчанию ведёт себя как ретушёр: тянется к гладкой коже, ровному свету и симметрии. Чтобы приблизить её к реставратору, задачу нужно сузить и прямо перечислить запреты. Общие правила составления запросов собраны в гайде про промпты, а пошаговые сценарии правки — в гайде по работе с картинками.

Пример запроса для семейного скана с царапиной:

Убери царапину, которая идёт по диагонали через левую половину снимка, и пыль на фоне. Сохрани зерно плёнки и исходные цвета. Не меняй черты лица, причёску, выражение, форму ушей и зубов. Ничего не добавляй и не удаляй, кроме дефектов.

Что проверять в ответе. Уши и зубы — первыми: если зубы стали ровнее, модель перешла к ретуши. Затем родинки, морщины, складки одежды. Затем фон: не появились ли лишние предметы или новые узоры на обоях.

Пример для снимка товара:

Сделай фон ровным светло-серым, убери пыль с поверхности. Этикетку, штрихкод, шрифт и цвет упаковки не трогай совсем.

Здесь главное — буквы на этикетке. Генеративная резкость часто делает шрифт красивее, но меняет форму штрихов, и сканер перестаёт читать штрихкод. Если так вышло, лучше вернуться к исходнику и ограничиться обрезкой и экспозицией в обычном редакторе.

Типичные ошибки запроса:

• «Сделай 4K и суперчётко» — без единого слова о том, что сохранить. Модель воспримет это как разрешение перерисовать всё.
• «Восстанови лицо, как на современном фото». Это просьба о новом лице.
• Повторная обработка уже обработанной копии. Ошибки накапливаются, и каждая следующая версия дальше от оригинала.
• Просьба «как в рекламе». Реклама — это стиль: модель поменяет кожу, свет и цвет.

Многие надеются «вернуть качество» снимку, который несколько раз пересылали в мессенджерах. Каждое пересохранение со сжатием стирает мелкие подробности, и их уже нет ни в одной копии. Нейросеть спрячет квадраты блоков, но сделает это за счёт новой фактуры. Цепочка «отправили, сделали снимок экрана, отправили ещё раз, прогнали через увеличитель» даёт картинку, которая выглядит резче оригинала, хотя содержит меньше настоящих данных.

Поэтому первый шаг всегда один — найти лучший исходник. Попросить файл у того, кто снимал, поискать оригинал в облаке телефона, отсканировать бумажный отпечаток заново с хорошим разрешением. Хороший скан даёт больше, чем любая нейросеть после плохого.

Если камера снимает в RAW, шумоподавление честнее делать в редакторе RAW до экспорта: там видно, сколько зерна убрано, и генерации нет. Нейросетевое увеличение имеет смысл на чистом экспорте, когда нужна версия покрупнее для экрана.

Вопрос звучит так, будто существует один победитель. На деле выбор — это пара «тип дефекта — класс инструмента».

• Нужно просто крупнее для экрана: часто хватает Lanczos или бикубики в обычном просмотрщике. Нейросеть пригодится, если снимок сильно пережат и «лесенки» режут глаз.
• Ночной шум: шумоподавление в телефоне или в редакторе RAW, и только потом увеличение.
• Смаз от движения: инструменты для устранения размытия; сверхразрешение тут вторично.
• Скан документа: осторожный контраст и резкость, никаких модулей восстановления лиц. Читаемость текста важнее красоты.
• Старый портрет для семейного альбома: увеличение плюс восстановление лица на копии, с обязательным сравнением с оригиналом.
• Творческая правка — фон, свет, удаление лишнего: модель картинок в чате с подробным запросом.

Рейтинги «лучших нейросетей для улучшения фото» обычно сравнивают онлайн-сервисы на разных снимках, без общей методики. Открытая Real-ESRGAN с 2021 года остаётся точкой отсчёта, вокруг неё построено множество программ. Сравнивать инструменты имеет смысл на своём снимке: скан паспорта и вечернее селфи ломают разные модели по-разному.

Самый полезный приём — увеличить тот же снимок до того же размера обычной бикубикой и положить рядом с результатом нейросети. Всё, что есть в нейросетевой версии и отсутствует в бикубической, добавила сеть. Дальше чек-лист:

• Текст и цифры: номера домов, ценники, логотипы. Буквы правдоподобные, но другие — главный признак выдумки.
• Лицо: зрачки, зубы, уши, серьги, родинки. Идеальная симметрия после восстановления — сигнал ретуши.
• Фон: повторяющиеся узоры плитки, обоев, листвы. Сбитый ритм и «клоны» выдают генерацию.
• Края: светлые ореолы вокруг предметов после слишком сильной резкости.
• Ровные области: небо, стена, кожа. Появившаяся там фактура почти наверняка нарисована.

Если результат нужен для печати, смотрите в масштабе 100 %, а не на экране телефона. На маленьком экране мозг прощает мелкие выдумки, на отпечатке формата A3 их видно сразу. Соцсети при загрузке снова сжимают снимок, и часть дорисованной резкости исчезнет сама — поэтому мастер-файл стоит хранить у себя.

Есть задачи, где генеративное улучшение только вредит.

Юридические и новостные кадры. Любая генеративная обработка должна помечаться, иначе повторится история сентября 2025 года, когда «улучшенное» лицо стало аргументом в споре о здоровье политика.

Документы и чеки. Размытая цифра честнее чётко нарисованной неверной. Если прочитать не удаётся, нужен другой исходник, а не увеличитель.

Достаточное разрешение. Часто проблема снимка в экспозиции, балансе белого или шуме, а не в числе пикселей. Сначала свет и цвет, потом шум, и только если всё ещё мало — увеличение.

Чувствительные снимки. Облачный сервис получает копию файла. Для медицинских, паспортных и семейных фото, которые не хочется отдавать посторонним, лучше локальные программы с открытым кодом.

После Real-ESRGAN появились увеличители на диффузионных моделях и трансформерах, их встраивают в коммерческие редакторы. Рисуют они ещё убедительнее, но вывод работы Коэна и соавторов к ним тоже относится: чем ближе результат к настоящей фотографии, тем больше в нём неизбежной догадки. Убедительность и верность — разные свойства, и улучшать одно за счёт другого будут и дальше.

Бытовой порядок действий от этого не меняется: найти лучший исходник, исправить свет и цвет, убрать шум, увеличить, и только при необходимости — восстановление лица на копии с проверкой по чек-листу. Если вы видите в новостях «улучшенный» снимок, который что-то доказывает, полезнее найти оригинал и сравнить: детали, которые нарисовала сеть, ничего не доказывают.