Раскрасить чёрно-белое фото нейросетью: как программа угадывает цвет

В быту чёрно-белым называют три разные вещи. Плёнка сняла сцену без цветовой информации. Цветной отпечаток отсканировали в оттенках серого. Или цветной файл перевели в монохром ради стиля. Итог один: у каждой точки есть яркость, а сведения о том, каким был цвет, в файле не записаны.

Привычная аналогия звучит так: нейросеть работает как фоторедактор с кистью, только быстро. Аналогия удобная и неверная. В редакторе цвет кладёт человек, и за оттенок отвечает он. Сеть выбирает цвет по тому, что чаще встречалось при похожей яркости и форме на других снимках. Ближе сравнение с реставратором, который дописывает утраченный кусок фрески по стилю соседних фрагментов, не видя оригинала. Результат бывает убедительным и всё равно остаётся догадкой. Та же логика действует, когда сеть «повышает резкость», об этом подробно в статье «Улучшить качество фото нейросетью».

Ручная раскраска прошла несколько стадий. Мастерская Тюилье подбирала краску по замыслу. Цифровая раскраска кино, по данным обзора на Wikipedia, впервые применена в 1970 году: канадский изобретатель Уилсон Маркл добавил цвет к монохромным кадрам Луны из программы «Аполлон». Позже техники размечали объекты на кадрах и назначали им цвета по таблице: небо, кожа, трава. Нейросеть автоматизировала именно эту часть, и вместе с ней унаследовала главную слабость: таблица знает, каким небо бывает обычно, а не каким оно было в тот день.

Для понимания нужно отступить к цветовому пространству CIE Lab. Канал L — светлота, то самое, что мы видим на чёрно-белом снимке. Канал a — ось от зелёного к красному. Канал b — ось от синего к жёлтому. Классическая постановка автоматической раскраски такая: на вход подают L, сеть должна дорисовать a и b, не трогая яркость.

Проблема в том, что одному значению L соответствует много пар a и b. Серое яблоко может оказаться красным, зелёным или жёлтым, и все три варианта дают похожую яркость. В статье Ричарда Чжана, Филлипа Изолы и Алексея Эфроса «Colorful Image Colorization» это сказано прямо: задача многозначна. Если учить сеть угадывать цвет «в среднем», она усредняет несовместимые ответы, и картинка выходит блёклой, буроватой.

Следствие для семейного архива простое и неприятное. Если вы не знаете цвет платья на старом снимке, программа его не вспомнит. Она предложит правдоподобный. Иногда правдоподобное совпадёт с жизнью, иногда нет, и по красоте кадра одно от другого не отличить.

Похожую мысль строго доказали для других задач восстановления изображений. В работе 2024 года «Looks Too Good To Be True» Регев Коэн и соавторы на языке теории информации показали: у генеративных моделей восстановления чем выше зрительное качество, тем больше неизбежная неопределённость результата. Проверяли теорию на увеличении разрешения и дорисовке утраченных участков. Раскраска устроена так же. Убедительность картинки ничего не говорит о её точности.

Схема по работе Zhang, Isola, Efros (ECCV 2016)

Как сеть «узнаёт» предметы без подписей

При обучении сеть не читает подписи «трава» и «небо». Она видит повторяющиеся сочетания текстуры и яркости. Мелкозернистая плоскость под светлым пятном чаще зелёная, чем фиолетовая. Кирпичная кладка чаще красноватая. Кожа лица попадает в узкий коридор оттенков, иначе портрет выглядит восковым. Понимания сцены в человеческом смысле здесь нет, есть частоты в наборе данных.

Отсюда типичная ошибка архивных портретов. Фон однотонный, лицо маленькое, платье занимает полкадра. Фон сеть красит «как обычно», а платье получает цвет, который чаще встречался в обучающих снимках, то есть цвет совсем другой эпохи. Подсказка в запросе «платье однотонное, бордовое» смещает результат, но гарантии не даёт.

Ещё один частый случай — военная и школьная форма. Погоны, галстуки, фартуки сеть раскрашивает уверенно и одинаково на разных снимках, потому что парадных фото с похожим контрастом в данных много. Историк знает, что оттенок ткани менялся по годам и родам войск. Сеть этого не знает, пока вы не описали цвет словами или не приложили цветной снимок той же эпохи.

Удобство задачи в том, что учебных примеров сколько угодно. Любое цветное фото можно разложить на L и ab: яркость идёт на вход, цвет служит эталоном. Чжан и соавторы обучили свёрточную сеть на более чем миллионе цветных снимков и превратили задачу в классификацию. Для каждой точки сеть выбирает один из заранее заданных оттенков, а не вычисляет средний цвет. Чтобы палитра не сползала в серо-бурую, редкие оттенки при обучении получали больший вес. Без этого приёма сеть «экономила» бы на насыщенных цветах, ведь большая часть точек в обычных фото — это небо, асфальт и листва.

Качество проверяли «тестом Тьюринга для раскраски». Участникам показывали пару картинок, раскрашенную сетью и настоящую цветную, и просили указать настоящую. Метод Чжана обманул людей в 32% попыток. Предел здесь — 50%: столько дало бы случайное угадывание, если подделку невозможно отличить. Цифра не значит, что в трети снимков цвет верный. Она значит, что в трети пар люди не отличили генерацию от оригинала в условиях этого опыта.

Параллельно вышли близкие работы Ларссона с соавторами и Иидзуки с соавторами, тоже свёрточные сети на больших наборах данных, но с другими функциями потерь. Все они раскрашивают по одному кадру, без подсказок человека. Позже появился открытый проект DeOldify Джейсона Антика на GitHub, ориентированный на раскраску и реставрацию старых снимков и видео. Его можно запустить у себя, хотя большинство людей ищет кнопку в браузере, а не установку весов модели.

Цели у этих линий разные. Академическая сеть стремится к цвету, который ближе всего к настоящему в наборе фотографий. Проекты вроде DeOldify ценят зрительское впечатление: на старом архиве блёклость раздражает сильнее, чем чуть фантазийный оттенок.

Сегодня запрос «нейросеть раскрашивает черно белые фото» чаще ведёт к моделям картинок в чате, а не к отдельной программе раскраски. Документация Gemini API описывает линейку Nano Banana: генерацию по тексту и правку по снимку вместе с текстом. Google называет диалог рекомендуемым способом доводить картинку: правки идут цепочкой, каждая опирается на предыдущий результат. В один запрос можно добавить до четырнадцати опорных изображений, точное число зависит от модели.

В чате GPThub уже доступны Nano Banana 2.1 и предыдущее поколение Nano Banana 2 (о названиях и отличиях — в статье про Nano Banana 2.1). Механизм у них другой, чем у сети Чжана. Модель не раскладывает кадр на яркость и цвет, она перерисовывает его целиком с учётом запроса. Можно написать «раскрась как естественную цветную фотографию, лица не меняй» или «приглушённые цвета, как на плёнке 1960-х» и получить несколько вариантов.

У перерисовки есть цена. Классическая сеть физически не могла сдвинуть контур носа: она трогала только цвет. Генеративная модель способна чуть изменить черты лица, выпрямить складку, дорисовать пуговицу. Поэтому в запросе полезно прямо требовать сохранить композицию и лица, а результат сравнивать с исходником, наложив их друг на друга.

Ограничения остались прежними. Модель не знает, какого цвета были обои в вашей квартире в 1987 году. Она знает, какими обои обычно бывают на похожих снимках. Если нужен не цвет, а движение лица, это другой класс моделей, он разобран в статье «Как оживить фото». А общую картину того, что нейросети дают в работе со снимками, собирает материал «Нейросеть для фотографа».

Старый альбом редко даёт чистый монохром. Коричневая сепия на отпечатке — след химии вирирования, и глаз видит тепло, хотя цветовой информации о сцене в ней нет. Цветной снимок, выцветший за десятилетия, ещё хранит слабые оттенки. Сканер иногда добавляет радужные пятна от пыли на стекле, и сеть может принять их за узор ткани.

Перед раскраской стоит понять, с чем вы работаете. Настоящий ч/б кадр даёт нейтральную шкалу серого. Сепия даёт смещённую тёплую гамму. Выцветший цветной снимок ближе к задаче «вернуть бледный цвет», чем к раскраске с нуля. Запрос лучше уточнить: «раскрась монохромную фотографию» и «восстанови выцветшие цвета, не меняя оттенки» дают разную насыщенность.

Ещё одна ловушка — контраст. Белые пятна выгорания сеть может раскрасить в снежный фон, хотя бумага пожелтела. Трещины эмульсии иногда превращаются в волосы или провода. Поэтому скан лучше слегка выровнять по яркости в обычном редакторе, не добавляя резкости, и только потом отдавать модели. Порядок такой: сначала убрать явные повреждения и шум, потом красить. Иначе сеть закрепит ошибки яркими красками.

Сканер оставляет белые поля, пылинки и иногда чёрную рамку от крышки. Обрежьте кадр до содержимого, чтобы модель не отвлекалась на пустой лист. Обычно хватает 2000–4000 точек по длинной стороне. Очень тяжёлый файл дольше загружается, а мелкие царапины на большом скане начинают выглядеть текстурой кожи.

Глянцевые отпечатки дают блики. Сеть часто красит их в голубое, как небо, или превращает в блеск на лбу. Снимать отпечаток под небольшим углом или при рассеянном свете проще, чем потом бороться с бликом. На готовом файле иногда помогает приглушить блик в редакторе вручную.

На групповых снимках лица размером с ноготь получают один усреднённый тон кожи. Если важен конкретный человек, вырежьте его фрагмент, раскрасьте отдельно и вставьте обратно в редакторе. Работы больше, зато цвет глаз и губ под контролем.

Подписи карандашом на полях модель иногда принимает за вывеску и раскрашивает буквы. Если подпись не нужна, закройте её нейтральным серым прямоугольником. Тот же приём годится для скотча, скрепок и тени от соседней страницы альбома.

И наконец, имена файлов. Сохраняйте версии так, чтобы через год отличить исходник от раскраски: например, «ivanov-1958-bw.tif» и «ivanov-1958-color-v3.png». Пиксели можно откатить, а вот доверие родственников к «настоящему цвету» откатить сложнее.

Цветной снимок как подсказка

Опорные изображения — редкий, но сильный приём для семейного архива. Если сохранился цветной снимок того же человека, пусть другого года и ракурса, его можно приложить вторым файлом и написать: «цвет кожи и волос как на втором фото, композицию первого не менять». Ткань и фон модель всё равно может угадать неверно, но лицо получится ближе к правде, чем при одном монохроме.

Подсказка не обязана быть целым кадром. Достаточно фрагмента: кусок того же платья, обложка той же книги, погоны крупным планом с другого негатива. Главное, чтобы на нём был оттенок, за который вы готовы поручиться перед родственниками. Без такого якоря программа рисует «средний архив XX века», и все альбомы после раскраски начинают походить друг на друга.

Пошаговые сценарии с кнопками собраны в гайде по работе с картинками. Здесь — логика запроса и проверки.

Три формулировки запроса

1. «Раскрась как естественную цветную фотографию, сохрани яркость и контраст оригинала, не меняй композицию и лица». Базовый режим для архива.
2. «Раскрась одежду и фон, кожу оставь естественной, без макияжа». Когда главное — лица родственников.
3. «Цвета приглушённые, как на цветной плёнке середины века, без кислотной насыщенности». Когда первый вариант кажется кричащим.

Их можно сочетать и уточнять следующими сообщениями: «сделай небо бледнее», «пальто темнее, остальное не трогай».

Разбор одного запроса

Возьмём школьный снимок класса у крыльца: три ряда детей, учительница в центре, на заднем плане дверь и окна. Первый запрос «раскрась фото» даст вероятный результат: одинаковый румяный тон у всех лиц, ярко-синее небо, зелёная дверь и случайные цвета бантов. Ни одна из этих деталей не взята из жизни.

Лучше начать с того, что известно. Допустим, в семье помнят, что форма была коричневой, фартуки чёрными, а дверь школы выкрашена в тёмно-красный. Запрос тогда звучит так: «Раскрась фотографию. Школьная форма коричневая, фартуки чёрные, банты белые, дверь тёмно-красная. Лица и позы не менять, кожу не делать одинаковой у всех, небо пасмурное». Неизвестное лучше оставить на усмотрение модели и потом пометить как догадку.

Дальше проверка. Наложите результат на исходник в редакторе с прозрачностью около половины и пройдите по лицам: не сдвинулись ли глаза, не появились ли лишние пряди, не исчезли ли очки. Если всё на месте, следующее сообщение правит только одну деталь. Две-три короткие правки обычно дают больше, чем один длинный запрос на всё сразу. Советы по формулировкам в целом есть в гайде «Как писать промпты».

На что смотреть в ответе

Сравнивайте результат с внутренней логикой снимка, а не с памятью.

• Небо и вода. Часто выходят «слишком правильными», одинаково синими на всех снимках подряд.
• Надписи и вывески. Буквы могут стать читаемыми, но другими. Для документов это опаснее блёклости.
• Мелкие предметы: броши, пуговицы, цветы на платье. Модель дорисовывает типичный цвет, а не ваш.
• Согласованность. Оба рукава должны быть одного оттенка. Если нет, попросите правку: «одинаковый цвет ткани на обоих рукавах».
• Черты лица. Генеративная модель может слегка изменить форму глаз или губ. Это главный повод сравнивать с исходником.

Типичные ошибки

Запрос «сделай красиво» без ограничений даёт одинаковую кожу на всём снимке и случайный цвет глаз. Просьба «как в современном кино» переносит сегодняшнюю палитру на историческое лицо. Сильно сжатый файл с квадратами сжатия превращает их в узор на коже, поэтому сначала стоит убрать артефакты. И частая ошибка последнего шага — сохранить раскраску поверх исходника.

Отдельная ошибка касается целых альбомов. Если раскрашивать каждый снимок новым запросом с нуля, у одного и того же человека на соседних страницах окажутся разные волосы, глаза и цвет любимого пальто. Лучше выбрать один удачный результат и прикладывать его опорным изображением к следующим снимкам с той же просьбой: «цвета лица, волос и одежды как на приложенном варианте». Так серия выглядит связно, а не как работы десяти разных художников.

Когда хватит чата

Для открытки, поста, семейной книги с пометкой «колоризация» чат с моделью картинок удобен: быстро, можно попросить «верни как было, только трава зеленее». Для музейной репродукции, исторической формы, судебного или медицинского архива нужен источник цвета вне нейросети: образец ткани, описание очевидца, цветной дубль с другого негатива. Нейросеть там годится только для черновика.

Текстовые модели вроде Gemini 3.8 Flash или Grok 4.5 снимок не раскрасят, но помогут другим: составить подробное описание одежды по документам или воспоминаниям, а потом превратить его в точный запрос для модели картинок.

Споры о раскраске начались задолго до нейросетей. В 1980-х Тед Тёрнер активно раскрашивал старые фильмы, и в июле 1988 года его слова о возможной раскраске «Гражданина Кейна» вызвали общественный протест. В феврале 1989-го работу остановили: юристы решили, что договор RKO с компанией Уэллса можно прочитать как запрет на раскраску без согласия наследников. Против раскраски классики выступали Джеймс Стюарт и кинокритик Роджер Эберт. А после смерти Джона Хьюстона его дочь Анжелика выиграла во Франции трёхлетний процесс из-за раскрашенных «Асфальтовых джунглей». С 1991 года там нельзя распространять раскрашенный фильм, если автор или наследники против.

С семейным альбомом до суда дело не доходит, но суть та же. Раскраска меняет не только вид снимка, но и доверие к нему. Внук может решить, что бабушка на самом деле была в зелёном, хотя этот цвет никто не восстанавливал. Подпись «цвет добавлен» снимает большую часть риска.

Честный критерий один: есть ли независимый цветной источник того же кадра. Если есть, это восстановление по данным. Если нет, это убедительная реконструкция. Нейросеть почти всегда во второй категории, даже когда результат выглядит как настоящее фото.

Исследовательская линия Чжана показала интересную вещь: раскраска учит сеть понимать предметы без ручной разметки, ведь эталон берётся из самого снимка. Продуктовая линия вроде Nano Banana идёт к диалоговой правке и нескольким опорным снимкам, и раскраска сливается с ретушью, заменой фона и стилизацией.

Если сравнивать с мастерской Тюилье, разница в масштабе и ответственности. Двести двадцать художниц вручную вели кисть по плёнке, и каждый мазок был решением человека. Сеть обрабатывает альбом за вечер, но ни перед кем не отвечает за выбор оттенка. Отвечать придётся вам.

Если вы видите новость «нейросеть вернула цвет войне» или «раскрасили город 1900 года», полезно открыть первоисточник снимка и проверить, существовал ли цветной негатив. Почти всегда это художественная реконструкция. Для своих архивов держите ч/б копию, пробуйте несколько формулировок и относитесь к цвету как к гипотезе: красивой, но проверяемой только внешними свидетельствами.