Еще раз про цвет из чб

Ну, а это - нормальная статья нормальных людей (главный, по-моему, Dr. Yang, Qing-Xiong - http://www.cs.cityu.edu.hk/~qiyang/). Только у них страницы дальше первой не пронумерованы.

На 5й странице наши китайцы соревнуются с другими китайцами в раскрашивании храма Василия Блаженного.

Делается это так: в каждом пикселе черно-белой картинки вычисляется 128 чисел, потом по ним находятся 2 числа (U,V), описывающих цвет. Получаем Y,U,V, искомая картинка дала Y.

Функцию, которая из 128 чисел дает 2, мы тренируем при помощи нейронной сети на 2688 цветных фотографиях, в которых цвет, а стало быть ответ на задаваемый вопрос, известен.

128 чисел в каждом пикселе вычисляются так:

49 чисел -- кусочек чб картинки 7 на 7 вокруг этого пикселя, называется patch.

32 числа -- DAISY -- это алгоритм 2008 года, изначально придуманный для стерео вот этими людьми:
Engin Tola, Vincent Lepetit, Pascal Fua
(http://cvlab.epfl.ch/software/daisy).
DAISY не сокращение, хоть и пишется прописными. Просто алгоритм собирает информацию из области данного пикселя, по форме напоминающей одуванчик.

47 чисел -- алгоритм Semantic Segmentation (arXiv:1411.4038), опубликованный в марте 2015 года. Jonathan Lonf, Evan Shelhamer -- студенты, Trevor Darrell -- профессор (http://www.eecs.berkeley.edu/~trevor/).
Алгоритм для данного пикселя говорит, насколько его область соответствует разным семантическим категориям (трава, машина, лицо, и.т.д)

Получив Y,U,V, удаляем цветной шум (он хорошо виден на небе в картинке (с)+DAISY на 5 странице). Этот шаг, "Chrominance Refinement", использует алгоритм Joint Bilateral Filter из "Digital photography with flash and no-flash image pairs" (http://research.microsoft.com/en-us/um/redmond/projects/flashnoflash/).
Один из соавторов -- Хугуус Хоппе, которого я знал 19 лет назад, занимаясь тогда триангуляциями.

Название статьи "deep colorization" получается из "deep neural networks" (т.е. multi-layer, more than one layer between input and output). Это та самая функция, которая из 128 чисел даёт 2. Это, конечно, суп, сваренный из самых разных ингредиентов. Ни один из 4 основных примененных алгоритмов не принадлежит непосредственно авторам. Они, правда, придумали использовать именно эти четыре из тысяч имеющихся.

На самом деле, иначе и быть не могло. Проблема раскрашивания не однозначна, и в общем случае не решается даже искуственным интеллектом (однородное серое поле могло быть любого цвета). Ребята молодцы и придумали кучу эвристик.

Глубина проделанной работы впечатляет: 3 исследователя первого уровня, 15 второго уровня, хуй знает сколько третьего. И все в открытую.

А

Фото дня