На пути к объективной оценке тона кожи: устранение расовых искажений через уточнение сцены

Виртуальные лицевые аватары будут играть все более важную роль в иммерсивной коммуникации, играх и метавселенной, поэтому крайне важно, чтобы они были инклюзивными. Это требует точного восстановления альбедо независимо от возраста, пола или этнической принадлежности. Хотя в оценке 3D-геометрии лица достигнут значительный прогресс, оценке внешнего вида уделяется меньше внимания. Эта задача принципиально неоднозначна, поскольку наблюдаемый цвет является функцией альбедо и освещения, которые неизвестны. Мы обнаружили, что существующие методы смещены в сторону светлых оттенков кожи из-за (1) сильно смещенных априорных распределений, которые предпочитают более светлую пигментацию, и (2) алгоритмических решений, которые игнорируют неоднозначность освещения/альбедо. Для решения этой проблемы мы предлагаем новый набор данных для оценки (FAIR) и алгоритм (TRUST) для улучшения оценки альбедо и, следовательно, справедливости. В частности, мы создаем первый эталон оценки лицевого альбедо, где субъекты сбалансированы по цвету кожи, и измеряем точность с помощью метрики Individual Typology Angle (ITA). Затем мы решаем проблему неоднозначности освещения/альбедо, опираясь на ключевое наблюдение: изображение всей сцены — в отличие от обрезанного изображения лица — содержит важную информацию об освещении, которую можно использовать для устранения неоднозначности. TRUST выполняет регрессию альбедо лица, учитывая как область лица, так и глобальный сигнал освещения, полученный из изображения сцены. Наши экспериментальные результаты показывают значительное улучшение по сравнению с современными методами оценки альбедо, как с точки зрения точности, так и справедливости. Эталонный тест и код доступны для исследовательских целей по адресу https://trust.is.tue.mpg.de. PDF: https://www.ecva.net/papers/eccv_2022/papers_ECCV/papers/136730072.pdf Проект: https://trust.is.tue.mpg.de/index.html Код: https://github.com/HavenFeng/TRUST Набор данных: https://trust.is.tue.mpg.de/login.php Ссылка: @inproceedings{TRUST:ECCV2022, title = {Towards Racially Unbiased Skin Tone Estimation via Scene Disambiguation}, author = {Feng, Haiwen and Bolkart, Timo and Tesch, Joachim and Black, Michael J. and Abrevaya, Victoria}, booktitle = {European Conference on Computer Vision (ECCV)}, publisher = {Springer International Publishing}, month = oct, year = {2022}, doi = {}, month_numeric = {10} }