Пока Rockstar работает над улучшенной версией Grand Theft Auto V для новых консолей, фанаты игры самостоятельно доводят её до фотореализма при помощи нейросетей. Для работы потребуется RTX 3090, зато результаты впечатляют.
Улучшению графики GTA V посвятили целую научную статью исследователи Стефан Рихтер, Хассан Абу Аль-Хиджа и Владлен Колтун. Они обучили нейросеть адаптировать отрендеренные кадры игры под датасет Cityscapes, который содержит виды реальных городов.
При этом авторы статьи пытались достигнуть фотореализма в GTA V и при помощи других датасетов. Но именно Cityscapes дал наилучший результат.
Сравнение результатов разных датасетов
В результате в GTA V появились более реалистичные отражения и блики, а цвета объектов стали ближе к реальности. Текстуры домов и асфальта теперь напоминают реальные фотографии. А вот модели людей нейросеть не тронула.
Авторы уверены, что их разработка поможет улучшить работу нейросетей и приблизит полный фотореализм в видеоиграх. Правда, сейчас их наработки в игре никак не реализовать.
Полная презентация исследования:
Источник:
vladlen
http://vladlen.info/papers/EPE.pdf