3D Vision 2018: заметки
День первый:
Plane-Based Optimization of Geometry and Texture for RGB-D Reconstruction of Indoor Scenes
TODO
: почитать, кажется можно найти хорошие идеи для описания моделей зданий плоскостями (т.е. для векторизации зданий).
День второй:
Robust Fitting of Subdivision Surfaces for Smooth Shape Analysis
TODO
: почитать, кажется много хороших идей с хорошей математикой про децимацию модели.
FEATS: Synthetic Feature Tracks for Structure from Motion Evaluation
Проблемы:
- Нет выводов по тому какие перепады углов/масштаба и другие характеристики имеет смысл требовать от хорошего облета
- Не планируется развитие до motion planner-а (автор сказал что он закончил свой PhD)
Плюсы:
- Успех/неуспех предполагаемого пролета оценивается по ключевым точкам (поэтому быстрый прогноз)
Semantic Classification of 3D Point Clouds with Multiscale Spherical Neighborhoods
Проблемы:
- Автор не увидел почти такой же статьи от Pix4D (т.е. сравнения нет)
- Причина выбора сфер вместо KNN - субъективная симпатия к математической красоте и четкой обусловленности, реальные же проблемы KNN упомянутые в статье Pix4D успешно решают используя пирамиду облаков точек с фиксированной детализацией
- Не опробовал GBT (только random forest), по словам автора т.к. в статье от которой они отталкивались GBT идет наравне с random forest
Плюсы:
- Хорошая работа по классификации, могут быть полезные фичи которых не было в Pix4D
День третий:
Keynote Session: Geometric deep learning
TODO
: почитать, кажется хорошим и обоснованным подходом, с нормальной математикой и глубоким взглядом.
День четвертый:
Tutorial: Learning-based depth estimation from stereo and monocular images: successes, limitations and future challenges
- По картинке (чтобы увидеть что это небо/бестекстурный фон) и по карте глубины (чтобы увидеть что она неконсистентна, несмотря на консистентную текстуру) подавлять небо/фон. Данные будет несложно сделать насыщенными и не domain-biased навязав учитывание вариации цвета, а не самого цвета (случайно линейно преобразуя интенсивности и т.п.). И вероятно карта глубины не нужна, возможно достаточно и надежнее будет давать бинарную маску наличия пикселя в карте глубины (что он прошел left-right consistency check и т.п.).
- SGM aggregation w.r.t. confidence for each direction.
- Более широкое множество параметров P можно настраивать нейронкой по картинке. В нашем случае должно быть полезно и достаточно аккуратно выбрав датасет перебрать и фиксировать те P и коэффициент учета градиента, которые уже есть.
- SGM aggregation: выбор победителя через random forest. (SGM-forest)
- Можно confidence ведь рассчитать из того насколько согласованы между направлениями победители.
- Забавный пейпер - EdgeStereo - предсказывают одновременно карту диспаритета и карту границ.
- MVSNet очень достойное место занимает в Tanks and Temples.
- Любопытное направление: Volume sweeping and learned photo-consistency.
- Zoom and learn чтобы четче была глубина на границах untrained domain предсказывают по апкскейлу. Это кажется признаком того что они плохо понимают что происходит.