Professional Documents
Culture Documents
Computer Vision ACCV 2018 14th Asian Conference On Computer Vision Perth Australia December 2 6 2018 Revised Selected Papers Part II C. V. Jawahar
Computer Vision ACCV 2018 14th Asian Conference On Computer Vision Perth Australia December 2 6 2018 Revised Selected Papers Part II C. V. Jawahar
https://textbookfull.com/product/computer-vision-accv-2018-14th-
asian-conference-on-computer-vision-perth-australia-
december-2-6-2018-revised-selected-papers-part-i-c-v-jawahar/
https://textbookfull.com/product/computer-vision-accv-2018-14th-
asian-conference-on-computer-vision-perth-australia-
december-2-6-2018-revised-selected-papers-part-iii-c-v-jawahar/
https://textbookfull.com/product/computer-vision-accv-2018-14th-
asian-conference-on-computer-vision-perth-australia-
december-2-6-2018-revised-selected-papers-part-v-c-v-jawahar/
https://textbookfull.com/product/computer-vision-accv-2018-14th-
asian-conference-on-computer-vision-perth-australia-
december-2-6-2018-revised-selected-papers-part-iv-c-v-jawahar/
Computer Vision ACCV 2018 14th Asian Conference on
Computer Vision Perth Australia December 2 6 2018
Revised Selected Papers Part VI C.V. Jawahar
https://textbookfull.com/product/computer-vision-accv-2018-14th-
asian-conference-on-computer-vision-perth-australia-
december-2-6-2018-revised-selected-papers-part-vi-c-v-jawahar/
https://textbookfull.com/product/computer-vision-applications-
third-workshop-wcva-2018-held-in-conjunction-with-
icvgip-2018-hyderabad-india-december-18-2018-revised-selected-
papers-chetan-arora/
https://textbookfull.com/product/computer-vision-
eccv-2018-workshops-munich-germany-
september-8-14-2018-proceedings-part-v-laura-leal-taixe/
https://textbookfull.com/product/computer-vision-
eccv-2018-workshops-munich-germany-
september-8-14-2018-proceedings-part-ii-laura-leal-taixe/
https://textbookfull.com/product/computer-vision-eccv-2018-15th-
european-conference-munich-germany-
september-8-14-2018-proceedings-part-iii-vittorio-ferrari/
C. V. Jawahar
Hongdong Li
Greg Mori
Konrad Schindler (Eds.)
LNCS 11362
Computer Vision –
ACCV 2018
14th Asian Conference on Computer Vision
Perth, Australia, December 2–6, 2018
Revised Selected Papers, Part II
123
Lecture Notes in Computer Science 11362
Commenced Publication in 1973
Founding and Former Series Editors:
Gerhard Goos, Juris Hartmanis, and Jan van Leeuwen
Computer Vision –
ACCV 2018
14th Asian Conference on Computer Vision
Perth, Australia, December 2–6, 2018
Revised Selected Papers, Part II
123
Editors
C. V. Jawahar Hongdong Li
IIIT Hyderabad ANU
Hyderabad, India Canberra, ACT, Australia
Greg Mori Konrad Schindler
Simon Fraser University ETH Zurich
Burnaby, BC, Canada Zurich, Zürich, Switzerland
This Springer imprint is published by the registered company Springer Nature Switzerland AG
The registered company address is: Gewerbestrasse 11, 6330 Cham, Switzerland
Preface
The Asian Conference on Computer Vision (ACCV) 2018 took place in Perth,
Australia, during December 2–6, 2018. The conference featured novel research con-
tributions from almost all sub-areas of computer vision.
This year we received a record number of conference submissions. After removing
the desk rejects, 979 valid, complete manuscripts were submitted for review. A pool of
34 area chairs and 1,063 reviewers was recruited to conduct paper reviews. Like
previous editions of ACCV, we adopted a double-blind review process to determine
which of these papers to accept. Identities of authors were not visible to reviewers and
area chairs; nor were the identities of the assigned reviewers and area chairs visible to
authors. The program chairs did not submit papers to the conference.
Each paper was reviewed by at least three reviewers. Authors were permitted to
respond to the initial reviews during a rebuttal period. After this, the area chairs led
discussions among reviewers. Finally, a physical area chairs was held in Singapore,
during which panels of three area chairs deliberated to decide on acceptance decisions
for each paper. At the end of this process, 274 papers were accepted for publication in
the ACCV 2018 conference proceedings, of which five were later withdrawn by their
authors.
In addition to the main conference, ACCV 2018 featured 11 workshops and six
tutorials.
We would like to thank all the organizers, sponsors, area chairs, reviewers, and
authors. Special thanks go to Prof. Guosheng Lin from Nanyang Technological
University, Singapore, for hosting the area chair meeting. We acknowledge the support
of Microsoft’s Conference Management Toolkit (CMT) team for providing the
software used to manage the review process.
We greatly appreciate the efforts of all those who contributed to making the
conference a success.
General Chairs
Kyoung-mu Lee Seoul National University, South Korea
Ajmal Mian University of Western Australia, Australia
Ian Reid University of Adelaide, Australia
Yoichi Sato University of Tokyo, Japan
Program Chairs
C. V. Jawahar IIIT Hyderabad, India
Hongdong Li Australian National University, Australia
Greg Mori Simon Fraser University and Borealis AI, Canada
Konrad Schindler ETH Zurich, Switzerland
Advisor
Richard Hartley Australian National University, Australia
Publication Chair
Hamid Rezatofighi University of Adelaide, Australia
Area Chairs
Lourdes Agapito University College London, UK
Xiang Bai Huazhong University of Science and Technology,
China
Vineeth N. IIT Hyderabad, India
Balasubramanian
Gustavo Carneiro University of Adelaide, Australia
Tat-Jun Chin University of Adelaide, Australia
Minsu Cho POSTECH, South Korea
Bohyung Han Seoul National University, South Korea
Junwei Han Northwestern Polytechnical University, China
Mehrtash Harandi Monash University, Australia
Gang Hua Microsoft Research, Asia
viii Organization
Additional Reviewers
Poster Session P1
SAFE: Scale Aware Feature Encoder for Scene Text Recognition . . . . . . . . . 196
Wei Liu, Chaofeng Chen, and Kwan-Yee K. Wong
1 Introduction
The light reflected from a scene can be broadly classified into diffuse and specular
terms. While the diffuse term is slowly varying for different pairs of viewing and
lighting angles, specularities take the form of strong highlights that can vary
quickly as either angle changes. Separating these two components is useful in
many different imaging applications. For example, photometric stereo [1] esti-
mates surface normals from images taken under different illuminations; however,
like many algorithms, the process assumes that the scene is Lambertian, i.e the
reflection is purely diffuse.
As a second example, consider the problem of estimating spatially-varying
bidirectional reflectance distribution functions (SVBRDFs). The knowledge of
the complete SVBRDF enables the reproduction of objects from any viewing
direction and under variable lighting conditions. Typically, one fits a paramet-
ric model to samples obtained by capturing images with different viewing and
lighting directions. Although for very simple materials the specular and diffuse
components of the model can be fit from only the shape of the SVBRDF, often
c Springer Nature Switzerland AG 2019
C. V. Jawahar et al. (Eds.): ACCV 2018, LNCS 11362, pp. 3–18, 2019.
https://doi.org/10.1007/978-3-030-20890-5_1
4 L. V. Jospin et al.
this process can be done much more accurately if the two components are sepa-
rated prior to model fitting. Other applications that benefit from this separation
include tracking, object recognition and image segmentation.
Fig. 1. Illustration of the concept of a filter array with different polarization orienta-
tions. The micro-filters are represented with disks and the arrow indicates the direction
of polarization.
2 Problem Statement
of most materials at the microscopic level. The polarization of the light reflected
by this microfacet model is not preserved. On the other hand, some of the light
is also scattered inside the medium; the polarization of such light is retained.
We can leverage this observation to separate diffuse and specular reflection. In
fact, we separate polarized and unpolarized light, which we can associate to the
specular and diffuse components as long as the subsurface scattering is relatively
weak.
In particular, suppose we have a scene illuminated by a single light source
polarized with an angle φ; this can be achieved by placing a linear polarizer
in front of it. For now, assume that φ is known; later, we show that this is
unnecessary as it can be easily estimated. Furthermore, suppose we have a digital
camera with a filter array of linear polarizers with K different orientations in
front of its sensor. We describe the image formation process as follows. Let
Xk ∈ RN ×N , k = 1, 2, ..., K, be a collection of K images, each filtered with a
distinct orientation θk . From Malus’ law, we can express each individual image
as the sum of a constant diffuse term and a specular term that is modulated
according to the polarization of the filters:
1
Xk = Zd + Zs cos2 (φ − θk ), (1)
2
where Zd and Zs are the diffuse and specular components, respectively. Equiv-
alently, we can rewrite (1) by flattening Xk into a vector xk = vec(Xk )1 :
1 zd
xk = 2 I cos (φ − θk )I
2
. (2)
zs
Ck
2 2 2 2
Here, zd = vec(Zd ) ∈ RN , zs = vec(Zs ) ∈ RN and Ck ∈ RN ×2N is the matrix
that modulates the specularity with the correct attenuation and combines the
diffuse and specular terms.
To model a camera with a micro-array of polarizing filters, we need to select
only one polarization orientation for each pixel. To model this, let yk = Ak xk ,
2 2
where Ak ∈ RN ×N is a mask that zeroes the measurements that we do not
have access to; it has the form of a diagonal matrix with a 1 where the pixel
is selected and a 0 otherwise. Note that, since we have one polarizing filter per
K
pixel, k=1 Ak = I. At this stage, we make no assumption about the filter ori-
entations: they can be regularly or irregularly structured over the array. Finally,
the measured image is given by
K
z
y= yk = AC d , (3)
zs
k=1
1
Note that we use bold uppercase letters for matrix notation and the same letter in
lowercase for its flattened version. Throughout this chapter, we interchangeably use
both notations to denote the same object.
Embedded Polarizing Filters to Separate Diffuse and Specular Reflection 7
where
2
×KN 2
A = [A1 , A2 , . . . , AK ] ∈ RN ,
KN 2 ×2N 2
C = [C1 , C2 , . . . , CK ] ∈ R .
Using this formulation, our aim is to estimate zd and zs given the measure-
ments y and the downsampling matrix S = AC. To simplify notation we write
the “superimage” with both diffuse and specular components as z = [zd , zs ] .
3 Algorithms
We show below how to solve (4) with these different variations of the TV
norm. The advantage of the 1 approach is that, since it favors solutions that
have a sparse first order derivative, it maintains edges in the image. In contrast,
the 2 approach can blur edges but performs well on other parts of the image.
The 2 formulation can also lead to faster algorithms.
Although general optimization packages can be used to solve (4), the sam-
pling matrix S is very large and therefore these techniques are limited to rela-
tively small-sized images. In order to overcome this, we observe that (4) can be
expressed as a sparse linear system. To see this, note that T (·), in the case of
the 2 TV norm, can be written as
2
Technically, the TV norm is only a semi-norm.
8 L. V. Jospin et al.
The main advantage of this approach is that (11) is now decoupled over space,
and thus has a closed form solution. Additionally, (10) is now an 2 minimization,
which again has a closed form solution. In practice, only a few iterations of the
split Bregmann algorithm are needed to converge so the method is acceptably
fast and has linear complexity in the number of pixels in the image.
where μd and μs are the mean values of zd and zs . For K > 3, this set of
non-linear equations is overdetermined, and finding φ, μd and μs corresponds to
solving the following minimization problem:
⎡ ⎤
φ̂ K
2
⎣μ̂d ⎦ = arg min μk − μd − μs cos(φ − θk )2 . (16)
μ̂s φ,μd ,μs
k=1
4 Practical Considerations
Before evaluating and comparing our proposed approach to existing methods,
we discuss below a few algorithmic and design choices.
Fig. 2. Influence of the number of orientations with a random filter design: comparison
of our proposed algorithm, which performs the separation in one shot, with a two
stage approach, which first interpolates the different channels and then extracts the
specularity by fitting a cosine. Both methods use the 2 TV-norm as regularizer.
when investigating different filter design patterns. In this regard, we observe that
the direct reconstruction saturates at around 8–10 orientations, suggesting that
existing camera designs based on 4 orientations are not optimal. In the rest of
this paper, we exclusively use the single-step approach.
29.
Sinä kesänä, jolloin sinä, Yrjö, tulit ylioppilaaksi, painui tuo vieras
leima yli koko paikkakuntamme ja teki sen vielä entistään
rauhattomammaksi. Aukeamalle aseman toiselle puolelle pystytettiin
nimittäin suuri venäläinen majoitusleiri, jonka upseerit kulkivat ympäri
paikkakuntaa hakien sekä itselleen että kanslioilleen huoneistoa
asukkaiden huviloista. Silloin vilisi valkotakkisia ja pitkäsaappaisia
kaikilla teillä ja kuului vieraan kielen sorinaa. Illoin kaikui leirillä
hanurin ääni. Muistatko, Yrjö, haikeamielisiä tanssisävelmiä ja
alakuloisia venäläisiä kansanlauluja, jotka selvästi soivat
huvilallemme asti?
Äiti oli juuri ollut salin ikkunaa sulkemassa, kun verannalta ilmestyi
eteiseen neljä — viisi — seitsemän miestä — venäläisiin
upseerinpukuihin puettuna. He astuivat suoraa päätä saliin,
kursailematta tallaten saappaillaan hänen puhdasta lattiaansa ja
vaaleita mattojansa. He katselivat ilman muuta ympärillensä,
kurkistelivat keltaiseen nurkkakammioon, astuivat häikäilemättä
ruokahuoneeseen, kuin olisivat olleet kotonaan, loivat silmäyksen
tarjoiluhuoneeseen ja portaille, jotka sieltä veivät yläkertaan — ja
arvelivat, että tämä talo sopisi erinomaisesti heille. He tarvitsivat
kansliaa — ja koska eivät olleet löytäneet mitään muuta sopivaa, niin
—!
Mutta äiti vakuutti heille, että myöskin meillä oli keinomme estää,
ja ne keinot tepsisivät. Herrojen oli siis turha meidän kotiamme
tarkastaa, me emme sitä luovuttaisi, eikä heillä ollut oikeutta ottaa
sitä väkisin.
30.
Olit polkupyörämatkalla.
Maantie aleni siltaa kohti, joka vei salmen yli. Salmi leveni
tuonnempana suvannoksi, jonka rannalla oli paja. Miten tuo silta ja
tuo paja olivat sinulle tutut! Sillan kaiteessa olivat penkit, nuorten
iltahaaveilua varten. Sen alta tuli esille vene, jota tyttö souti,
nähtävästi iltalypsyltä saapuen, koska oli maitoastioita veneessä.
Veden pinta välkkyi tyynenä ja tummana korkeitten leppien varjossa,
ja joku lintunen piipotti läheisessä puussa iltaviserrystään.
Sitten oli tullut tavaksi sillan kohdalta lähestyä taloa kävellen, jos
tuli matkustavaisena pitemmän matkan päästä ja kuului perheeseen.
Monessa sukupolvessa olivat talon ylioppilaat tulleet ajaa karauttaen
kyytikärryissä tietä pitkin ja mäen törmällä hypänneet alas
kärryistään ja heiluttaneet lakkiaan tervehdykseksi. Kaikki olivat
lämmenneet nähdessään vanhan kartanon katonharjojen paistavan
esille puitten lomitse.
Siinä oli jotakin erikoista, arvelit sinä, Yrjö. Tuo taitekatto tuossa ja
päätyjen ullakkokamari-ikkunat — ja kaikki ne tarinat, joita vanha
isoäiti oli tiennyt kertoa noitten kamarien muistoista. Niissä oli
mahtanut tapahtua enemmän kuin muualla koko talossa. Nyt loisti
aurinko ikkunoihin, niin että ne punoittaen hohtivat. Eikös siinä
seisonut jokin navettakaivon luona nostamassa vettä? Ja tallirenki
tuli tallista taluttaen hevosta ja alkoi valjastaa sitä kärryjen eteen.
Silloin oli ollut paljon sukulaisia koolla. Oli luonnollista, että tässä
suvussa vallitsi yhteistunto. Kaikilla vanhoilla oli niin paljon yhteisiä
muistoja, jotka liittyivät taloon. Siellä he olivat nuorina rakastuneet ja
menneet kihloihin, ja kuinka monet häät siellä olikaan vietetty! Sitten
he olivat tulleet käymään lapsineen, ja näiden hauskimmat
lapsuuden muistot liittyivät vuorostaan vanhaan kartanoon. Nyt
tulivat jo lastenlapset ja yhä pysyi yhteenkuuluvaisuudentunne
kiinteänä. Vanhat olivat jo kuolleet aikoja sitten, mutta nuoremmissa
polvissa oli uskollisuus ja kodikas viihtyminen toistensa seurassa
säilynyt muuttumattomana.
Silloin olit sinäkin juurtunut tähän yhteiseen maaperään, ja siitä
asti olit tuntenut siihen kuuluvasi. Olit suuren suvun jäsen. Kaikki nuo
valkotukkaiset suvun vanhukset olivat ottaneet sinut vastaan oman
puunsa vesana, olivat laskeneet kätensä päälaellesi kulkiessasi
heidän ohitseen ja kiikuttaneet sinua polvellansa. Tädit olivat
avanneet sinulle kirjaillut käsilaukkunsa, ja serkut olivat nostaneet
sinut olkapäillensä ja hevosina hirnuneet sinulle laukaten ylös ja alas
rantatietä, joka vei saunaan ja uimahuoneelle.
31.
Aamulla olit tarkastanut puutarhan kukkamaita. Varmaan ne olivat
isoäidin äidin aikuisia. Siellä oli sydämenmuotoinen kukkamaa, joka
kasvoi pelkkiä lemmikkejä, puolikuunmuotoinen, jonka keskus oli
kaunokkeja ja laidoissa kasvoi nemophilaa. Kaikki kukkapenkereet
olivat näkinkenkien reunustamia, ja ne järjestettiin vuosittain samalla
tavalla.
*****
Kyllä tämä oli maa, joka vie muista maista voiton, ajattelit
itseksesi.
Jospa vain saisi olla mukana viemässä sitä eteenpäin!
— Elleivät olisi olleet niin vastassa nuo, niin sinne olisin mennyt
minäkin!
Miten olitkaan kadehtinut noita muita poikia siitä, että heillä oli
itsenäinen isänmaa!
Ja nyt!
Silloin tällöin kuului ääniä metsästä päin tai laulua sillan kohdalta.
32.
Mutta nyt sinua väsytti. Sinua väsytti niin että jalat olivat lyijyn
raskaat. Mielelläsi olisit hiukan lepäillyt, mutta päivä oli määrätty,
jolloin sinun piti ruveta harjoittelijaksi tehtaaseen, eikä täsmälleen
saapumista nyt saanut mikään estää. Olihan sinulla muutamien
vuorokausien huoahdus välillä, ja se sai riittää, sillä ethän sinä
omasta mielestäsi ollut lainkaan rasittunut. Väsymyksesi ei
merkinnyt mitään ja minäkin luulin sen olevan vain ohimenevää
raukeutta pitkän pyöräilymatkan jälkeen.