H๐›ผ Only (H๐›ผ ์˜์ƒ๋งŒ ์ฒ˜๋ฆฌํ•˜๊ธฐ)

 

Linear Processing

๋งˆ์Šคํ„ฐ ํŒŒ์ผ์˜ ์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•ด์„œ๋Š” STF์—์„œ Auto Stretch๋ฅผ ์ผœ๋†“๊ณ  ์ด๋ฏธ์ง€๋ฅผ ์ฒ˜๋ฆฌํ•˜์‹œ๋Š” ๊ฒƒ์ด ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค(STF์˜ Auto Stretch๋Š” ์˜์ƒ์„ ๋ณ€ํ™”์‹œํ‚ค์ง€ ์•Š๊ณ  ์šฐ๋ฆฌ ๋ˆˆ์—๋งŒ ๋‹ฌ๋ผ ๋ณด์ด๊ธฐ ๋•Œ๋ฌธ์— ์–ธ์ œ๋‚˜ ์ข‹์Šต๋‹ˆ๋‹ค). ๋‹ค์Œ์˜ ์ฒ˜๋ฆฌ๋Š” ์„ ํ˜• ํ”„๋กœ์„ธ์‹ฑ์—์„œ ๋งˆ์Šคํ„ฐ ํŒŒ์ผ์— ๊ผญ ํ•˜์…”์•ผ ํ•ฉ๋‹ˆ๋‹ค. 
  1. DynamicCrop์œผ๋กœ ์‚ฌ์ง„์˜ ๋ถˆํ•„์š”ํ•œ ๋ถ€๋ถ„์ด๋‚˜ ์‚ฌ์ง„์ƒ์˜ ์˜ค๋ฅ˜๋ฅผ ์ œ๊ฑฐํ•ฉ๋‹ˆ๋‹ค
  2. ABE๋‚˜ DB๋ฅผ ์‚ฌ์šฉํ•ด ๊ท ์ผํ•˜์ง€ ์•Š๋Š” ์˜์ƒ๋ฌผ์˜ ๋น›์„ ์ œ๊ฑฐํ•ฉ๋‹ˆ๋‹ค
  3. Deconvolution์„ ์ด์šฉํ•ด ๋Œ€๊ธฐ์— ์˜ํ•œ ๋ณ„์ƒ์˜ ์™œ๊ณก์„ ์ˆ˜์ •ํ•ฉ๋‹ˆ๋‹ค
  4. MultiscaleLinearTransform(MLT)๋ฅผ ์‚ฌ์šฉํ•ด ๋…ธ์ด์ฆˆ๋ฅผ ๊ฐ์†Œ์‹œํ‚ต๋‹ˆ๋‹ค

Delinearization

๋งŒ์•ฝ H๐›ผ ์˜์ƒ์„ (L)RGB์™€ ํ•จ๊ป˜ ์„ž์„ ์ƒ๊ฐ์ด๋ผ๋ฉด HistogramTransformation(HT)๋ฅผ ์ด์šฉํ•˜์‹œ๋ฉด ๋น„์„ ํ˜• ๋ฐ์ดํƒ€๋กœ์˜ ๋ณ€ํ™”๊ฐ€ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค. 

CurvesTransformation

๋งŒ์•ฝ H๐›ผ๋งŒ์„ ์ด์šฉํ•ด ๋‹จ์ผํ•œ ํ‘๋ฐฑ์˜์ƒ์„ ๋งŒ๋“œ๋Š” ๊ฒƒ์ด ๋ชฉ์ ์ด๋ผ๋ฉด CurvesTransformation(CT)๊ณผ HistogramTransformation(HT)์„ ์‚ฌ์šฉํ•ด ๋”์šฑ ์ฝ˜ํŠธ๋ผ์ŠคํŠธ๊ฐ€ ๋†’์€ ์˜์ƒ์œผ๋กœ ๋งŒ๋“œ๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค. 
ํŠนํžˆ ์ด ๊ฒฝ์šฐ HT๋งŒ์„ ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ ๋ณด๋‹ค CT๋ฅผ ์ž˜ ์ด์šฉํ•˜๋Š” ๊ฒƒ์ด ๋”์šฑ ๋†’์€ ์ฝ˜ํŠธ๋ผ์ŠคํŠธ๋ฅผ ์–ป์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. 

HT์™€ CT์˜ ๊ทธ๋ž˜ํ”„ ์ฐจ์ด
CT๋ฅผ ์ž˜ ์ด์šฉํ•˜๋Š” ๊ฒƒ์ด ํ›จ์”ฌ ๋” ๋†’์€ ์ฝ˜ํŠธ๋ผ์ŠคํŠธ๋ฅผ ์–ป์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค


H๐›ผ ์˜์ƒ์€ ๋ณ„์˜ ์˜ํ–ฅ์ด ์ ๊ธฐ ๋•Œ๋ฌธ์— ์ „์ฒด์ ์œผ๋กœ ํ•˜์ด๋ผ์ดํŠธ(๊ฐ•ํ•˜๊ฒŒ ๋น›์ด ๋‚˜๋Š” ์˜์—ญ)๊ฐ€ ๊ฒฐ์—ฌ๋œ ๊ฒฝ์šฐ๊ฐ€ ๋งŽ์Šต๋‹ˆ๋‹ค. ์ด ๊ฒฝ์šฐ ๋‹จ์ˆœํžˆ HT๋งŒ์„ ์‚ฌ์šฉํ•˜๊ฒŒ ๋˜๋ฉด Midtone์˜ ์ƒ๋ถ€(์ค‘๊ฐ„์—์„œ ์กฐ๊ธˆ ๋ฐ์€ ์˜์—ญ)์™€ ํ•˜์ด๋ผ์ดํŠธ ๋ถ€๋ถ„์ด ๋„ˆ๋ฌด ์••์ถ•๋˜์–ด ์ฒ˜์Œ๋ถ€ํ„ฐ ๋๊นŒ์ง€ ๋ฐ‹๋ฐ‹ํ•œ ์˜์ƒ์ด ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฒฐ๊ตญ ์ด๋•Œ CT๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ์–ด๋‘์šด ์˜์—ญ์— ๋น„ํ•ด ๋ฐ์€ ์˜์—ญ์„ ๊ฐ•์กฐํ•  ์ˆ˜ ์žˆ์–ด ๋ณด๋‹ค ์ฝ˜ํŠธ๋ผ์ŠคํŠธ๊ฐ€ ๋†’์€ ์˜์ƒ์œผ๋กœ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. 

HT์™€ CT๋ฅผ ๋™์‹œ ์‚ฌ์šฉ

HT๋งŒ ์‚ฌ์šฉ

์ž˜ ๋ณด๋ฉด ๊ฒ€์€ ์˜์—ญ๊ณผ ๋ฐ์€ ์˜์—ญ์˜ ์ฐจ์ด๊ฐ€ ๋‚˜๋Š” ๊ฒƒ์„ ์•Œ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค 
๋ฏธ๋ฌ˜ํ•˜์ง€๋งŒ ์ด ์ •๋„๋ผ๋„ ์ฝ˜ํŠธ๋ผ์ŠคํŠธ ์กฐ์ ˆ์„ ํ•ด์ฃผ๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค

๋ฌผ๋ก  ์‹ค์ œ๋กœ ์ด๋ฏธ์ง€ ์ฒ˜๋ฆฌ๋ฅผ ํ•  ๋•Œ๋Š” CT๋งŒ์œผ๋กœ ๋ชจ๋“  ์ปค๋ธŒ์˜ ์กฐ์ ˆ์„ ํ•˜๊ณ  ์‹ถ์„ ์ˆ˜๋„ ์žˆ์ง€๋งŒ, ์ด๋ ‡๊ฒŒ ํ•˜๋ฉด ์ผ์ด ๋„ˆ๋ฌด ๋ณต์žกํ•ด์ง‘๋‹ˆ๋‹ค. ํ‰์†Œ์™€ ๊ฐ™์ด HT๋กœ ๋น„์„ ํ˜•ํ™”๋ฅผ ์‹œํ‚จ ํ›„, CT๋กœ ๋งˆ๋ฌด๋ฆฌ๋ฅผ ํ•˜๋ฉด ๋ฉ๋‹ˆ๋‹ค. 

์ด ์ •๋„๊นŒ์ง€ ๋น„์„ ํ˜•ํ™”๋งŒ HT๋กœ ํ•˜์‹œ๊ณ ,
๋๋งˆ๋ฌด๋ฆฌ๋Š” CT๋กœ ํ•ฉ๋‹ˆ๋‹ค

Nonlinear Processing

์—ฌ๋Ÿฌ๋ถ„์ด ์–ด๋–ค ์ข…๋ฅ˜์˜ ํ”„๋กœ์„ธ์Šค(HT๋‚˜ CT)๋กœ ๋น„์„ ํ˜•ํ™”๋ฅผ ํ•˜์‹œ๋“ ๊ฐ„์— ๋น„์„ ํ˜• ์ด๋ฏธ์ง€์˜ ํ”„๋กœ์„ธ์‹ฑ์—๋Š” ๋‹ค์Œ์˜ ๊ณผ์ •์„ ๊ผญ ์ง„ํ–‰ํ•˜์‹œ๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค. 
  • TGVDenoise๋ฅผ ์ด์šฉํ•ด ๋น„์„ ํ˜• ๋ฐ์ดํƒ€์˜ ๋…ธ์ด์ฆˆ ๊ฐ์†Œ (๋งˆ์Šคํฌ ์‚ฌ์šฉํ•  ๊ฒƒ)
  • ํ•„์š”ํ•˜๋‹ค๋ฉด HDRMultiscaleTransform์„ ์ด์šฉ (๋งˆ์Šคํฌ ์‚ฌ์šฉํ•  ๊ฒƒ)
  • ์ฝ˜ํŠธ๋ผ์ŠคํŠธ ํ–ฅ์ƒ์„ ์œ„ํ•ด LocalHistogramEqualization(LHE) ํ”„๋กœ์„ธ์Šค๋‚˜ LocalFuzzyHistogramHyperbolization(LFHH) ์Šคํฌ๋ฆฝํŠธ๋ฅผ ์ด์šฉ (๋งˆ์Šคํฌ ์‚ฌ์šฉํ•  ๊ฒƒ)
  • ์„ ์˜ˆ๋„๋ฅผ ์ฆ๊ฐ€์‹œํ‚ค๊ธฐ ์œ„ํ•ด MultiscaleLinearTransform(MLT)๋ฅผ ์‚ฌ์šฉํ•  ๊ฒƒ
    (์„ ์˜ˆ๋„ ํ•ญ๋ชฉ์„ ์ฐธ์กฐํ•˜์‹œ๊ณ  ๋งˆ์Šคํฌ ์‚ฌ์šฉํ•  ๊ฒƒ)
  • UnsharpMask (๋งˆ์Šคํฌ ์‚ฌ์šฉํ•  ๊ฒƒ), DarkStructureEnhance, ExponentialTranformation, CloneStamp ๋“ฑ๋“ฑ์„ ์ ์ ˆํžˆ ์‚ฌ์šฉํ•  ๊ฒƒ

Star Removal

ํ˜‘๋Œ€์—ญ ์ด๋ฏธ์ง€๋กœ ์œ ๋ช…ํ•œ ํ•€๋ž€๋“œ์˜ J. P. Metsavainio์˜ ์‚ฌ์ง„์—์„œ๋„ ์•Œ ์ˆ˜ ์žˆ๋“ฏ์ด ํ˜‘๋Œ€์—ญ ์˜์ƒ์€ ๋ณ„์ด ๊ฑฐ์˜ ์—†๊ฑฐ๋‚˜ ์ตœ์†Œํ•œ์œผ๋กœ ๋ณด์ด๊ฒŒ ํ•˜๋Š” ๊ฒฝํ–ฅ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ์—ฌ๋Ÿฌ๋ถ„๋„ ์ด๋Ÿฐ ๊ฒฐ๊ณผ๋ฌผ์„ ์–ป๊ธฐ ์œ„ํ•ด MorphologicalTransformation(MT) ํ”„๋กœ์„ธ์Šค๋ฅผ ์ด์šฉํ•ด ๋ณ„์ƒ์„ ์ค„์ด๊ฑฐ๋‚˜ ์™„์ „ํžˆ ์ œ๊ฑฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฌผ๋ก  ์ด๋•Œ๋Š” MT์™€ MLT๋ฅผ ๋™์‹œ์— ์ด์šฉํ•˜๋Š” ๊ฒƒ์ด ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค. ํ•˜๋Š” ๋ฐฉ๋ฒ•์€ ์•„๋ž˜์™€ ๊ฐ™์Šต๋‹ˆ๋‹ค. 
  1. StarMask ํ”„๋กœ์„ธ์Šค๋ฅผ ์ด์šฉํ•ด ๋ชจ๋“  ๋ณ„์ƒ์„ ํฌํ•จํ•˜๋Š” ๋งˆ์Šคํฌ๋ฅผ ๋งŒ๋“ญ๋‹ˆ๋‹ค. ๋งŒ์•ฝ ํ•„์š”ํ•˜๋‹ค๋ฉด HT๋‚˜ CT๋ฅผ ์ด์šฉํ•ด ๋งˆ์Šคํฌ์— ๋Œ€ํ•œ ๋งˆ์Šคํฌ๋ฅผ ๋งŒ๋“ค์–ด StarMask์˜ ๋งˆ์Šคํฌ๊ฐ€ ๋” ๋งŽ์€ ๋ณ„์ƒ์„ ํฌํ•จํ•˜๋„๋ก ํ•ฉ๋‹ˆ๋‹ค 
  2. ํ”„๋กœ์„ธ์‹ฑํ•  ์‚ฌ์ง„์— ๋งˆ์Šคํฌ๋ฅผ ์ ์šฉํ•ฉ๋‹ˆ๋‹ค
  3. ์ด๋ฒˆ ์˜ˆ์‹œ์—์„œ๋Š” MT์˜ iteration์„ ํ•œ๋ฒˆ๋งŒ ์ ์šฉํ•ฉ๋‹ˆ๋‹ค
  4. MLT์—์„œ ์ž‘์€ ํฌ๊ธฐ์˜ ๊ตฌ์กฐ๋ฌผ์— ๋Œ€ํ•œ ์„ค์ •์„ ๋ชจ๋‘ ๋•๋‹ˆ๋‹ค. ์•„๋ž˜์˜ ๊ทธ๋ฆผ๊ณผ ๊ฐ™์ด ์ด ๋‘ ๊ณผ์ •์„ 1~2ํšŒ ๋ฐ˜๋ณตํ•˜๋ฉด ๊ฑฐ์˜ ๋ชจ๋“  ์‚ฌ์ง„์˜ ๋ณ„์„ ์ œ๊ฑฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค
  5. ์ด ๊ณผ์ •์˜ ๋Œ€์ฒด๋ฐฉ๋ฒ•์œผ๋กœ๋Š” StarReduction ์Šคํฌ๋ฆฝํŠธ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค
MLT์™€ MT๋ฅผ ๊ฐ™์ด ์‚ฌ์šฉํ•ด์„œ ์˜์ƒ์— ์กด์žฌํ•˜๋Š” ๊ฑฐ์˜ ๋ชจ๋“  ๋ณ„์„ ์ œ๊ฑฐํ•ด ์ค๋‹ˆ๋‹ค


๋ณ„์ด ๊ฑฐ์˜ ์™„์ „ํžˆ ์ œ๊ฑฐ๋œ ๋“œ๋ผ๋งˆํ‹ฑํ•œ ์˜์ƒ์ด ๋˜์—ˆ์Šต๋‹ˆ๋‹ค

๋ฌผ๋ก  ์œ„์™€ ๊ฐ™์€ ์ตœ์ข… ๊ฒฐ๊ณผ๋ฌผ์„ ์–ป๊ธฐ ์œ„ํ•ด์„œ๋Š” ์ˆ˜์ฐจ๋ก€ ํ…Œ์ŠคํŠธ๋ฅผ ํ•˜๋Š” ๊ฒƒ์ด ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค.
์ผ๋‹จ ์ค‘๊ฐ„ ์‚ฌ์ด์ฆˆ์˜ ๋ณ„๋“ค์ด ์˜์ƒ์—์„œ ๋ชจ๋‘ ์ œ๊ฑฐ๊ฐ€ ๋˜์—ˆ๋‹ค๋ฉด ํฐ ๊ตฌ์กฐ๋ฌผ์— ๋Œ€ํ•œ ๋ ˆ์ด์–ด(3, 4๋ฒˆ ๋ ˆ์ด์–ด)๋ฅผ ํ™œ์„ฑํ™” ์‹œ์ผœ์„œ ์œ„์˜ ๊ณผ์ •์„ ๋ช‡ ์ฐจ๋ก€ ๋ฐ˜๋ณตํ•ด๋ณด๋Š” ๊ฒƒ์ด ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค. ํ•„์š”ํ•˜๋‹ค๋ฉด CloneStamp ํ”„๋กœ์„ธ์Šค๋ฅผ ์ด์šฉํ•ด ๋งค์šฐ ํฐ ๋ณ„์„ ์ œ๊ฑฐํ•˜๋Š” ๊ฒƒ๋„ ๋ฐฉ๋ฒ•์ž…๋‹ˆ๋‹ค. 

์ฐธ๊ณ  : ์ „์— ๋‘๋ฃจ๋ณ„๋‹˜์ด StarNet++ ๋ผ๋Š” ์†Œํ”„ํŠธ์›จ์–ด๋ฅผ ์†Œ๊ฐœํ•ด ์ฃผ์…จ๋Š”๋ฐ, ๊ทธ๊ฑธ ์จ๋ณด๋Š” ๊ฒƒ๋„ ํ•œ๊ฐ€์ง€ ๋ฐฉ๋ฒ•์ž…๋‹ˆ๋‹ค. ๊ธฐ์–ตํ•˜์„ธ์š”. ๋ฐฉ๋ฒ•์€ ํ•ญ์ƒ ์—ฌ๋Ÿฌ๊ฐ€์ง€๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. 


๋Œ“๊ธ€