Starnet++に関するメモ

[開発者によるStarNet(オリジナル)の概要とTIPSの要約]

• 概要
  • 従来の方法による恒星除去は、複雑な手順を伴い習得するのが難しく、 星の多い画像の場合には良い結果を得難い。
  • これは入力画像からほとんどの星を除去し、巨大なものだけを残す。 また小さな銀河や星雲の細かいディテール、HH天体等、星とは形状が異なる 明るい対象も(うまくいけば)残す。
  • 主な用途は星雲等の強調を想定している。
• TIPS
  • 過度に強調処理された画像を入力に使用しないこと。 星像を縮小した場合、過度に鮮鋭化した場合、デコンボリューションを 使用した場合、画像のサイズが大きく変更された場合等は、パフォーマンスが悪くなる可能性がある。
  • このニューラルネットワークは屈折望遠鏡(FSQ106 + QSI 683 wsg-8)のデータを使って訓練したものなので、 似たような光学系のデータであればうまくいくだろう。 反射望遠鏡の場合は(スパイクの所為で)適切に処理できないかもしれない。

[参考]

• 概要(StarNet)
  https://github.com/nekitmm/starnet
• ダウンロード(Starnet++)
  https://sourceforge.net/projects/starnet/files/v1.1

• Starnet++(Windows版)を使用した事例である。
• ノンリニアな(強調処理された)画像を入力する必要がある。
  • 強調したい箇所のデータが充分に取得できていること。
  • カブリやカラーバランス等が適正に補正されていること。
  • 恒星の数や強度が表現したい状態となっていること。
  • 星像の極端な肥大、変形、フレア、収差が無いこと。

【処理例】

星雲のデータが取得できていなければならない。 Starnet++で処理すると、星雲が自然に浮き出てくるわけではない。 以下の例のように強調処理前は判然としていなくても、ヒストグラムのMODE付近で二値化してみると、 データの取得状態がわかる。 前処理の段階でフラット補正、光害カブリの除去等が適切に行われている必要がある。

前処理が終わった段階で、ImageMagickを使用して2x2のビニングをかける。 これはS/Nの向上とStarnet++の処理時間の低減を目的としている。 なおImageMagickのビニングでは輝度は変わらない。

[ImageMagick: binning]
　magick convert -filter box -resize [num] INPUT OUTPUT

・サイズは整数倍！
・平均化されてピクセルが結合される。
・scaleでもビニングのときは同じ結果になる。
　なおアルゴリズムが違っているため、Box filter とまったく同じではない。

強調処理をする際にはマスクを使い、恒星の変形や星雲の飽和を抑える。 カーブ処理が主体となるが、ここでは上下の帯域を切り詰めることはしない。 輝度50%辺りを目安に露出設定をして撮影しているので、30%辺りとなるくらいを目安に、繰り返しカーブ処理をかける。 不十分であれば明るさを調整して持ち上げ、再度カーブ処理を行う。 処理強度は目視で星雲が背景と分離していればよく、過剰に処理しないようにする。 今回の例は真夏に撮影しておりS/Nが良くなかったので、通常よりも低めの強度で処理している。

[撮影画像(stacked)]
[撮影画像のデータ取得状態確認]
(白)=恒星,星雲 (黒)=背景
[強調処理] imgur#1
[恒星除去] imgur#2
[完成画像] imgur#3

Starnet++は実行時に処理対象の画像ファイルを、ソフトウェアと同じフォルダーに置かねばならないが、 いちいちフォルダーを開いてファイルを操作するのは面倒である。 何よりプログラムフォルダーを開きたくないので、簡単なバッチファイルを作成して処理するようにしている。

以下のサンプルの強調部分(環境変数)を、環境に合わせて適宜修正し、パスの通ったフォルダに保存する。 この例では「starnet comb.tiff」として実行すると、出力ファイルはcomb_starless.tifとなる。 STRIDEをデフォルトから変えて実行した場合、例えば「starnet comb.tiff 32」だと、test_starless32.tifが出力される。

▼starnet.bat
　starnet [InputFile] (STRIDE)

@echo off
set InstDir=C:\USR\LOCAL\StarNet_Win\
set WorkDir=D:\VAR\photographs\zW\zT\_work\
set AddWord=starless

cd /d %WorkDir%
if "%1"=="" goto error1
if not exist "%1" goto error2

:main
move %1 %InstDir%~%1 >nul
cd /d %InstDir%
rgb_starnet++.exe ~%1 %~n1_%AddWord%%2.tif %2
move ~%1 %WorkDir%%1 >nul
move %~n1_%AddWord%%2.tif %WorkDir% >nul
cd /d %WorkDir%
goto end

:error1
echo.
echo starnet [InputFile] (STRIDE)
goto end

:error2
echo.
echo File not found!

:end
echo.

Starnet++により生成された恒星除去画像が、支障無いものであるかどうか検証したい。 「入力画像＝恒星除去画像＋恒星画像」であれば問題無いのであるが、完全に一致しているかを目視で判断するのは無理がある。 そこでImageMagickで検証することにした。 ここでも必要に応じて、上記のstarnet.batと同様の設定を行う。

• [処理内容]
  1. 入力画像と恒星除去画像の差分から恒星画像を取り出す。 差分はPs等の「差の絶対値」と同等である。
  2. 取り出した恒星画像を加算で合成しPNGで出力する。 ここではとりあえずファイル名を「out」としておく。
     TIFファイルのフォーマットによっては照合の際、結果の後に警告メッセージが続いて出力され見辛くなるので、 PNGに変換している。 色深度は特に指定しない限り入力画像に基づく。
  3. PSNRとSSIMの2パターンで検証する。 二つの画像に差異がなければ、結果はPSNR:#INF, SSIM:1となる。
     入力画像を標準出力しパイプで繋げて照合しているが、 これはTIFファイルの警告メッセージを回避するためである。
  4. [注記(2022/02)]
     数年ぶりにImageMagickのアップデートを行ったところ、従来は「PSNR:#INF, SSIM:1」であったものが、 そのようにならなくなった。 つまり結果に差異が発生するようになった。 処理が完了するまでやや時間がかかるようになったが、アルゴリズムの計算方法が変わったのだろうか？ (PSNR56.x以上, SSIM0.999x以上であれば、旧バーションの差異無しと同等であると見做せるかもしれない。)

▼starnet_chk.bat
　starnet_chk [InputFile] [StarlessFile]

@echo off
set WorkDir=D:\VAR\photographs\zW\zT\_work\

cd /d %WorkDir%
if "%2"=="" goto error1
if not exist "%1" goto error2
if not exist "%2" goto error2

:main
magick composite -compose difference %1 %2 - 2> nul | magick composite -compose plus - %2 out.png
echo.
echo [result]
magick convert %1 - 2> nul | magick compare -metric psnr - out.png null:
echo.
magick convert %1 - 2> nul | magick compare -metric ssim - out.png null:
goto end

:error1
echo.
echo starnet_chk [InputFile] [StarlessFile]
goto end

:error2
echo.
echo File not found!

:end
echo.