PictStitcher

　パノラマ画像作成ソフト“PictStitcher”説明書
　　　（というより今後の企画書か？）

【まずは、おわびとお断り】

　Ver0.26Betaから１年ぶりにバージョンアップを再開しました。

【１】どんなソフトか
　市販ソフトのスピンパノラマに似たソフトで、２枚の画像を１枚に合成します。
　ピクト・ステッチャーと読みます。Pict は Picture と PICT フォーマットにしか対応していないことを引っ掛けていて、Stitch は縫い合わせると言う意味です。ということでアイコンは“針と糸”です。
　これまで私自身、スピンパノラマを使ってパノラマ画像を作っていたのですが、画像を合わせにくいとか、合成後の画像がゆがむとか、バックが黒くなるとか、不満な点が出てきました。と、いうことで作ってしまいました。ただ、スピンパノラマは複数の画像を合成できますが、PictStitcher は２枚の合成です。今後も成長させて行きたいと思います。

　あ、“メールウェア”です。無料で自由にお使い下さい。その際には是非ともご意見・御感想をお聞かせ下さい。

　また第３者への配付は、説明書を付けて頂ければ自由にしていただいて結構です。

とにかく【２】を読めば（おそらく）使えます。説明の最後に不具合・注意点があります。
こだわって合成したい方、興味がある方は【３】もお付き合い下さい。
スピンパノラマのユーザーの方は【４】でイメージがつかめると思います。
履歴は【５】で、開発環境などは【６】の通りです。

【２】操作方法

このページの先頭へ

基本
　ウィンドウ内に２枚の画像を表示します。右側が基準側画像、左側が合わせ側画像で、それぞれの画像に四角で囲んだ「１」「２」のマーク：アンカーポイントがあります。この２点を一致させるように、合成します。
変形合成の場合：
　両方の画像を同じ程度に変形させて合成します。両方の画像の上下を水平に保ち、基準側の右側と合わせ側の左側を垂直に保った形で合成します。
　このため、基準側には合成後に右にくる画像を選択してください。（逆でも合成できますが、合成後に内側に来る辺の垂直を保つ＝両側を斜めにしてしまいます。）残念ながら上下に合成されるものは現在対応していません。事前に90度回転させた画像を用意して、左右で合わせてください。
回転合成の場合：
　回転合成では合わせ側画像を拡大縮小・回転して合成します。
　変形合成より自由なパターンで合成できます。基準側が右に表示されていますが、実際の合成の位置関係とは関係ありません。基準側に合成後に左にくる画像が合っても構いませんし、また上下に合成されるものでも構いません。さらに、どちらかの画像が寝ころんでいたり、でんぐり返っていたりしても構いませんし、大きさが違っていても構いません。
元画像の読み込み
「開く」ボタンで画像を読み込みます。読み込んだ画像は主画面に表示されます。基準側、合わせ側それぞれ読み込んで下さい。
読み込める画像は PICT 形式だけです。PICT 形式であれば JPEG 圧縮してあっても読み込めます。また普通の JPEG ファイルなども QuickTime が変換してくれるので読み込めますが、PictStitcher には変換後の画像のファイル名が引き渡されるのでになってしまうので、後で述べる設定ファイルが使えなくなります。
画面の拡大縮小
「＋」「－」ボタンで画像を拡大、縮小できます。主画面だけでなく拡大画面もあわせて拡大・縮小します。「＋」ボタンと「一」ボタンの間にある数字は元画像に対する倍率を示しています。「２：１」とあれば２倍で、「１：２」とあれば２分の１で表示しています。
拡大画面のコントラスト強調
　コントラストのない画像だと拡大時にどこにアンカーを設定すればいいか分からないことがあります。そんなときお使い下さい。ただし、反応が遅くなりますので、通常はOFFで使うのがいいでしょう。
　合成自体には関係ありません。そのため、「コントラスト強調」チェックボックスの状態は設定ファイルに記録されません。また、起動時のデフォルトもOFFです。
アンカーポイントの移動
アンカーポイントはマウスで移動（ドラッグ）できます。
拡大画面
アンカーポイントの近くを主画面の３倍に拡大して拡大画面に表示します。
拡大画面の間の数字はどちらのアンカーポイントの周りを拡大表示しているかを示しています。
これはボタンになっていて、押すともう一方のアンカーポイントの周りの拡大画面を表示します。同時に主画面にそのアンカーポイントを表示します。主画面でアンカーポイントを見失ったときなど便利です。
基準側、合わせ側の入れ替え
「<->」ボタンで基準側と合わせ側の画像を入れ換えられます。どちらを基準とするかは画像を読み込んだ後で変更できます。
合成方法
　合成方法には「変形合成」と「回転合成」の２種類があります。変形合成は両方の画像の上下を水平に保ち、基準側の右側と合わせ側の左側を垂直に保った形で合成します。回転合成は合わせ側画像を拡大縮小・回転して合成します。Ver0.25以前は回転合成のみでした。Ver0.27は変形合成のみでした。Ver0.29から洗濯できるようになりました。
画像の合成
「合成」ボタンを押すと画像を合成します。プレビュー画面が出ますので、右下の「画像を保存」ボタンを押してください。ファイルに保存します。「画像を破棄」ボタンを押すとファイルに保存せず、元の画面に戻ります。なお合成中のキャンセルできません。
ブレンド幅
画面左下の入力欄で合成時のブレンド幅が指定できます。最低ブレンド幅は１です。１未満を設定すると合成ボタンを押したところでビープが鳴り、強制的に１に変更します。これ以上ブレンドしようがない設定にすると、合成後ビープが鳴り、強制的に最大の値に変更します。最大の値はアンカーポイントの設定により変わります。
ここでの設定は、相手の画像にどれだけ食い込んでブレンドするかという値です。つまり基準側、合わせ側それぞれが相手に食い込むので、合成画像でブレンドしている所の幅は設定値の倍になります。
輝度ブレンド
早い話が色合わせです。チェックすると色合わせを行います。合成部分で違うものが写っている場合、うまく色合わせできないことがあります。その場合は、チェックを外し、色合わせなしでやってみてください。
純白除外
　またまた妙なネーミングですが、PictStitcher で画像を合成し、再度それを合成するときに使います。これを ON にすると“真っ白の部分には画像がない”と判断して、その部分を除外して合成します。言葉で表すとややこしいので百聞は一見に如かず、ON/OFF でお試しください。
設定の保存
「保存」ボタンを押すと、元画像のファイル名、アンカーポイントの位置、ブレンド幅などの設定を保存できます。メニューの「保存」も同じです。メニューの「別名で保存」を選ぶとファイル名が指定できます。
設定ファイルの読み込み
「保存」した設定ファイルはメニューの「開く」で読み込みます。あるいはファインダー上で設定ファイルをダブルクリックして下さい。
余談：「開く」ボタンで画像を読み込むと QuickTime が PICT 形式に変換してくれるなら、一度 PICT 形式で「開く」で読み込んで、設定ファイルを保存したら、同じファイル名で JPEG 形式などにしてしまえ、と思った人いますか？私も大変期待しました。でもやってみたらダメでした。何で QuickTime が変換してくれるのかを考えたら当たり前だったんですが．．．。

※現在気づいている不具合・注意点

合成後の横幅が4091ピクセル以上の画像にも対応しました。ただし、ソフトによっては（たとえばColor It! 3.6J）この画像を開けないものがあります。また、合成前の画像の横幅が大きいと合成できない場合があります。
変形合成の場合、元の画像で直線のものが合成後に曲線になる。元の画像で水平・垂直の線は直線のままですが、斜めの線は下記のように曲線になってしまいます。これは作ったあとしばらく気づきませんでした。PhotoShopで同じように変形させると直線のままになっています。よく見てみると左右にだけ変形させても上下にも変形させてつじつまを合わせています。はぁ～、なるほど。計算が面倒なのと、そうしたほうがいいのかよく分からないし、人工的に作ったテストパターンはともかく、実際の写真を合成した場合、“僕は”いまのところ気にならないので、問題になる画像にいきあたるまでほっておく予定です。

元画像 PictStitcherでの変形 PhotoShopでの変形

※注意：PictStitcherのロジックを使って別プログラムを作ってこの画像を用意しました。
68K版ではVer0.25に比べ、速度がかなり遅くなっています。

【３】仕組み

このページの先頭へ

１．知ってて欲しいな：理屈編

合成の基本的な考え方
　アンカーポイントが一致するように、合わせ側の画像を回転＋拡大縮小し、基準側の画像と合成します。回転のときに画像のシャープさが甘くなります。これはギザギザ感を抑える（エリアシング防止）ために、隣の画素との加重平均をとっているからです。拡大縮小でも同じ事が起きます。そのため、一方を回転させ他方を拡大縮小すると両方ともシャープさが甘くなるので、一方（合わせ側）のみを回転＋拡大縮小しています。PictStitcher で３枚以上の合成をする場合、一旦２枚づつを合成し、その後で合成画像と３枚目の画像を合成する事になります。その時に、１回目の合成画像を合わせ側にすると、どんどんシャープさがなくなるので、基準側になるように合成順序を工夫するのがいいでしょう。
　また画像を回転したときに画像の外枠もバックの色（白）と加重平均を取っています。これをしないと外枠にギザギザ感が出る為です。このため、ホームページなどに載せるなどで、合成画像の白の部分を透明化するなどししたとき、合わせ側の外枠が白くなってしまいます。
ブレンド
　ブレンド幅０の場合、アンカーポイントを結んだ線上(縫い目)で基準側、合わせ側どちらの画像を合成後の画像とするか分かれます。縫い目からブレンド幅分相手に食い込んだところまでの範囲で基準側と合わせ側の画像の加重平均をとります。つまりブレンド幅の２倍の範囲でブレンドします。縫い目以外にも画像が切り替わる部分があります。この部分では一方しか相手側に食い込めません。計算を簡単にする為、この部分の食い込み幅はブレンド幅の２倍としています。
　基準側、合わせ側の外枠が重なる部分のブレンドのマスクパターンは実はあまり満足行く状態になっていません。しかし、いい計算方法を思い付かないので妥協しています。
輝度ブレンド
　“輝度ブレンド”とは早い話が色合わせです。何でこんな妙な命名をしたか、それはやっていることに由来します。画像はＲＧＢの色の三原色から成り立っているわけですが、それぞれの色の輝度をまったく別々に（独立に）見て、２枚の画像の輝度を比較し、輝度を合わせています。たとえば、黄色はＲとＧで成り立っていて、ＲはＲ、ＧはＧで別々に計算しています。黄色を黄色（ＲとＧの組み合わせ）として計算していません。今のところ私が試してみた画像ではこれでもうまくいっています。でも、うまくいかないケースがあるのではないか？と不安感があり、“色を合わせてるんじゃなくて、各色の輝度を合わせてるんだよ”と腰の引けた命名になったわけです。
　ところで、２枚の画像の重複部分というのは同じものが写っていて、どちらの画像でも、明るいものは明るく、暗いものは暗く写っているとして、輝度の相関をとり、合わせています。そのため違うものが写っているとうまく色を合わせられないことがあります。そのため合成後の画像を元画像にして、再度別の画像と合成する場合、白の部分が重複部分に含まれるとうまく合わせられません。また、要注意なのは空が写っている場合です。雲が動いて一方は白（雲）が多く写っており、他方は少し時間が経っていたため雲が動き青（青空）が多く写っていたりすると、白と青を合わせようとしてしまいます。（あ、いや、白を白、青を青と見て計算してませんが...）また、昼間の画像と夜の画像を合わせると（え？そんなことしないって？）、夜の画像には明かりが灯っており、昼の画像で相対的に暗かった部分が逆に明るくなっていたりするので、これはうまくありません。（やってみてませんが）
純白除外
　合成画像を新たな元画像にした場合、白の部分（写真がなかった部分）が重複部分にかかると輝度（色）がうまく合いません。真っ白な部分は輝度ブレンドの元データに使わない、というものです。ただ、最初の合成での合わせ側の周囲はアンチエリアシングのため、白とブレンドしているので、真っ白ではありません。この部分が悪さしないかが心配でが、２～３例やってみた結果では気になる程ではありません。また最初の合成で基準側を次の合成で合わす場合はこういう問題はないので、通常と同じレベルが保てます。

２．手ぐすね引いてる：準備編

ウィンドウの拡大
現状 PictStitcher のウィンドウの大きさは固定です。ウィンドウの大きさを変えられるようにして、主画面を大きくできるようにするというものです。
３枚以上の画像の合成（その１）
まず左、中、右のような設定に対して複数枚の対応を考えています。左上、右上、右下、左下のようなものはダメです。どういうことかというと、このケースでは、左上vs右上、右上vs右下、右下vs左下の設定から計算されてくる左上vs左下の位置関係と、アンカーポイントで設定した左上vs左下が一致しないのが普通で、それに対応するためは画像の部分的な拡大縮小が必要になり、計算が複雑になります。
主画面の９０度回転
別にこの機能がなくても合成自体には支障はないのですが、一方が９０度回転していると、アンカーポイントを設定するのにピンと来ません。使い勝手を良くするために回転させるというものです。課題は如何に速く回転できるかです。合成と同じくらいかかるようでは遅すぎます。

３．やってみようか：構想編

回転画像のシャープ化
回転させるとどうしてもシャープさが甘くなります。原理的には色情報の２次微分を加算すればシャープになるはずですが、何か係数がいるのか、いるならデフォルトはどのくらいがいいのか、２次元の２次微分ってどの値なのか、など十分理解していません。案ずるより産むが安しなのかも知れませんが、なんともわかりません。
ＪＰＥＧ対応
ＪＰＥＧファイルを読み込むサンプルプログラムは手に入れたのですが、まだ良く見てません。さて、組み込めるでしょうか？
３枚以上の画像の合成（その２）
先にも書きましたが、左上、右上、右下、左下のような設定への対応です。部分的な拡大縮小が必要となりますが、一部だけを拡大するとゆがんで見えるので、全体ですこしづつ変化させる必要があります。その割合をどうやって計算するかがポイントです。
パノラマ画像対応（QuickTime-VRの元画像としての対応）
左、中、右とつながり、さらに右から左につながっているとして合成するものですが、前の項目ができればできるような気がします。

４．できるんかいな：目処なし編

プレビューの追加（その２）
多少画質はいいからササッと合成してみせるという機能です。アイデアとしては大したことないのですが、高速演算のアルゴリズムがわかりません。そうは言いながら、最初に作ったときの６倍の速さにはなったので、もう少しのような気もしますが、逆にこれ以上高速化できるのか？と頭を悩ませています。
メカトル図法化
高いところから撮った写真を回転、拡大縮小だけで合成すると、扇型に合成されます。理屈の上からもそうなります。多少こうなるくらいならいいでしょうが、何枚も合成して行くとドーナツのようになってきて不自然です。またこのままではパノラマ画像にできません。そのため世界地図のメカトロ図法のように長方形になるように変形するというアイデアです。案外簡単なような気もしますが、勘ですが単に両端の画像の縁を垂直にするというのではだめなケースがあるような気がします。何を基準に補正するかが問題です。
縫い目の自動合わせ
アンカーポイントの位置が一致するように単純に回転、拡大縮小していますが、２つのアンカーポイントの真ん中辺りでは微妙にずれていることがあります。２つのアンカーポイントを結ぶ線上で２つの画像の相関をとり、うまく合うような位置変換を自動で見つけだし、それに基づいて合わせるアイデアです。
　でも、相関をとるというのはどういう計算式なのでしょう？膨大な計算をするのでは非実用的だし。
樽型/糸巻き収差補正
マクロレンズを使うと樽型収差（あれ？この字だっけ？）がでます。魚眼レンズを使うと丸っこく写るのが樽型収差です。（その逆が糸巻き収差です）これを認識し補正しないと縫い目が目立ってしまう場合があります。でもどうやって樽型の度合を判定させればいいでしょうか？
基準線指定
メカトル図法化や、樽型収差補正のために、アンカーポイント以外に基準側、合わせ側に写っている同じ線を指定し、それをヒントに補正量を計算するというアイデアです。同じ線ではなく、水平線や、垂直線を指定すると言うのも考えられます。しかし、設定するものが多くなると操作が煩雑になるし、何本指定すれば効果があるのか分かりません。また操作としてどうやって線を指定するかというのも問題です。
３次元推測
３６０度ぐるっと撮りたいがどうしても撮影位置を変えなくてはいけない場合が多々あります。そのとき、隣り合う画像で映っているものの見え方が変わってしまいます。特に近いところにあるものはその影響が大です。これを認識し補正する、というより目立たないようにうまくごまかして合成すると言うアイデアです。そのためにはどの辺にあるものをどういう方向から見ているのか認識する必要があるのではないかと思いますが、アンカーポイントの設定と画像の相関関係から求まるとも思いがたいし、補助の指定をするとしても何をどれだけ指定すればいいか分からないし、大体もとからこんなモンできるんかいな？とも思っています。まあ、言うのは勝手ですよね。

【４】スピンパノラマとの比較

このページの先頭へ

１．スピンパノラマの不満点、PictStitcher の勝ち（自画自賛）

左右の合成に限られる
上下の画像だったら、９０度回転させて左右として扱う手がありますが、斜めの方向に合成したいときは前処理をしないと合成後の画像がゆがみます。
合成位置の指定が難しい
PictStitcher では２つのアンカーポイントで合成位置を指定しています。スピンパノラマも２つのコントロールポイントで合成位置をコントロールします。一見同じように聞こえますが、実は大きく違います。
合成結果から推測するとスピンパノラマの縫い目は２つのコントロールポイントを結んだ線ではなく、２つの画像の中間の線のようです。コントロールポイントではきっちり画像が合っていたとしても、縫い目ではずれているというのが多々あり、合わせるのがなかなか難しいのです。（でも名は体を表してるなって思いません？）
バックが黒くなる
好みの問題かも知れませんが、画像がない部分は黒になります。どうも私は慣れません。PictStitcher では白にしています。
拡大画面の倍率が一定
PictStitcher で主画面に相当する、プレビュー画面の拡大縮小は可能ですが、コントロールポイント付近を表示している拡大画面はプレビュー画面に対して拡大しているのではなく、元画像に対して一定の倍率で拡大していて、もっと拡大したくても拡大できません。
画像が切り取られる
折角の画像なので無駄なく使いたいですよね。しかし縫い目より相手側の部分だが相手側には画像がない部分は合成画像に表示されず黒くなってしまいます。
縦幅がだいたい同じ大きさの画像でないとエラーになる
一方の写真は普通に、他方はカメラを９０度傾けて撮影すると、当然縦幅が大きく違います。プレビューはできるのですが、画像を保存するときにエラーになります。
コントロールポイントをつかむと微妙に動く
ほとんど重箱の隅というか、挙げ足取りですが、コントロールポイントをドラッグしようとマウスを押したとき、マウスポインタの先端にコントロールポイントの中心が来てしまいます。そのため少しだけ動かそうとしたのにコントロールポイントの端をつかもうとしてしまったためにポイントがずれてしまいます。

２．どちらがいいかは場合によるもの

画像が変形する

３．スピンパノラマの良い点

３枚以上の画像を合成できる
PictStitcher は２枚の画像の合成しか出来ません。
パノラマ画像が作れる
さすがスピンパノラマと言うだけのことはあります。パノラマに適したように合成してくれます。つまり、合成後の画像が長方形になるように合成してくれています。
ＪＰＥＧが扱える
PictStitcher は PICT ファイルしか扱えません。PICT 形式なら JPEG 圧縮してあっても読み込めますが、保存は無圧縮の PICT 形式のみです。

【５】履歴

このページの先頭へ

合成後の横幅が4091ピクセル以上の画像にも対応しました。

◎Ver0.31からの変更点（2000/09/16更新）

これまで“みそもくそも”同じエラーメッセージでしたが、もう少しまともなエラーメッセージを出すようにしました。

◎Ver0.30からの変更点（2000/09/03更新）

Ver0.30でもMacOS8.1で使用するとハングしていた不具合を修正しました。（今度もつもりです）

◎Ver0.29からの変更点（2000/07/02更新）

Ver0.29をMacOS8.1で使用するとハングする不具合を修正しました。（つもりです）

◎Ver0.27からの変更点（2000/05/07更新）

Ver0.25までの回転式とVer0.26Beta～0.27の変形式を選択できるようにしました。
合成の中断ができるようにしました。
PPC版、68K版の両方を用意しました。（何も変えてないのにエラーが出なくなった。なぜ？）

◎Ver0.25からの変更点（2000/04/30更新）

Ver0.25まで画像を回転＆拡大縮小して合成していたのを、Ver0.26Betaでトライした変形方式（回転させずに台形に変形させる方式）にしました。
PPC版にしました。（68K版も作ろうと思っていますが、なぜかコンパイルエラーが出てしまうのでもしかしたらあきらめるかも...）

◎Ver0.24からの変更点（99/05/10更新）

合成結果のプレビュー画面を用意しました。

◎Ver0.23からの変更点（99/02/28更新）

純白除外が完全にできず、ブレンドおよび輝度ブレンドに影響する不具合を修正しました。
純白除外の状態を設定ファイルに覚えるようにしました。

◎Ver0.19からの変更点（99/01/16更新）

輝度ブレンド(色合わせ)に対応しました。
合成速度の３倍以上の高速化を実現しました。これまで640*480の画像の合成で27秒かかっていたのが、輝度ブレンドを含んでも13秒でできるようになりました。以前と同じレベルの輝度ブレンドOFFでは、８秒で合成完了です。
拡大画面のコントラスト強調を高速化し、よりスムーズな動きを実現しました。

◎Ver0.18からの変更点（98/12/26更新）

Ver0.18を半日掲載しましたが、画像を読み込まずにコントラスト強調すると最悪ハングする不具合を修正しました。

◎Ver0.17からの変更点（98/12/26更新）

拡大画面のコントラストを強調できるようにしました。合成には関係ありません。反応が遅くなりますので、通常はOFFで使うのがいいでしょう。
なんらかのエラーでファイルが読み込めなかったときに、メッセージを出しました。ただし、なんでもかんでもこのメッセージです。（苦笑）
アンカーポイントをダブルクリックしたときにアンカーポイントがあらぬところに行ってしまうエラーを修正しました。
設定ファイルを開いたときに拡大率の表示が更新されない不具合を修正しました。
ウィンドウの文字の部分が白抜けしてしまう不具合を修正しました。

◎Ver0.16b2からの変更点

ブレンド幅を指定できるようにしました。
メモリ不足時にエラーメッセージが出るようにしました。
「別名で保存」ではなく「保存」時に違うフォルダに保存してしまうことがある不具合を修正しました。
合成後の画像のデフォルト保存先を設定ファイルのフォルダにしました。

◎Ver0.15からの変更点

MacOS8.1でハングする不具合を修正しました。失礼しました。

◎Ver0.12からの変更点

ブレンドに対応しました。（ブレンド幅は20ドットで固定です）
アンカーポイントの反応速度を早くしました。
メモリ使用量を少なくしました。
回転角が０度、９０度、１８０度、２７０度の時の不具合を直しました。

◎Ver0.06からの変更点

合成位置が指定したところと少しずれていたのを直しました。
合成時に画像が荒れるのを抑えました。
設定ファイルのダブルクリックで開くようにしました。
“切り捨て”られる部分をなくしました。
アイコンをちゃんと（？）作りました。

【６】開発/確認環境　　　　　　　　　　　　　　　

このページの先頭へ

ソフト名	PictStitcher（メールウェア）
初期バージョン	Ver0.06
公表開始日	1998/11/29
登録場所	http://www.asahi-net.or.jp/‾tk8k-yg/program/
使用コンパイラ	CodeWarrior IDE 3.2（Pascal使用）
ウィルス対策	Disinfectant 3.7.1
動作確認	B/W G3 350MHz/DVD192M RAM / MacOS8.6

制作/著作	八木浩一　（著作権は留保します）
e-mail	yagi��asahi-net.email.ne.jp

元画像	PictStitcherでの変形	PhotoShopでの変形

パノラマ画像作成ソフト“PictStitcher”説明書 （というより今後の企画書か？）

　パノラマ画像作成ソフト“PictStitcher”説明書
　　　（というより今後の企画書か？）