場面の画像 +「引き出しを開ける」
01 · 探索順を決める机 → 引き出し → 取っ手場面の画像と「引き出しを開ける」を視覚言語モデルに渡すと、机 → 引き出し → 黒い取っ手という短い列が得られる。この列は順序と包含関係を定める。引き出しは机の中で、取っ手は引き出しの中で探す。最初の探索には、元画像と「机」という目標語を渡す。
02 · 候補枠を出す現在の画像 → 候補枠各段階で Faster R-CNN が現在の画像を読み、候補ボックスを出す。最後の段階では、入力は引き出しの切り抜きだ。各ボックスが調べる領域を指定し、次の段階で「黒い取っ手」との一致を確かめる。候補が位置を与え、文章に基づく評価が操作の意図に合う位置を選ぶ。
03 · 一つの枠を選ぶ枠 + 目標語 → 採用した枠評価するボックス内の画素を切り抜き、Qwen2-VL に「黒い取っ手」との一致度を採点させる。評価回数の上限はあらかじめ決める。信頼上限（UCB）は平均点と評価済みの回数を併せて考え、次に調べる候補を選ぶ。高得点の候補を重視しつつ、評価の少ない候補も探索する。予算を使い終えたら平均点順に、明るさ・回転・倍率を少し変えて確認する。平均点が十分高く、点数の変動が小さければ採用する。不通過なら同じ段階の別候補へ進み、候補がない場合や再試行で採用できない場合は、そこで検出列を終える。
04 · 切り抜いて進む採用枠 → 切り抜き + ずれ採用した机の領域を切り抜いて引き出しを探し、引き出しを切り抜いて取っ手を探す。新しい画像ごとに 02 と 03 を繰り返す。図では机の原点を元画像内の (120, 140)、引き出しの原点を机内の (90, 80) とする。したがって、引き出し画像の原点は元画像内の (210, 220) になる。このずれを記録すれば、局所的に細かく探しても元の位置を失わない。
05 · 元画像に戻す最後の部位を元画像の座標へ選んだ取っ手のボックスが、引き出し画像内で (200, 90) から (320, 120) までだとする。両方の角に引き出しの原点 (210, 220) を足すと、元画像内の (410, 310)–(530, 340) が得られる。幅と高さは 120 × 30 画素のままだ。部位の名前と元画像上の位置がそろい、後段の処理に渡せる。
最後の目標 → 05
次の目標：切り抜きを 02 へ
検出列を終了
採用できる候補なし
多くの画像で繰り返した後の用途
多くの位置推定結果を集め、教師データとして使う。
部位ボックスのデータセット画像 · 部位名 · ボックス
検出器を学習画像から部位の位置を学ぶ
多くの画像に繰り返す