DyRAD：物体の運動とセンサー応答を分け、動的な運転シーンのレーダー観測を合成

走行中に集めたセンサーデータは、そのとき車が通った位置からの観測だ。自動運転システムの判断に応じて走行が変わる閉ループ評価を考えると、記録とは違う位置からの観測も必要になる。新視点合成とは、記録からシーンを再構成し、別のセンサー位置や向きで得られる観測を作ることを指す。DyRADが対象にするのは、車両などが動くシーンのレーダー観測である。

例えば、前方の車両が走る場面で、自車のレーダーを記録位置から横へ移した観測を考える。前方車両の距離と方位だけでなく、レーダーから見た接近・遠ざかりの速度も変わり得る。背景と動く車両を一緒に扱いながら、この変化を合成するのが課題だ。この例は観測の仕組みを説明するもので、合成によって運転判断が改善したという実験結果を意味しない。

ここでいうドップラーは、レーダーと反射物体の相対速度のうち、両者を結ぶ視線方向の成分に対応する。車両の速さそのものではない。同じ運動でも、センサーの位置や向きが変われば視線方向への成分が変わるため、新視点合成では運動を表す必要がある。

観測は、距離・方位・ドップラーの三つの軸に返り信号の強さを並べたRADテンソルで表す。ドップラーを含まない距離・方位の観測はRAと呼ぶ。既存の動的シーン向け手法はRAを再構成する一方、ドップラーを描画する既存手法は静的環境を仮定していた。DyRADは、この間にある動的物体の速度観測まで扱おうとする。

もう一つの問題は、一つの反射が観測の一点だけに現れるとは限らないことだ。レーダーの信号処理によって、反射は距離や方位などの複数の区画に広がる。従来の表現がその広がりをシーン形状として取り込むと、視点を動かしたときに広がり方を正しく描けなくなる。

DyRADは、信号を返す場所を空間的な広がりのない「点反射体」で表す。そして、点の反射が観測上でどう広がるかを示す点広がり関数、PSFを別に置く。先ほどの前方車両なら、車両とともに動く反射点と、センサーが作る観測上の広がりを分ける。この分離が、物体運動の表現と並ぶ中心的な工夫だ。

入力は時系列のRAD観測、センサーの位置と向き、一部フレームの物体境界ボックス、利用可能なレーダー処理情報だ。境界ボックスは物体の範囲を示す注釈で、反射点をどの物体に属させるかに使う。対象の観測には高さを分解する情報がないため、形状と運動は地面平面上で扱う。

背景の反射点は静止させ、動的物体の反射点は物体内の位置と物体軌跡を組み合わせて動かす。軌跡点の間は線形補間し、進行方向から物体の向きを推定する。点の速度には並進だけでなく、向きの変化による成分も含める。各点は基底となる反射強度と、見る方向で変わる反射率も持つ。これにより、前方車両を横から見たときの位置、運動、信号強度の変化を表す。

描画時には、反射点とセンサーの速度の差を視線方向へ投影し、ドップラーの座標を求める。センサーが曖昧さなく扱える速度区間を超える値は、周期的に折り返して表す。各点の信号を距離・方位・ドップラーのPSFで広げ、反射パワーを加算して観測を作る。

PSFはシーンの学習前に固定する。RADIalでは信号処理系列から応答を定めるが、Boreasでは処理系列が不明なため、仕様と検証データによる近似を使う。「固定」は、すべてのセンサーで応答が厳密に分かることを意味しない。

反射点と軌跡は、合成RADと実測RADの再構成誤差を使って一緒に最適化する。したがってドップラーは出力だけでなく、軌跡を制約する教師信号にもなる。さらに、隣接観測から平滑化して作った参照と、中間時刻に予測したRAを近づける補間整合性損失を加える。この補助的な誤差はRAに適用し、ドップラーには適用しない。

著者はRADIalの10系列、各60フレームと、ドップラーのないBoreasの3系列、各50フレームを評価した。記録軌跡上では、5フレームごとに観測と物体注釈を学習から外し、その保留観測を再構成する。比較対象はRadarFields、RadarSplat、物体分離と運動モデルを外したDyRAD-staticだ。既存のRA手法には、静的シーンと自車運動を仮定したドップラーを付けてRADを比較する。動的手法RF4Dはコードの確認状況を理由に含まれない。

実データの軌跡外評価では、横2 mの位置へ観測を合成し、その合成観測で別モデルを学習して、元の位置へ戻した結果を比べる。これは往復後に構造が保たれるかを見る試験で、横に移した位置の実測正解との比較ではない。元の位置へ戻した評価も訓練時刻で行い、保留した中間時刻の評価とは条件が違う。

直接の軌跡外比較は合成5シーンで行う。横方向の移動と向きの変更による計25組を、再学習せず評価する。ただし、ここでは理想化されたセンサー応答を使う。

観測の比較には、誤差の小ささを測るPSNR、構造の似方を測るSSIM、信号分布の対応を測るPearson相関などを使い、全体と物体領域を分けて見る。検出評価では、参照と合成の両方に同じ設定のRD-CFARという検出処理を適用する。foreground hit rateは、参照検出のある注釈ボックスに合成検出も入った割合だ。joint F1は、位置・ドップラー・強度まで一致する検出の適合率と再現率をまとめる。

この区別は結果の読み方を左右する。hit rateが高くても、速度や強度の一致、余分な検出の少なさまでは保証しない。検出できた物体だけで距離を測る指標は、見失った物体を評価から落とす選択偏りがあるため、比較から除いている。

著者は構成要素を外す比較実験も行った。ドップラー教師信号、補間損失、固定PSFをそれぞれ変え、どの指標に効くかを調べる。設定転移は、同じ物理センサーの同じ生記録を粗い処理設定で学習し、モデルを固定したままPSFと観測格子を細かい設定へ替える試験だ。

著者の報告では、RADIalの軌跡上保留評価でDyRADのhit rateは90.7±8.6%、既存最良のRadarFieldsは26.9±24.5%だった。数値は10系列の平均と標本標準偏差である。RAD全体の相関は0.272±0.062、joint F1は0.179±0.041で、これらの既存最良は別手法のRadarSplatによる0.068±0.028、0.073±0.048だった。両既存手法には静的ドップラーを付けている。

ドップラーのないBoreasでも、物体領域のRA相関はDyRADが0.622、RadarSplatが0.178、DyRAD-staticが0.278となった。一方、全体相関ではDyRADの0.752とDyRAD-staticの0.749は近い。改善の位置を知るには、全体だけでなく物体領域を見る必要がある。

RADIalの横2 mへの描画と再学習を経た往復評価でも、DyRADのhit rateは91.7±10.1%だった。ただし、この高さを変位視点の直接精度として読むことはできない。

合成データの25組では、DyRADの物体領域RAD相関は0.356、hit rateは74.6%で、DyRAD-staticの0.161、22.4%を上回った。しかしjoint F1は0.227対0.223と近い。参照検出のない注釈ボックスへ予測検出が入る数も、DyRADの平均4.9に対しDyRAD-staticは0.7だった。検出を多く残すことと、検出全体を正しくすることには差がある。

空間的な検出位置のずれを測るChamfer距離も、DyRADの5.13 mとRadarSplatの5.14 mでほぼ同じだった。これらは「すべての軌跡外指標が改善した」という結論を支えない。

合成センサーモデルは、実センサーの信号分離で生じるアーティファクトを再現していない。合成評価の標準偏差はシーンと視点による変動で、学習の乱数を変えた場合の変動ではない。実環境でどの程度安定するかは、別の証拠が必要だ。

ドップラー教師信号を加えると、RADIalの軌跡上で車両のドップラーピークの平均絶対誤差は1.843から0.732区画へ減り、joint F1は0.144から0.179へ上がった。一方、hit rateは90.9%から90.7%でほぼ変わらず、RA全体相関は0.055下がった。速度構造への効果と、距離・方位だけの再構成への効果は分けて読むべきだ。

補間損失も一方向の改善ではない。軌跡上のRA相関は0.393から0.612へ上がるが、往復評価のRAD相関は0.447から0.363、joint F1は0.296から0.236へ下がる。著者は時間補間とRA忠実度を優先して残している。

固定PSFの軌跡上joint F1は0.179で、広がりを学習する代替の0.101、PSF自体を学習する代替の0.089を上回る。ただし、RAD全体のPSNRとSSIMは両代替より低い。さらに、広がりを学習する代替には表現要素数の上限があり、比較条件も考慮する必要がある。

同一センサーの粗い設定から細かい設定への転移では、単純な線形補間に対して、PSFと格子を替えた直接描画のjoint F1は0.101から0.195へ上がり、物体領域RADのPSNRも12.87から15.32 dBへ改善した。一方、RAD全体相関は0.329から0.201へ下がり、多くの相関・SSIMでは線形補間が優位だった。検出改善は分離設計を支持するが、用途ごとの指標で比較すべき結果である。

適用には物体注釈が必要で、反射点の物体割当は固定される。初期対応付けの誤りを共同最適化で修正できない。地面平面上の実装であり、複数経路を通る反射であるマルチパスや、スペックルノイズのモデル化も残る。比較の中心は静的な既存手法で、DyRAD-staticとの差には物体分離と運動モデルの両方が含まれる。

今後確かめたいのは、変位視点の実測正解に対する精度、異なる物理センサーへの転移、実際の閉ループ運転評価への効果だ。今回の結果は、そのいずれも実証していない。