Xiaomi（シャオミ） SU7　車載カメラによる周辺認識およびモニター画面への表示

今回は、車載カメラによる周辺認識およびモニター画面への表示に関してレポートします。

最新情報はメルマガで。
メルマガ　配信登録はこちらから

近日開催予定のセミナーはこちらから

車両周辺状況が動的にモニターに表示される

下の写真をご覧ください。
低速7kphで走行中のSU７のモニター画面と車両前方の状況です。
車載のモニター画面の下部（赤〇）は自車SU7です。

①右前方の日傘をさす歩行者
②その先の停車中の黒の軽自動車（こちら向き）
③左はるか前方に駐車している乗用車（あるいは軽）
④すぐ後ろの青のプリウス
⑤その後ろの乗用車
⑥その後ろに前方をこちらに向けて停車している乗用車

SU7から見た位置関係と、モニターしたオブジェクトの形状と向きが正確に表示されています。自動車はもちろんのこと、自転車やバイク、歩行者がそれぞれの位置、向きで表示されています。

また、横断歩道や縁石、白線も認識しモニター画面に表示されています。

車両は、トラックから軽自動車まで、その形状や向き、位置が再現されています。バックミラーが表現されている場合もあります。

いずれのオブジェクトも３Dで表示されており、車両の走行とともに、その向きは動的に変化します。

どの程度繊細に再現されているか？

さきほどの写真の自転車を見てください。いずれも同じ形状です。バイクも同様です。車両は一見、正確に再現しているようですが、フロントウインドウとボンネットフードの角度などは、実車と多少ずれて表示される場合もあります。
このことから、認識した画像から、ライブラリーにあるオブジェクトに照らし合わせて最も近い車両を表示しているようです。自転車やバイク、人物に関しては、それぞれ1パターンしかないものと思います。なお、走行中の自転車は、乗っている人も再現され、歩行中の歩行者の手足が動いていました。

以下の写真に道路にあるポールを再現したものをまとめました。このポールも、実際は複数の形状がありましたが、最も一般的な三角コーン形状で表現されています。

日傘をさしている人の「日傘」も再現されていません。3Dリアル計測データそのままの描画ではなく、パターン認識したオブジェクトに該当する3Dデータでのインポーズ表示と推定されます。

モニターの表示される仕組み（推定）

前述した内容の繰り返しになりますが、認識した画像に最も近いオブジェクトをライブラリーに照らし合わせて選定し、３Ｄオブジェクトとしての表示と推定されます。３Ｄオブジェクトですので、自車が移動した場合、あるいは相手が移動した場合、その位置と向きは変化します。

計測データそのものでのリアル３Ｄ表示ではないようです。リアル３Ｄ表示ならば、日傘や、自転車の形状違いも表示されますので。
交通標識は表示されませんでした。以下の写真は前方左に「止まれ」の標識がありますがモニター画面には表示されていません。速度制限標識も表示されなかったと記憶しています。日本の標識に相当するライブラリーがないためと推察しました。

車載のモニターセンサー群

今回試乗したＳＵ７はベースグレードです。以下の表はXiaomiのサイトからの引用です。（日本語を加筆）

LiDARは搭載されておらず、車載カメラ11個です。この車載カメラによる画像認識です。比較的近傍、20m程度のみが表示されていたのは、LiDARを搭載していないためかもしれません。
自動運転のソフトも異なり、何より、NVIDIA DRIVE Orinの搭載数が1個、84TOPSということで、本格的な自動運転は期待できない仕様です。

確かに、車載カメラは11個ありました。

カメラ等に関しては以下の動画も参考にしてください。

飛び出し猫ちゃん

飛び出してきた猫はモニターに映っていませんでした。緊急ブレーキも作動しませんでした。映像としての認識しているかどうかはわかりません。実際のモニター画面の状況は動画でご確認ください。

日本能率協会の分解解析セミナー・テクノフロンティアに期待

今後、この車両は性能評価後、山本先生から情報発信されるものと推察しています。山本先生のX（旧Twitter)は要チェックです。

また、分解解析され、おそらくは日本能率協会主催の分解解析セミナーで詳細、紹介されるのではと推察しています。
また、来年のテクノフロンティアでは、例年と同様な実車や分解展示があるものと思います。
まだ、正式にアナウンスはされていませんが、「分解解析セミナー」「テクノフロンティア2025」（いずれも、一般社団法人日本能率協会主催）での詳細報告に期待しています。