NVIDIA製DRIVE PX2/AGX向けカメラエミュレーションシステムとは？
NVIDIA社のDRIVE PX2/AGXはカメラの入力仕様がGMSL/GMSL2となっています。そのためカメラをつなげてリアルタイムに映像を入力してデバッグする手法でしか映像を検証する方法がありません。 弊社のSVOとGMSLシリアライザボードを使うことで、 PCからの映像を出力しやすいHDMIからGMSLに変換し、DRIVE PX2/AGXにカメラの代わりに入力することが可能です。
株式会社ネットビジョン カメラエミュレーションシステム (NVIDIA DRIVE PX2/AGX対応)
カメラエミュレーションシステムの特長
■ 自動運転のVirtualなシミュレーション環境を構築
シミュレータで生成したリアルタイムレンダリングの映像をDRIVE PX2/AGXに直接入力することによる仮想環境を利用することで、実車での走行を減らして経済的、かつ効率的に自律走行用のハードウェアやソフトウェアのテストと検証を安全かつ正確に行えるようになります。
この図がDRIVE PX2/AGX用カメラエミュレーションシステムの構成図となります。
４ｋサイズのモニタ画面上に各カメラの有効画素に該当する映像ソースを配置し、グラフィックボードの切り出し機能を使ってHDMI経由で各映像をPCから出力します。
その映像にEmbedded Line を含む解像度とカメラのPCLKと同じタイミングに変換してGMSL形式でDRIVE PX2/AGXに入力します。
これにより最大カメラ8台に相当するカメラエミュレーションが可能となります。
■ SVO-03+GMO-96705
この図はSVO-03とGMO-96705-Fの動作説明となります。
PCからの映像をNVIDIA製のグラフィックボードからHDMI経由で取り込みますが、この際にまずRGB24の映像信号をカメラのBayerフォーマットに合わせてRAW12bit形式に変換します。
次にNVIDIA社製のグラフィックボード間で同期をとるSYNC機能を使い、各ボードからのHDMI 入力が同期化されており、各ボードのFSYNCが同一タイミングであるときにDRIVE PX2/AGX に出力される映像が同期化されるように再同期の処理を行います。
またカメラ映像の代わりに用意する映像のアクティブデータの上下のEmbedded Lineの部分にDRIVE PX2/AGX側のドライバが適切に動作するようデータを埋め込みます。
SVO-03に取り付けたGMO-96705-FではMAXIM社のシリアライザICのMAX96705をつかってGMSLの形式に変換します。そしてDRIVE PX2/AGX側のデシリライザICから送られてくるバックチャネル通信に対応するためにPIC マイコンを搭載し、I2Cスレーブ機能を実装することで、 DRIVE PX2/AGX側からカメラへのコマンドに対して応答する機能を実装しています。
■ 自動運転のVirtualなシミュレーション環境を構築
シミュレータで生成したリアルタイムレンダリングの映像をDRIVE PX2/AGXに直接入力することによる仮想環境を利用することで、実車での走行を減らして経済的、かつ効率的に自律走行用のハードウェアやソフトウェアのテストと検証を安全かつ正確に行えるようになります。
この図がDRIVE PX2/AGX用カメラエミュレーションシステムの構成図となります。
４ｋサイズのモニタ画面上に各カメラの有効画素に該当する映像ソースを配置し、グラフィックボードの切り出し機能を使ってHDMI経由で各映像をPCから出力します。
その映像にEmbedded Line を含む解像度とカメラのPCLKと同じタイミングに変換してGMSL形式でDRIVE PX2/AGXに入力します。
これにより最大カメラ8台に相当するカメラエミュレーションが可能となります。
■ SVO-03+GMO-96705
この図はSVO-03とGMO-96705-Fの動作説明となります。
PCからの映像をNVIDIA製のグラフィックボードからHDMI経由で取り込みますが、この際にまずRGB24の映像信号をカメラのBayerフォーマットに合わせてRAW12bit形式に変換します。
次にNVIDIA社製のグラフィックボード間で同期をとるSYNC機能を使い、各ボードからのHDMI 入力が同期化されており、各ボードのFSYNCが同一タイミングであるときにDRIVE PX2/AGX に出力される映像が同期化されるように再同期の処理を行います。
またカメラ映像の代わりに用意する映像のアクティブデータの上下のEmbedded Lineの部分にDRIVE PX2/AGX側のドライバが適切に動作するようデータを埋め込みます。
SVO-03に取り付けたGMO-96705-FではMAXIM社のシリアライザICのMAX96705をつかってGMSLの形式に変換します。そしてDRIVE PX2/AGX側のデシリライザICから送られてくるバックチャネル通信に対応するためにPIC マイコンを搭載し、I2Cスレーブ機能を実装することで、 DRIVE PX2/AGX側からカメラへのコマンドに対して応答する機能を実装しています。
カメラエミュレーションシステムの資料ダウンロード
Contact カメラエミュレーションシステムに関するお問い合わせ
出展企業情報
- 企業名
-
株式会社ネットビジョン
- 企業PR
- 商品開発と比較し、投資額は少ないが難易度は高い商品開発環境に着目し、安価で高機能な商品開発環境を提供しています。この商品開発環境製品を開発する為、自社でボードからFPGA、ソフト、ファームウェアと一貫して製品開発＆生産できる体制を整えています。
