最近の記事
- 記事テーマ：
- ３D画像処理
はじめに
３次元（以下３D）画像ファイルは広く普及してきています。３Ｄ画像ファイルの画像とは？で、３D画像ファイルについての記事を書いておりますが、３D画像ファイルの画像は、TVモニターなどの2次元画像表示媒体を通して観察されるのが一般的です。
そういう2次元画像表示媒体に表示される３D画像は、当然ながら視点から見える画像は2次元であるので、視点を移動させないと横や後ろの画像を観察することができません。
その視点移動（以下視点制御と呼ぶ）を、マウスやタッチ操作によって３D画像に触れることで操作できれば便利です。
本ブログ記事の写真を３次元立体の立方体に貼り付けるツールや、写真を３次元立体の球体に貼り付けるツールでもそのような視点制御技術を用いています。
3D図面を設計するためのプロ用CADシステムではそういう視点制御は標準的に用いられています。
前回の３D画像ファイルのアニメーションとは？で用いたJavaScriptライブラリであるthree.jsでは、OrbitControlsという仕組みがあります。
OrbitControlsは、
・オービット（周回軌道）: 左ボタンでドラッグ
・ズーム: マウスホイール
・パン: 右ボタンでドラッグ」
引用：Three.jsにはカメラの動きを自動的に制御する OrbitControls
と説明されています。
今回は、３D画像の視点制御で回転表示を行うOrbitControls（軌道制御）を解きほぐすことによって３D画像の表示技術を学ぶことにします。
続きを読む＞＞＞
記事「３D画像モデルの回転表示とは？」を表示します
- 記事テーマ：
- ３D画像処理
はじめに
前回の３D画像ファイルのアニメーションとは？で、3Dデータフォーマットの決定版とされるglTFファイルのアニメーションデータを調べて、ボーンアニメーションの基本構造についても触れました。
ボーンアニメーションは、骨格となるボーン（Bone）を設定してそのBoneに付随する3D物体の動きを制御するアニメーションですが、Boneに付随する3D物体の動きを制御するのにForward Kinematics(順運動学)やInverse Kinematics(逆運動学)と呼ばれる手法があります。
これらの手法は複数のBoneの動きに合わせて3D物体の頂点の位置を計算して設定していきます。
そのような動き制御の計算を簡略化するために、Boneの状態を初期位置に戻す行列データが用いられています。
glTFファイルでは、ボーンアニメーションのことをスキンメッシュアニメーションと呼んでいて（前報３D画像ファイルのアニメーションとは？参照）、そのBoneの状態を初期位置に戻す行列データのことをInverseBindMatricesと呼んでいます。この行列は日本ではボーンオフセット行列と呼ばれているようです。
InverseBindMatrices（以下ボーンオフセット行列と呼ぶことにします）はどういう行列でどのような役割を果たすのでしょうか？
今回は、glTFファイルのInverseBindMatricesデータの構造を解きほぐすことによってボーンアニメーションの具体的な技術を学ぶことにします。
glTF 2.0ファイルフォーマットのInverseBindMatricesデータ
glTF 2.0ファイルフォーマットの仕様については、The glTF 2.0 Specificationに書かれています。
InverseBindMatricesデータについては、
引用：vertex skinning の覚え書き
という記事があります。
そのらのデータの意味や役割を以下に具体的に説明していきます。
続きを読む＞＞＞
記事「ボーンアニメーションのオフセット行列とは？」を表示します
- 記事テーマ：
- ３D画像処理
はじめに
２次元（以下２D）画像でも３次元（以下３D）画像でも、動画に変換された画像を鑑賞するというアニメーションとして知られる映像文化が広く普及しています。
連続する静止画を１秒間に数十コマの時間間隔で表示すれば、いわゆる映画として知られる動画になります。
昔の映画は静止画がそのまま記録されていたので膨大な情報量を持っていましたが、デジタル社会のニーズに応えるため、データ量の大幅な圧縮が必要になってこれまで多くのデータ削減技術が開発され、今も開発が続けられています。
２Dや３D画像のアニメーションも、静止した２Dや３D画像のデータをできるだけ増大させないように、数々の工夫を施して動画に変換している技術であると言えるでしょう。
アニメーションさせるデータを画像ファイルに組み込んで、所定のアニメーションを動かすという仕組みも開発されてきており、２Ｄ画像ファイルに対してはアニメーションGIFファイルやAPNGファイルなどがあります。
３Ｄ画像ファイルに対しても、アニメーションデータが組み込まれたファイルがあります。
以前の３Ｄ画像ファイルの画像とは？で、3Dデータフォーマットの決定版とされるglTFファイルフォーマットを調べましたが、そのglTFファイルにもアニメーションデータが格納されるようになっています。
そのglTFファイルについては、
引用：VRM
という記事があって、人型3Dアバター用のVRMファイルはglTFファイルをベースにしているのですが、
引用：VRM のアニメーション
と記載され、VRM自体にはAnimationが使われないとされています。
このVRMファイルに対して、
引用：VRM はローカル軸の方向を破棄すべきでない
という、アニメーションの要素の一つである「ボーン」についての問題提起のような記事がありました。
「ボーン」を使ったアニメーションは、骨格となるボーン（Bone）を設定してそのBoneに付随する3D物体の動きを制御するアニメーションです。
複数個のBoneを組み合わせて使用されるのが一般的で、人物や動物、その他無機物でも動きがある物体に適用されて広く普及しています。
Boneの用語は別の呼び方の例もあるのですが、ここではボーンアニメーションと呼んでおきます。
ウィキペディアには、
「この技術は一連の「骨格」を構築することにより利用される。この構築作業は「リギング」(rigging) と呼ばれることがある。」
「スケルトンを構成するそれぞれの骨にはキャラクターを可視化する為の要素を関連付けておく。この関連付けを「スキニング」と言う。」
引用：スケルタルアニメーション
と記されています。
アニメーション技術には上記のように多くの専門用語が登場して、何となくそれら要素技術が分かったつもりになっていても具体的な挙動を把握するのは容易ではありません。
そもそも３Ｄ画像ファイルのアニメーションはどういうものであって、glTFファイルのアニメーションデータはどういう構造になっているのでしょうか？ボーンアニメーションのデータはどのように扱われているのでしょうか？
そのglTFファイルのボーンアニメーションについては、
primitive の attributes にジョイントインデックス JOINTS と ウェイト値 WEIGHTS が必要です．JOINTS や WEIGHTS はセマンティクスと呼ばれ，１つの頂点データに同じセマンティクスのデータを複数入れることができます．これはセマンティクス名の後ろにインデックスを追加して指定します．」
引用：glTF 覚え書き
という解説記事や、
「頂点の情報にはボーンのインデックスとウェイト (影響度) が追加されます。」
「joints はボーンを構成するノードの識別子の配列です。」
引用：vertex skinning の覚え書き
という記事が参考になります。
今回は、glTFファイルのアニメーションデータの構造を解きほぐすことによってアニメーションの基本的で具体的な技術を学ぶことにします。
glTF 2.0ファイルフォーマットのアニメーションデータ
glTF 2.0ファイルフォーマットの仕様については、The glTF 2.0 Specificationに書かれています。
glTFのアニメーションデータは、
・animation.channels
・animation.samplers
のデータが必須となっています。
他に、
・animation.name
・animation.extensions
・animation.extras
などのデータがあります。
そのらのデータの意味や役割を以下に具体的に説明していきます。
続きを読む＞＞＞
記事「３D画像ファイルのアニメーションとは？」を表示します
- 記事テーマ：
- ３D画像処理
はじめに
Google Earth（グーグルアース）は、地球上のあらゆる場所を3D画像で観察できるバーチャル地球儀ソフトウェアです。
引用：Google Earthとは
とか、
ウィキペディアには、
引用：Google Earth
とあり、「Google Earth Proが、研究機関・教育機関向けのプロスペック版だったが、2015年1月より、無料のライセンスキーを取得し一般向けに利用可能となった。 」と紹介されているように、Google Earth Pro（以下GoogleEarthと略します）が広く一般に利用されています。
今回の記事もそのGoogle Earth Proを使っています。
このGoogleEarthにKMLファイルを適用することによって、更に便利に地理情報を活用することができます。
KMLは、Google EarthやGoogleマップの地図上で、位置の情報をもったデータを表示するためのファイル形式です。KMLを使うと、3次元的な位置に任意の情報を付け加えて表示することができます。例えば、旅行先で撮影した写真に自分の感想をつけて地図上の撮影地点に表示することができます。」
引用：J-SHISの地図をGoogle Earthで見てみよう
など、Net検索すれば沢山の活用事例が見つかります。
KMLファイルの紹介記事も数多くあり、用途に応じて作成方法が紹介されているので、便利に活用できると思います。
KMLファイルはGoogleによって拡張タグも新たに定義されており、当然のことながらKMLファイルの機能がGoogleEarthの機能に連動しています。
ここでは、GoogleEarthの機能を紹介するのではなく、KMLファイルがデータをどのように扱っているかという仕組みに焦点を当てて、KMLファイルを分かり易く具体的に解きほぐしてみることにしました。
続きを読む＞＞＞
記事「Googleアースに使われるKMLとは？」を表示します
- 記事テーマ：
- ３D画像処理
はじめに
3D画像ファイルの点群とは？で、３Ｄ画像ファイルにおける点群はどういうものなのかを調べました。
その記事では、
を取り上げて説明しました。
PTSファイルについては、
引用：【Point Cloud】色付きの点群は立体になる
とあるように、「単純なテキストファイル」でありました。
しかし、LIDERスキャナーの点群データを使う際には、
引用：PC-MAPPINGでのLASファイルの取り扱いについて
とあるように、LASファイルが標準フォーマットとして利用されています。
LASファイルについて興味深い記事がありました。
引用： LASデータの利活用～点群からラスターデータを作成する
と書かれています。
LASファイルは点群を扱うのであり、３Ｄの点群はベクタデータであるから、それをラスターデータに変換するとはどういうことなのでしょうか？
今回は、LASファイルはデータをどのように扱っているかという仕組みに焦点を当てて、標準フォーマットとされているLASファイルを分かり易く具体的に解きほぐしてみることにしました。
続きを読む＞＞＞
記事「点群におけるLASとは？」を表示します
- 記事テーマ：
- 役立つーる
はじめに
前回の3D画像ファイルのGeoTIFFとは？で、３Ｄ画像ファイルにおけるGeoTIFFファイルについて調べました。
その前回記事では、３個のGeoTIFFファイルを具体例として選び、GeoTIFFタグデータやGeoTIFFキーデータを調べました。
タグデータやキーデータの調査は、ファイルのバイナリデータを仕様書に基づいて読み解くといったやり方で、結構時間がかかりました。
前回記事を公開した後で、そういうGeoTIFFファイルのタグデータやキーデータを簡単に無料で気軽に取得出来るツールがあればいいと思い、自作することにしました。
今回は、自作したGeoTIFF Readerを紹介いたします。
上のリンク文字をクリックすればGeoTIFF Readerが開きます。
GeoTIFFリーダー（GeoTIFF Reader）は、入力されたGeoTIFFファイルのGeoTIFFタグデータとGeoTIFFキーデータを抽出して表示するオンラインツールです。
TIFFタグを解析するので、GeoTIFFでないTIFFファイルを入力してTIFFリーダーとして用いることもできます。
入力されたファイルは管理者（サーバー）に転送されず、ブラウザ内で全ての処理が実行されるので漏洩の心配はありません。
使用方法は簡単で、ドロップエリアにお手持ちのGeoTIFFファイルをドラッグ（タッチ）＆ドロップするか、「ファイルを開く」ボタンをクリックしてファイル選択するだけで解析結果が表示されます。
続きを読む＞＞＞
記事「GeoTIFFリーダーを作りました」を表示します
- 記事テーマ：
- ３D画像処理
はじめに
前回の3D画像ファイルの点群とは？で、３Ｄ画像ファイルにおける点群はどういうものなのかを調べました。
その前回記事では、「シェープファイルは、地理情報システム（GIS）の分野で広く活用されている地理データ格納ファイルです。例えば、井戸、川、湖などの空間要素がベクター形式であるポイント、ライン、ポリゴンで示され、各要素に固有名称や温度などの任意の属性を付与できる。」と紹介して、シェープファイルの構造や具体例を説明しました。
地理情報システム（GIS）でよく利用されるデータにはベクタ形式とラスター形式の２種類があり、
「ベクタデータの代表的なファイル形式として、ESRIのシェープファイル（Shapefile）がある。」
「ラスタデータの位置情報を保持した代表的なファイル形式として、GeoTIFFがある。」
引用：地理情報データ
と記載されています。
前回記事でラスター形式のファイルを取り上げなかったのは片手落ちと思いましたので、今回はラスター形式の代表的なファイルであるGeoTIFFを取り上げることにします。
GeoTIFFはウィキペディアには、
引用：GeoTIFF
と記されています。
前回のシェープファイルの記事で、「地理情報システム（GIS）で奥行きの距離情報に相当する値に標高値があります。」と書き、シェープファイルが標高値データを扱う仕組みを説明しました。
そういう標高値データをGeoTIFFではどのように扱っているのでしょうか？
例によってGeoTIFFについての解説記事は沢山見つかりますが、具体例が少なくて混乱してしまいます。
ここでは、GeoTIFFで標高値データをどのように扱っているかという仕組みに焦点を当てて、GeoTIFFを分かり易く具体的に解きほぐしたいと考えています。
続きを読む＞＞＞
記事「3D画像ファイルのGeoTIFFとは？」を表示します
- 記事テーマ：
- ３D画像処理
はじめに
前々回の３Ｄ画像ファイルの画像とは？では、glTFファイルなどの３Ｄ画像ファイルでは画像データ（明るさや色情報）をどのように扱って記録しているのかを調べました。
３Ｄ画像ファイルでは、奥行きを表現するのに必要な距離情報は、３Ｄ物体の表面形状（ジオメトリ）を表すデータとして格納されています。
ほとんどの３Ｄ画像ファイルでは、ジオメトリデータはポリゴンの形で表現されていて、距離情報はポリゴンを構成する頂点データに格納されているのですが、単純な立方体の場合、頂点は８個であるので距離情報はたった８個だけです。
立方体よりもっと複雑な３Ｄ物体の場合には、膨大な数のポリゴンが必要になります。
３Ｄ物体を平面のポリゴンに分割して構成するのではなく、３Ｄ画像の画素ごとに距離情報を持たせれば精確に３Ｄ物体を表現できるのではという自然な考えが生まれます。
そういう物体の各点の座標値を格納した「点群」データと呼ばれるデータが様々な分野で活用されています。
ウィキペディアには、
引用：点群 (データ形式)
と記されています。
また、
引用：【2023年版】点群処理ソフト5選 / メーカー15社一覧
という解説もあります。
点群を扱う３Ｄ画像ファイルには数多くの種類があり、使われる技術分野でそれぞれ発展しているようで、例によって点群についての沢山の解説記事が見つかります。
個々のファイルの仕様についてはそれら解説記事を参照頂くことにして、
ここでは、画像データの距離情報をどのように扱って記録しているのか？に焦点を当てて、分かり易く解きほぐしたいと考えています。
今回取り上げる３Ｄ画像ファイルは、
・ポリゴンを用いる３D画像ファイルの世界からPLYファイル、
・LIDARスキャナーなどの測距技術の世界からPTSファイル、
・地図情報の世界からシェープファイル（Shapefile）
の３つです。
続きを読む＞＞＞
記事「3D画像ファイルの点群とは？」を表示します
- 記事テーマ：
- ３D画像処理
はじめに
３Ｄ画像ファイルは、３次元コンピュータグラフィックス（以下3DCG）技術と密接に関連しており、３D物体の表面形状（ジオメトリ）を表すデータが主体ですが、画像データ（明るさや色情報）が付加される場合もあります。
前回の３Ｄ画像ファイルの画像とは？で、glTFファイルなどの３Ｄ画像ファイルでは画像データをどのように扱って記録しているのかを調べました。
３Ｄ画像ファイルのデータによって３Ｄ物体が形成されることになるので、一般的には３Ｄ画像ファイルを読み取る３Ｄソフトウェアが３Ｄ物体を２Ｄ画像に変換して表示しています。
この２Ｄ画像に変換する操作方法はそれぞれの３Ｄソフトウェアにより異なり、好きな位置の画像を好きな視点から観察するようにそれぞれ工夫されています。
これは被写体をカメラで撮影するのと同じ動作を3DCGの世界でも実行できるようになっていると言えるでしょう。
３Ｄソフトウェアで自在に２Ｄ画像に変換できるのは便利な機能ですが、指定した２Ｄ画像を表示させるという機能も考えられます。
被写体をカメラで撮影するのと同じ動作をさせるデータを３D画像ファイル自体に組み込んでおくことによって、指定した２Ｄ画像を表示させるという機能があります。
前回取り上げたglTFファイルにもそういうカメラデータが格納できる機能が備わっています。
そのカメラデータとはどういうデータであって、その役割はどういうものなのでしょうか？
３D画像ファイルを用いて画像を形成する仕組みについては、3DCGに関する複雑な数式を駆使した解説記事が沢山見つかりますが、理解するのは骨が折れる作業になります。
今回は、glTFファイルのカメラデータだけに絞って、出来るだけ数式を使わないでそのデータの概念を解きほぐしてみることにします。
glTF 2.0ファイルフォーマットのカメラデータ
glTF 2.0ファイルフォーマットの仕様については、The glTF 2.0 Specificationに書かれています。
カメラデータは、視点データとプロジェクション変換データがあり（筆者が適当に分類）、
視点データとして、
・translation（視点移動）
・rotation（視点回転）
プロジェクション変換データとして、
・aspectRatio（アスペクト比）
・yfov（ｙ画角）
・znear（ｚ近点）
・zfar（ｚ遠点）
のデータで構成されています。
後述する平行投影の場合は、aspectRatioとyfovの代わりにxmagとymagが用いられます。
こういう3DCG関連の用語の日本語訳は、異なる用語が用いられている場合が多くて混乱します。ここでは筆者の独断で書いていますのでご了解ください。
仕様書では、視点データは仕様書ではnodeデータのcameraプロパティに格納され、プロジェクション変換データはcameraアセットに格納されています。
それらカメラデータの意味や役割を以下に説明していきます。
続きを読む＞＞＞
記事「3D画像ファイルのカメラデータとは？」を表示します
- 記事テーマ：
- ３D画像処理
はじめに
３次元（以下３D）画像ファイルはこれまで様々な用途で便利に使われており、ますます進化しているようです。
いろいろな種類の３D画像ファイルについての紹介記事や、それらのファイルフォーマットの解説記事は数多くあって、３D画像ファイルを扱う人たちにとって大いに役立つ情報になっています。
ここでは、そういう３D画像ファイルは画像データをどのように扱って記録しているのか？に焦点を当てて、分かり易く解きほぐしたいと考えています。
前回の3DにおけるJPEGとは？では、３D画像ファイルで「基本的」とされているSTLファイルフォーマットについて調べました。
今回は、
引用：次世代の3Dデータフォーマット決定版 glTF 2.0
などの記事があるので、
３D画像ファイルで「決定版」とされているglTFファイルフォーマットを解きほぐしてみることにしました。
glTF 2.0ファイルフォーマットの仕様
glTF 2.0ファイルフォーマットの仕様については、The glTF 2.0 SpecificationやglTFのご紹介などに書かれています。2.0は最新バージョン番号です。他にも沢山の紹介記事が見つかります。
このフォーマットは、３次元コンピュータグラフィックス（以下３DCG）の殆ど全てのデータを格納できる構造になっていて、このため「決定版」と呼ばれていると思われます。
前回取り上げた「基本的」とされているSTLファイルと比較してみると、glTFファイルの特徴的な構造が理解し易くなると思います。
STLファイルは、頂点座標値、法線ベクトルなどからなるポリゴンデータを格納して３D物体の表面形状（ジオメトリ）を表すファイルでした。そのポリゴンデータは３DCG技術における基本的なデータです。３DCGのデータには他にもいろいろなデータがあります。glTFファイルにはそういうSTLファイルにはないデータも格納されるようになっています。
それらのglTFファイルの特徴的なデータを説明していきます。
続きを読む＞＞＞
記事「3D画像ファイルの画像とは？」を表示します
- 記事テーマ：
- ３D画像処理
はじめに
３次元（以下３D）画像の分野で、3DにおけるJPEGという表現を目にします。
例えば、
引用：「VRMコンソーシアム」13社合同で設立
などの記事があります。
JPEGは周知の通り２次元（以下２D）画像ファイルでありカメラで撮影される写真の画像ファイルとして広く普及しています。
JPEGはデータサイズを小さくする圧縮方式を採っており、２D画像ファイルとしては他にもBMPやTIFFやPNGなど数多く存在します。
カメラで撮影して作られるJPEGなどの２D画像ファイルは、被写体が２次元の面に投影されて得られる２D画像データを格納しているファイルです。
そのため、被写体の位置や照明光の違いや投影時のボケ具合などの影響を受けて同じ被写体であっても２D画像の中身は変化します。
これに対して、「3DにおけるJPEG」と位置付けられる３D画像ファイルとはどういうものなのでしょうか？
この意味合いを探るべく、先ずは３Dプリントを中心に既に広く普及しているSTLファイルフォーマットを出来るだけ具体的に解きほぐしてみることにしました。
続きを読む＞＞＞
記事「3DにおけるJPEGとは？」を表示します
- 記事テーマ：
- ３D画像処理
管理人の青木ガンバロです。
今回は、写真を３次元立体の立方体に貼り付けるツールを紹介いたします。
２次元の写真画像を３次元の立体画像の表面に貼り付ける技術はテクスチャマッピングと呼ばれ、映像関連の分野で既に広く使われています。
民間では、デジタルカメラが登場して以来、写真をSNSなどに添付して発信することにより、人びとの間で共有して楽しむという文化が定着してきており、立体画像を見かける場面も多くなってきました。
立体画像は、ゲームのキャラクタを見れば分かるように、その表面にいろいろな絵柄が貼り付けられています。
そういう巷でよく見かける立体画像は、高度で複雑な計算が見えないところで行われており、ハード、ソフト両面の専門的な技術があるからこそ実現しているのです。
そのため、一般の人びとがデジタル写真を立体画像にしようとする場合は、専門的なソフトツールを使っていわゆる画像処理を行うことにより実現するのが普通です。
ところが問題は、その専門的なソフトツールを使うこと自体が簡単なことではないということです。うまく運ばないと取りかかっても挫折するはめになったりします。
今回紹介するツールは、専門的なライブラリは使用せずに、必要十分である簡素な画像処理だけを実装することによって高速なテクスチャマッピング処理を実現しています。
しかし、画像処理に直接関係しない画像ファイル生成には既存のライブラリを使っています。
この結果、より簡単にデジタル写真を立体画像に貼り付けることができると思います。
今回は、貼り付ける対象の立体画像に立方体を選びました。
続きを読む＞＞＞
記事「立方体に写真を貼り付けるツールを作りました」を表示します
- 記事テーマ：
- ３D画像処理
管理人の青木ガンバロです。
今回は、写真を３次元立体の球体に貼り付けるツールを紹介いたします。
前回の立方体貼り付けについての記事に書きましたが、今回の記事を先に見ておられる方のために、立体貼り付けツールの意義を再録しておきます。
２次元の写真画像を３次元の立体画像の表面に貼り付ける技術はテクスチャマッピングと呼ばれ、映像関連の分野で既に広く使われています。
民間では、デジタルカメラが登場して以来、写真をSNSなどに添付して発信することにより、人びとの間で共有して楽しむという文化が定着してきており、立体画像を見かける場面も多くなってきました。
立体画像は、ゲームのキャラクタを見れば分かるように、その表面にいろいろな絵柄が貼り付けられています。
そういう巷でよく見かける立体画像は、高度で複雑な計算が見えないところで行われており、ハード、ソフト両面の専門的な技術があるからこそ実現しているのです。
そのため、一般の人びとがデジタル写真を立体画像にしようとする場合は、専門的なソフトツールを使っていわゆる画像処理を行って実現するのが普通です。
ところが問題は、その専門的なソフトツールを使うこと自体が簡単なことではないということです。うまく運ばないと取りかかっても挫折するはめになったりします。
今回紹介するツールは、専門的なライブラリは使用せずに、必要十分である簡素な画像処理だけを実装することによって高速なテクスチャマッピング処理を実現しています。
しかし、画像処理に直接関係しない画像ファイル生成には既存のライブラリを使っています。
この結果、より簡単にデジタル写真を立体画像に貼り付けることができると思います。
今回は、貼り付ける対象の立体画像に球体を選びました。
続きを読む＞＞＞
記事「球体に写真を貼り付けるツールを作りました」を表示します