2D画像から3Dモデルへの変換は実際にどう動くのか

平面画像には奥行きのデータがないため、何かがそれを追加する必要があります。このツールが追加するものと、できないことを正確に説明します。

平面画像を3Dモデルにできますか？

はい、2D画像から3Dモデルへの変換は可能です。ただし、それは画像にもともとなかった奥行きをソフトウェアが追加するからです。写真は平面上に並んだ色の値のグリッドです。ピクセルには奥行きチャンネルも、カメラ位置も、スケール情報も組み込まれていません。3つ目の次元は何かが補う必要があります。その方法は2つあります。学習した形状から奥行きを予測するAIモデルと、明るさを高さとして扱うハイトマップです。このサイトでは後者を使います。

明るさから高さへの変換は直接的です。明るいピクセルは盛り上がりに、暗いピクセルは谷になり、反転すれば逆になります。白い背景のロゴは、平らなプレート上の浮き出たエンブレムになります。ポートレートはレリーフ彫刻になります。結果を予測しやすく、高速で、存在しない鼻を勝手に作ることもありません。一方で、遠近感は理解しません。人物の写真を変換しても、その人物の胸像にはならず、写真の陰影に沿って表面が変化する板になります。

AIによる奥行き推定はもう1つの方法で、物体にはこちらのほうが向いています。靴や椅子の写真を入力すれば、何百万枚もの画像で学習したモデルが、どの部分が手前にあるかを推測できます。結果はもっともらしいものですが、計測できるものではなく、細い構造や反射面には混乱しやすいという弱点があります。特定の物体を特定のサイズで作りたいなら、AIによる奥行き推定では目的に届きません。描画、地図、テクスチャを忠実に再現する表面が必要なら、ハイトマップ変換のほうが常に適しています。

2D画像から3Dモデルへの変換はどう動くのか

最大20MBのJPG、PNG、GIF、BMP、TIFF、WebP、SVG、HEICファイルをアップロードします。ファイルは自分のマシン上のブラウザでピクセルグリッドにデコードされ、ツールは各ピクセルの明るさを読み取ります。レンダーファームに送信されることも、キューで待たされることもありません。その後、選択した解像度に合わせてグリッドを再サンプリングします。幅4000ピクセルの写真をそのまま使うと、ほとんどのスライサーが処理しきれない数百万個の三角形を持つメッシュになるためです。

各ピクセルが1つの頂点になります。XとYの位置はグリッド内の場所から決まり、設定した実際の幅（mm）に合わせてスケールされます。Zの位置は、明るさに設定した高さを掛けた値です。隣り合う頂点は三角形で接続され、全体の表面は平らな底面で閉じられるため、結果は水密なメッシュになります。グレースケール画像が最もきれいに仕上がるのは、色の重み付けについて考える必要がなく、1つのチャンネルを1つの高さの値に対応付けられるからです。

メッシュはSTLとして書き出されます。STLに保存されるのは三角形だけです。色もテクスチャも、ファイル内の単位情報もありません。スライサーはmmを前提にするため、ダウンロード前に幅とレリーフの高さを意図どおりに設定してください。幅100mm、レリーフ4mmのプレートは、0.4mmノズルでうまく印刷できます。小さなモデルでレリーフをおよそ8mm以上にすると、垂直な壁にサポートが必要になり始めます。

得意なことと、できないこと

ファイルに時間をかける前に、正直な長所を2つと限界を2つ確認しておきましょう。

得意：ロゴ、線画、スタンプ

明暗差の大きい図案は、明るさから高さへの変換が最も力を発揮する分野です。白地に黒いロゴを置くと、設定したレリーフの高さで浮き出たエンブレムになり、輪郭も元の線に沿います。SVG入力が特にうまくいくのは、ピクセルをサンプリングする前から描画された輪郭が鋭い状態だからです。

得意：レリーフ地図と表面テクスチャ

グレースケールの高さデータは、この方法のためにあるような入力です。標高マップ、エンボス模様、コインの表面、リソファン風のパネルは、どれも予測どおりに変換できます。出力されるのは、画像の明暗に合わせて表面が盛り上がったりへこんだりするプレートです。

不得意：1枚の写真から3D物体を再構築すること

1枚の写真には奥行きの計測情報がないため、靴や顔、建物の立体的な体積を再構築することはできません。得られるのは陰影に沿った平らなレリーフであり、回転させて内部まで確認できるソリッドな物体ではありません。この作業には、複数の角度から撮影した写真によるフォトグラメトリか、奥行きを予測するAIモデルが必要です。