Some Basics on 3D Reconstruction

AI ပိုင်းလိုက်တဲ့သူတွေ၊ data သမားတွေဆိုရင် ကိုယ် မသိထားတဲ့ data file types ဆိုတာ တစ်ချိန်ချိန်မှာ မလွဲမသွေကြုံရမှာပါ။ အဲ့ထဲမှာ 3D model data တွေလည်းပါပါတယ်။

အခုလုပ်နေရတဲ့ project မှာ RGBD images တွေကနေ 3D reconstruction လုပ်ရမယ့်အပိုင်း ပါလာ တယ်ပေါ့နော်။ အရင်က project တုန်းကလည်း pose estimation ပိုင်းမှာ 3D data တွေနဲ့ ကြုံရပါတယ်။

Data တွေကို သိမ်းတဲ့ပုံအမျိုးမျိုးရှိတော့ ကိုယ်မသိတာနဲ့ကြုံရင် စဖို့တောင် ခက်ပါတယ်။ အရင်က EEG signals processing လုပ်တုန်းက signal processing ပိုင်းကို နားလည်တာတောင်မှ ရှိတဲ့ data types (file type) က တစ်ခါမှ မသိတဲ့ file format ဖြစ်နေတော့ read ပြီးရင်တောင် ဘယ်လို ဆက်ကြည့်ရမလဲဆိုတာ အချိန်ကြာကြာ ယူပြီးလေ့လာရပါတယ်။ (EEG အကြောင်း courseတစ်ခုစာ လိုက်ကြည့်လိုက်ရပါတယ်။)

Data တစ်ခုက ပုံစံအမျိုးမျိုးနဲ့သိမ်းလို့ရပါတယ်။ image ဆိုရင် အများသိတာဆို jpeg, png, wepb တွေရှိပါတယ်။ different file format are optimized for different purposes. ကိုယ့်မှာရှိတဲ့ resources တွေ, time တွေ, purpose တွေပေါ်မူတည်ပြီး optimized အဖြစ်ဆုံးကိုရွေးလို့ရပါတယ်။ ဒီလို images တွေကတော့ အရမ်းလည်း ပေါပြီး လူတွေလည်း အသုံးအပြုဆုံးဆိုတော့ library တွေလည်းရှိတော့ read, write, convert ရလွယ်သလို analysis လုပ်ဖို့လည်း မခက်ပါဘူး။

အပေါ်ကလို data တွေကတော့ နယ်ပယ် အသစ်တစ်ခုကဖြစ်လို့ အတွင်းတွင်းကျကျ basics တွေ background မရှိရင် ဘာမှမသိတော့ဘူး။ background မရှိတော့လည်း ရှိအောင်လိုက်လုပ်ရတာပေါ့။ အခုကတော့ 3D model တွေရဲ့ file types တွေ အကြောင်း ၊ 2D images တွေကနေ 3D model တွေ ဘယ်လို ပြောင်းလို့ရလဲ(next post) ဆိုတာတွေ (ကိုယ်ဘာသာကိုလည်း ပိုရှင်းသွားအောင်) စာရေးလိုက်တာပါ။

ပုံမှန် 2D image တွေမှာ height နဲ့ width ပဲ ပါတယ်။ 3D data တွေက depth value ပါ, ပါလာတယ်။

https://upload.wikimedia.org/wikipedia/commons/8/83/Coord_planes_color.svg

3D data representation မှာ Point cloud (x,y,z point collection)ရယ်၊ Voxel (collection of cubes) ရယ်၊ Mesh (Polygons collections) ရယ်ဆိုပြီးရှိတယ်။

Point cloud, voxel, and polygon mesh representation of 3D models. https://www.mdpi.com/1424-8220/22/18/7040

Point Cloud Representation

Point cloud တစ်ခုက မှာ ရှိတဲ့ collection of individual points တွေပါ။ point တစ်ခုချင်းမှာ (X, Y, Z) coordinate နဲ့ တစ်ချို့မှာဆိုရင် color (RGB) or intensity values တွေပါ ပါတတ်ပါတယ်။

https://www.gim-international.com/content/article/representing-3d-point-cloud-data

Characteristics

• Unstructured Data → Points are not connected (no explicit edges or faces).
• Lightweight Representation → Efficient for storing large 3D scenes.
• High Precision → Captures fine details from LiDAR, depth cameras, or photogrammetry.

👉 Example File Formats: .pcd, .ply, .xyz

Point clouds, by default, are just discrete points in 3D space, which can look sparse and unrealistic. To make them visually appealing and closer to real-world objects, rendering techniques improve density, lighting, shading, and color interpolation.

Voxel Representation (eg. Minecraft game)

Voxel (volumetric pixel) = a small cube in a 3D grid။ သူက 2D images မှာဆို pixels တွေအလုပ်လုပ်သလိုမျိုးပါ။ Points တွေအစား 3D space ကို ပုံစံတူအရွယ်တူ voxel structure (cube) အပိုင်းပိုင်းလေးတွေခွဲလိုက်တာပါ။ မြင်ယောင်ရအောင် ပြရရင် minecraft လိုမျိုးပါ။

• Structured Grid Data → Each voxel has a fixed position in a 3D grid.
• Efficient for Spatial Processing → Used in volumetric rendering.
• Can Store Density, Color, or Material Data → Useful for medical imaging & simulations.

👉 Example File Formats: .nii, .vtk, .binvox

https://3dcoat.com/documentation/manual/workspaces-rooms/sculpt/voxel-mode/pure-voxel-sculpting/

Mesh

Mesh မှာတော့ verticesရယ် edges (connection line between vertices)ရယ် ရှိပါတယ်။ အဲ့လို verticesနဲ့ edges တွေကို ဘယ်လိုဆက်မှာလဲဆိုရင် faces အရပါ။ Triangleဆို မျက်နှာပြင်က triangles အစုလေးတွေ, Quadဆို squares/rectangles တွေစုထားတဲ့ မျက်နှာပြင်ဖြစ်နေမှာပါ။

https://www.researchgate.net/figure/D-mesh-triangles-with-different-resolution-3D-Modelling-for-programmers-Available-at_fig5_339746954

• Vertices (Points in 3D Space) → Defined by coordinates (x,y,z).
• Edges (Connections Between Vertices) → Define the shape.
• Faces (Polygons, Usually Triangles or Quads) → Form the surface of the object.

👉 Example File Formats: .OBJ, .FBX, or .STL and fed into a 3D rendering engine (e.g., OpenGL, DirectX, Unity, Unreal Engine).

3D Reconstruction ဘာလို့လိုတာလဲ။

Blender သို့မဟုတ် Unity မှာ ကိုယ်တိုင် မော်ဒယ်ဖန်တီးရတာ အချိန်အရမ်းကုန်ပြီး ခက်လည်းခက်ခဲပါတယ်။ (Creative works တွေအတွက်တော့ လိုပါတယ်။ မိုက်လည်းမိုက်တယ်။) 3D Reconstruction ကို အသုံးပြုပြီးတော့ အမှန်တကယ်တည်ရှိသည့် ပုံစံများကို အလိုအလျှောက် ဖန်တီးနိုင်လို့ရတယ်။ လက်ရှိပြင်ပ Environment ကို computer မှာ ပြန်ပြီး simulate လုပ်ဖို့ပါ။

Refs:

Novaković, Predrag & Hornak, Milan & Zachar, Ján & Joncic, Nenad. (2017). 3D Digital Recording of Archaeological, Architectural and Artistic Heritage. 10.4312/9789612378981.

Melo, C. (2023). Overview of 3D Data Representations. LinkedIn. Retrieved from https://www.linkedin.com/pulse/overview-3d-data-representations-carlos-melo-dd13f

Bricsys. (2023). Point Clouds: 6 Scan-to-BIM. Retrieved from https://www.bricsys.com/bg-bg/blog/point-clouds-6-scan-to-bim