Mixed Reality คืออะไร

หลังจากที่ Facebook หรือ Meta ได้มีการประกาศเรื่อง Metaverse ขึ้นมาทำให้กระแสในด้านของเทคโนโลยี VR และ AR เป็นที่พูดถึงกันอย่างมากในขณะนี้ ซึ่งวันนี้ผมจะขอพาเพื่อนๆ ไปรู้จักกับเทคโนโลยีอย่าง MR หรือ Mixed Reality กันครับ

เขียนโดย
Sirasit Boonklang – BorntoDev Co., Ltd.

Mixed Reality คืออะไร

Mixed Reality (MR) คือเทคโนโลยีที่มีการผสมผสานกันระหว่าง Virtual Reality (VR) กับ Augmented Reality (AR)

Mixed Reality หรือชื่อภาษาไทยว่า ความเป็นจริงผสมหรือความเป็นจริงแบบไฮบริด คือจะอยู่กึ่งกลางระหว่างความจริงเสริม (AR) และความเป็นจริงเสมือน (VR) ซึ่งมีเนื้อหาดิจิทัล (ข้อมูลที่ถูกสร้างด้วยคอมพิวเตอร์ เช่น โมเดล 3D ฉาก หรือวัตถุต่างๆนั่นเอง ) ถูกซ้อนทับในโลกความจริงและโต้ตอบกับสภาพแวดล้อมของผู้ใช้แบบเรียลไทม์ ดังนั้นในการโต้ตอบใน MR จะใช้แว่นตากึ่งโปร่งใสหรือ MR headsets ที่ติดตั้งกล้อง (เพื่อถ่ายหรือบันทึกภาพและแสดงสภาพแวดล้อมให้ผู้ใช้)

Mixed Reality ใช้งานอะไรได้บ้าง

ใช้ในการฝึกปฏิบัติงานระยะไกล
พัฒนาเป็นเกม
พัฒนาแอปพลิเคชันต่างๆ

Augmented Reality (AR)

Augmented Reality คือการสร้างข้อมูลหรือโมเดลเป็นดิจิทัล หรือข้อมูลที่สร้างมาจากโปรแกรมต่างๆ ในโลกเสมือนทั้งที่เป็น รูปทรง ข้อความ ตัวอักษร ตัวละคร ทุกอย่างที่เป็น 3 มิติให้มาซ้อนทับกับภาพในโลกจริงโดยจะปรากฏบนหน้าจอในอุปกรณ์ของเรานั้นเอง ถ้านึกไม่ออกให้ลองโหลดเกม Pokémon GO มาลองเล่นครับ

ตัวอย่างโปรเจคเกี่ยวกับ AR ที่น่าสนใจลองเล่นดูได้ครับ

ที่มาภาพ: 43 Augmented Reality Projects & Tutorials for Beginners and Up (hackster.io)

Virtual Reality (VR)

Virtual Reality (VR) คือโลกเสมือนที่สภาพแวดล้อมถูกสร้างด้วยคอมพิวเตอร์ซึ่งมีฉากและวัตถุที่ดูเหมือนของจริง โลกเสมือนนี้สามารถรับรู้และมีการโต้ตอบผ่านอุปกรณ์ Virtual Reality headset หรือ helmet VR ช่วยให้เราสามารถเกม หรือ เรียนรู้สิ่งต่างๆในโลกเสมือนได้

แล้ว AR VR MR แตกต่างกันอย่างไรหล่ะ

AR คือของในโลกเสมือนมาซ้อนในโลกจริง
VR คือเอาตัวเราเข้าไปอยู่ในสภาพแวดล้อมเสมือน
MR คือการผสมกันทั้ง VR และ MR

แล้ว Mixed Reality ใช้กับอุปกรณ์อะไรได้บ้างหละ

ในตอนนี้อุปกรณ์ที่ใช้กับเทคโนโลยี Semi-Transparent glasses (แว่นตากึ่งโปร่งแสง) หรือ MR headsets ที่รู้จักกันดีในปัจจุบันจะมี Microsoft HoloLens และ Magic Leap One ครองตลาดอยู่

HoloLens

ที่มาภาพ: Explore mixed reality devices – Learn | Microsoft Docs

Magic Leap One

ที่มาภาพ: black, glasses, floor, goggles, accessories, accessory, sunglasses, vr | Piqsels

และยังสามารถดูรายละเอียดอุปกรณือื่นๆที่รองรับ MR ได้ที่

The 9 best mixed reality headsets of 2021 (aniwaa.com)

รู้จักกับ Mixed Reality spectrum

ที่มาภาพ: What is mixed reality? – Learn | Microsoft Docs

ในการซ้อนทับกันของโลกจริง (physical reality) กับโลกเสมือน (digital reality) ก็มี “ระดับ” (spectrum) ซึ่ง Mixed Reality จะอยู่ตรงกลางระหว่างโลกจริง (physical reality) กับโลกเสมือน (digital reality)

ที่มาภาพ: What is mixed reality? – Learn | Microsoft Docs

แม้ว่าจะไม่มีอุปกรณ์ใดที่สามารถเรียกใช้สเปกตรัมความเป็นจริงผสมทั้งหมดในปัจจุบัน แต่ความหวังก็คืออุปกรณ์โฮโลแกรมในอนาคตจะมีความสมจริงมากขึ้น

holograms คืออะไร

โฮโลแกรมเป็นวัตถุดิจิทัลที่แสดงขึ้นรอบตัวผู้ใช้ที่สวม MR Headsets โฮโลแกรมถูกสร้างขึ้นจากแสงและเสียง สามารถตั้งโปรแกรมโฮโลแกรมเพื่อโต้ตอบกับการดูของตาเรา ท่าทาง หรือการป้อนข้อมูลด้วยเสียงของผู้ใช้ ตัวอย่างคือการหมุนแผนอาคารดิจิทัลด้วยการแตะนิ้วหรือโบกมือ

สามารถวางโฮโลแกรมในตำแหน่งที่เราต้องการในโลกจริงได้ ผู้ใช้สามารถเดินไปรอบๆ หรือห่างออกไป และให้โฮโลแกรมอยู่กับที่ มีการโต้ตอบกับวัตถุได้มากขึ้น

เอ๋ แล้วสงสัยมั้ยครับว่าเราจะออกแบบและพัฒนา mixed reality อย่างไรได้บ้าง

ออกแบบและพัฒนา mixed reality

ที่มาภาพ: Design and develop in mixed reality – Learn | Microsoft Docs

Bodystorming

Bodystorming เป็นกระบวนการสร้างปฏิสัมพันธ์ในการสร้างต้นแบบ วัตถุดิจิทัล UI และแอนิเมชั่นโดยใช้วัสดุในการประดิษฐ์ ใครก็ตามที่เกี่ยวข้องกับกระบวนการออกแบบสามารถทดลองใช้การโต้ตอบ คุณลักษณะและกลไกต่างๆ ที่เสนอมาโดยไม่ต้องสร้างต้นแบบทั้งหมด เป้าหมายของการระดมความคิดคือการได้รับข้อมูลที่สามารถนำไปใช้ได้

Acting and feedback

หลังจากได้ผ่านนการระดมความคิดแล้ว ขั้นตอนต่อไปคือการกำหนดวิธีที่ผู้ใช้จะใช้งานและประสบการณ์ของที่จะได้รับของ Mixed Reality แพลตฟอร์มที่ได้พัฒนาขึ้นมา ขั้นตอนการแสดงผลเป็นการทดสอบแนวคิดที่ได้ระดมไอเดียในโลกสามมิติ

Storyboard

การเลือกวิธีที่ดีที่สุดในในแนวคิดและประสบการณ์ที่เสนอขึ้นมาจะขึ้นอยู่กับกลุ่มเป้าหมายผู้ใช้หากมีแนวคิดใหม่ๆ ทีมพัฒนาอาจจะมีการระดมความคิดและการแสดงประสบการณ์หรือเนื้อหาใหม่อาจมากเกินไปที่จะทำให้งานเสร็จทันเวลาที่กำหนดได้ จึงจำเป็นที่จะต้องมีการวาง storyboard ก่อน

เครื่องมือพัฒนา Mixed Reality

เมื่อพูดถึงการทำงานกับโฮโลแกรมในแอปพลิเคชันของคุณ เป็นการง่ายที่สุดที่จะใช้เครื่องมือพัฒนาที่สร้างไว้ล่วงหน้าของ Microsoft เช่น Mixed Reality Toolkit (MRTK) สำหรับ Unity และ Unreal Engine MRTK เป็นชุดพัฒนาข้ามแพลตฟอร์มแบบโอเพนซอร์สที่จัดเตรียมระบบอินพุต ส่วนประกอบพื้นฐาน และส่วนประกอบพื้นฐานสำหรับการโต้ตอบเชิงพื้นที่

มาลองสร้างฉาก 3 มิติสำหรับ Mixed Reality ใน Unity กันเถอะ

1.โปรแกรม Unity แล้วไปที่ Assets > Scenes > MainScene.

ที่มาภาพ: Exercise – Build wind farm terrain – Learn | Microsoft Docs

2.ใน Project Panel เปิด Assets > Art > Prefabs folder ลาก Terrain Model ที่ชื่อว่าStatic Terrain มายัง scene editor ตรงหน้าต่าง Inspector ด้านขวามือ ไปที่ Position, Rotation, and Scale ปรับให้พิกัดเป็นดังนี้ (X = -1.25, Y = -0.59, Z = 2) เพื่อทำให้ Static Terrain อยู่ด้านหน้าและซ้ายมือของผู้ใช้เมื่อเริ่มต้น

ที่มาภาพ: Exercise – Build wind farm terrain – Learn | Microsoft Docs

3.ต่อไปจะเป็นการเพิ่ม dynamic terrain และ กำหนดค่าฟีดข้อมูลของ Bing Maps

ใน Hierarchy panel ไปที่ Assets > Art > Prefabs > Bing Maps Design

4.เลือกอินสแตนซ์ใหม่ของ Prefab ใน hierarchy panel และขยายส่วนประกอบ Map Session ใน Inspector แล้วป้อน Developer Key สามารถสร้าง Developer Key ได้ที่ Creating a Bing Maps Account – Bing Maps | Microsoft Docs

ที่มาภาพ: Exercise – Build wind farm terrain – Learn | Microsoft Docs

5.ตั้งค่าตำแหน่งและการตั้งค่าเค้าโครงแผนที่ต่อไปนี้

ที่มาภาพ: Exercise – Build wind farm terrain – Learn | Microsoft Docs

6.ขยายองค์ประกอบของ Transform component ใน Inspector และตรวจสอบตำแหน่งของแผนที่โดยใช้พิกัดตำแหน่ง (X = 0, Y = -0.7, Z = 2) เพื่อให้ทั้งสองแผนที่วางใกล้กัน

ที่มาภาพ: Exercise – Build wind farm terrain – Learn | Microsoft Docs