TỔNG QUAN CÔNG NGHỆ VR-AR

dịch từ cuốn sách Virtual Reality and Augmented Reality Myths and Realities
Edited by
Bruno Arnaldi
Pascal Guitton
Guillaume Moreau
NỘI DUNG
Chương 1: Giới thiệu ứng dụng mới............................................2
Chương 2: Phổ biến hóa công nghệ VR-AR.............................37
Chương 3: Khó khăn & thử thách công nghệ............................65
Chương 4: Môi trường ảo (VE) trở nên gần gũi với thế giới thực
.................................................................................................111
Chương 5: Triển vọng khoa học kĩ thuật.................................131
Chương 6: Những thách thức & rủi ro trong việc phổ biến công
nghệ VR-AR............................................................................150
Tổng kết...................................................................................159
Chương 1: Giới thiệu ứng dụng mới
1.1 Ứng dụng trong ngành công nghiệp
1.1.1 Thực tế ảo trong công nghiệp
Cho đến gần đây, không thể nghĩ đến thực tế ảo mà không nghĩ đến sự tưởng tượng việc
sử dụng máy móc nặng và phức tạp cần 1 đội chuyên dụng để vận hành nó. Những đặc
điểm này chắc chắn đã thúc đẩy công nghệ được tích hợp với các công ty có ROI (lợi ích
từ việc đầu tư) là một tiêu chí gần như là thiết yếu cho bất cứ quyết định nào liên quan
đến đến việc đưa ra các khoản đầu tư.
Các giai đoạn mở rộng mà các công ty đã tham gia vào AR có thể được mô tả như dưới
đây.

1.1.1.1 Thời đại của những người tiên phong: Các nhà nghiên cứu

1.1.1.2 Thời đại của người thử nghiệm: kỹ sư sáng tạo

1.1.1.3 Thời đại của các nền tàng chia sẻ

1.1.1.4 Thời đại của các tai nghe VR và các ứng dụng được phân phối trên một quy
mô rất lớn: những người chơi chính trong một cuộc tấn công
1.1.2 Thực tế tăng cường và các ứng dụng công nghiệp
1.1.3 VR-AR cho việc đổi mới công việc
1.1.3.1 Các nguyên tắc cơ bản: nghiên cứu và truyền thông cho việc tiếp thị
1.1.3.2 Công thái học và đào tạo: minh họa hoàn hảo để tăng giá trị bởi VR
1.1.3.2.1 Công thái học - mục tiêu: giảm rối loạn cơ xương khớp
1.1.3.2.2 Đào tạo: một cuộc cách mạng trong sư phạm kỹ thuật

1.1.4 Vậy thực tế tăng cường thì sao?

Mặc dù AR dễ hiểu hơn đối với công chúng vì họ đã sử dụng các ứng dụng điện thoại
thông minh và máy tính bảng, chúng tôi thấy rằng họ không còn hứng thú với nó. Tuy
nhiên, AR vẫn tiếp tục phát triển trong môi trường chuyên nghiệp, đặc biệt là ở lĩnh vực
công nghiệp.
1.2 Máy tính hỗ trợ phẫu thuật
1.2.1 Giới thiệu
1.2.2 Thực tế ảo và mô phỏng cho việc học
1.2.3 Thực tế tăng cường và lập kế hoạch can thiệp
1.2.4 Thực tế tăng cường trong phẫu thuật
1.2.5 Điều kiện hiện tại và những triển vọng trong tương lai
1.3 Thành phố bền vững
1.3.1 Hỗ trợ di chuyển trong môi trường đô thị
1.3.2 Xây dựng và kiến trúc
Chương 2: Phổ biến hóa công nghệ VR-AR
Mục tiêu của chương này là xem xét những tiến bộ quan trọng (cả phần mềm và vật liệu)
trong 10 năm qua
2.1 Trang thiết bị mới
2.1.1 Giới thiệu

2.1.2 Thiết bị định vị và định hướng

2.1.2.1 Giải pháp chuyên nghiệp

2.1.2.2 Giải pháp phân phối hàng loạt
2.1.2.2.1 Phụ kiện cho máy chơi game
2.1.2.3 Hệ thống tích hợp vào tai nghe VR
2.1.2.4 Các giải pháp định vị trong VR

2.1.3 Thay thế thiết bị

2.1.3.1 VR HMD
2.1.3.1.1 Hệ thống sử dụng điện thoại thông minh.
2.1.3.1.2 HMD kết nối tới một máy tính
2.1.3.2 Màn hình lớn
2.1.3.3 Thiết bị thực tế tăng cường
2.1.3.3.1 Google Glass
2.1.3.3.2 Google Tango
2.1.3.3.3 HoloLens
2.1.3.3.4 Magic Leap
2.1.3.3.5 Các kính AR khác
2.1.3.4 Thay đổi âm thanh
2.1.4 Thách thức và quan điểm về công nghệ
2.1.4.1 Lĩnh vực thực tế
2.1.4.2 Độ phân giải màn hình
2.1.4.3 Tần số hiển thị
2.1.4.4 Năng lực tính toán đồ họa
2.1.4.5 Tính di động
2.1.5 Kết luận về thiết bị mới
2.1.5.1 Được chấp nhận bởi công chúng
2.2 Phần mềm mới
2.2.1 Giới thiệu
2.2.2 Phát triễn các ứng dụng 3D

2.2.2.1 Lập trình đồ họa cơ bản

2.2.2.2 Các thư viện đồ họa
2.2.2.3 Các công cụ trò chơi

Chương 3: Khó khăn & thử thách công

nghệ
3.1 Giới thiệu chung
3.1.1 Mô hình vật lý để phát hiện va chạm

Trong số các hiện tượng vật lý có thể được mô phỏng, có thể tóm tắt như sau:

- Cơ học rắn: các kỹ thuật mô phỏng hiện tại cho phép tương tác thời gian thực với
các đối tượng, cho dù đây là các vật thể rắn tự do, những vật rắn khớp nối hoặc thậm
chí chất rắn có thể biến dạng, miễn là những đối tượng có thể tác động.

- Chất lỏng và hạt: xử lý tương tác chất lỏng ở mức độ khó hơn nhiều. Tuy nhiên,
điều này vẫn có thể được xử lý trong thời gian thực khi chất lỏng bị tách ra thành các
hạt.

- Thay đổi cấu trúc liên kết: những thay đổi theo thời gian thực trong cấu trúc liên
kết, chẳng hạn như các đối tượng bị gãy, có thể được giải quyết bằng cách kết hợp
một số mô hình đặc biệt hiệu quả trong việc tạo ra kết quả trong thời gian thực. Các
mô hình được sử dụng dựa trên phương thức phân tích cho khía cạnh rung động bên
trong của đối tượng và một thuật toán để lan truyền vết nứt trong thiết bị. Trong Hình
dưới đây, mô phỏng phản ứng với một tương tác do va chạm của một cái búa ảo.

- Thay đổi trạng thái của vật liệu: một mô hình hạt thống nhất, chẳng hạn như SPH
(Thủy động lực học hạt mịn), làm cho nó có thể di chuyển trong thời gian thực theo
cách đảm bảo tính liên tục từ trạng thái linh hoạt của vật liệu ở trạng thái rắn trong khi
cho phép tương tác xúc giác hai tay với các đối tượng.
 - Phát hiện rời rạc so với phát hiện liên tục: trong tất cả các phương pháp phát hiện
rời rạc, thuật toán được áp dụng với một khoảng thời gian cố định và không xem xét
xảy ra giữa các phiên bản này; những phương pháp này khá nhanh và có thể bỏ qua
những diễn giải nhất định. Ngược lại, các phương pháp phát hiện liên tục tập trung
vào việc tìm kiếm thời điểm va chạm chính xác, có thể can thiệp giữa các bước thời
gian trong quá trình mô phỏng. Chiến lược này đặc biệt thích ứng tốt khi tất cả những
sự va chạm đan xen giữa các đối tượng cần tránh và khi muốn có độ chính xác cao.
Tất nhiên, cái giá cho phương pháp này là thời gian tính toán cao hơn;

- Xử lý các đối tượng lồi so với các đối tượng không lồi: một đối tượng lồi là đối
tượng sao cho với bất kỳ cặp điểm nào thuộc đối tượng, đoạn kết nối giữa chúng hoàn
toàn được chứa trong đối tượng. Thuộc tính này làm cho nó có thể triển khai các thuật
toán đơn giản và do đó nhanh chóng để đảm bảo phát hiện va chạm. Hai chiến lược có
thể thực hiện được cho các đối tượng không lồi: Một là chúng ta chia các đối tượng
thành một tập hợp các đối tượng lồi, dẫn chúng ta đến một trường hợp đơn giản hoặc
hai là chúng ta sử dụng thuật toán phức tạp hơn để thực hiện tính toán không lồi;

- Bài toán two-body so với bài toán N-body: trong bài toán two-body, một đối
tượng duy nhất là di động và những đối tượng khác cố định. Điều này đơn giản hóa
đáng kể khi so sánh với bài toán N-body, nơi tất cả các đối tượng có thể di chuyển.

3.1.2 Vấn đề con người ảo

3.1.2.1 Giới thiệu
3.1.3 Khó khăn trong bài toán tương tác 3D tự nhiên
3.1.3.1 Giới thiệu

3.1.3.2 Chu trình Perception-action cho tương tác

3.1.3.3 Chu trình action-commands trong tương tác

3.1.3.4 Kết luận

3.1.4 Khó khăn trong bài toán tổng hợp phản hồi xúc giác
3.1.4.1 Tổng quan bài toán
3.1.4.2 Phần mềm ứng dụng
3.1.4.3 Các yếu tố vật chất
3.1.4.4 Tình hình hiện tại và triển vọng trong tương lai
3.2 Mối quan hệ thực ảo trong thực tế tăng cường AR
3.2.1 Những trang thiết bị hiện tại
3.2.2 Tính toán định vị (pose computation)
3.2.2.1 Định vị dựa trên cảm biến( ngoài camera)
3.2.2.2 Định vị dựa trên điểm đánh dấu (marker)
3.2.2.3 Định vị dựa trên hình ảnh
3.2.3 Kết xuất thực tế
3.3 Khó khăn thử thách trong bài toán tương tác 3D
3.3.1 Giới thiệu chung
3.3.2 Độ phức tạp và thử thách trong bài toán vòng lặp tương tác 3D

3.3.3 Thử thách 1: Hành động cảm giác- vận động để tương tác
3.3.3.1 Sự bùng nổ trong việc thu thập dữ liệu người dùng
3.3.3.2 Lựa chọn một công nghệ tương tác
3.3.3.3 Tương lai công nghệ tương tác 3D
3.3.4 Thử thách 2: Phản hồi đa giác quan
3.3.4.1 Phản hồi thị giác
3.3.4.2 Phản hồi lực
 3.3.4.3 Phản hồi đa phương thức
Một thách thức lớn trong lĩnh vực nghiên cứu ngày nay là kết hợp các các phương
thức cảm giác. Những thách thức ở đây liên quan đến cả vật chất và phần mềm ứng
dụng. Từ quan điểm vật chất, cần có một thiết bị giao diện có hiệu suất cao cho phép
các tín hiệu khác nhau được ghép nối trong khi đảm bảo chất lượng nhất định của
phản hồi cho người dùng, đặc biệt là về băng thông cần thiết, đối với phản hồi xúc
giác. Về quan điểm phần mềm, chúng ta phải có khả năng đưa ra các thuật toán giúp
đồng bộ hóa các phương thức cảm giác khác nhau. Điều này yêu cầu các mô hình
hiệu suất cao của môi trường ảo mà trực quan, mà ở đó tất cả các tín hiệu thính giác
và xúc giác phải được tạo ra. Những mô hình như vậy phải dựa trên các định luật vật
lý và mô phỏng của chúng trong thời gian tương .Ngày nay để xây dựng những mô
hình như vậy là một thách thức quan trọng về tính toán. Các giải pháp ban đầu đã
được đề xuất trong những năm gần đây [CIR 13a], nhưng chúng hầu như không bao
giờ được sử dụng trong các ứng dụng thực tế. Điều này là do sự phức tạp của việc mô
phỏng các bối cảnh ảo để đạt được phản hồi thỏa đáng cho một ứng dụng nhất định.
3.3.5 Thử thách 3: Người dùng và nhận thức
3.3.5.1 Thách thức trong việc hiểu rõ hơn khả năng của con người
3.3.5.2 Làm cách nào để bạn kích hoạt tương tác nhiều người dùng?

3.3.6 Kết luận

.

3.4 Nhận thức thị giác

của giao diện nhập vai trực quan đến nhận thức và phản ứng của con người.
3.4.1 Các thuật ngữ liên quan đến cảm giác khó chịu mệt mỏi thể chất
3.4.1.1 Bệnh tật liên quan không gian ảo
3.4.1.2 Chất lượng trải nghiệm, sự thoải mái và hệ thống video lập thể

3.4.1.3 Các biện pháp khách quan và sinh lý

3.5 Những yếu tố hiển thị

3.6 Kết luận

Chương 4: Môi trường ảo (VE) trở nên gần

gũi với thế giới thực
Khó khăn và thử thách trong AR
4.1 Những thách thức khó nhằn trong đối với AR
4.1.1 Chọn thiết bị hiển thị

4.1.2 Không gian bản địa hóa

4.2 Các chủ đề trong AR hiếm khi được tiếp cận
4.2.1 Giới thiệu
4.2.2 Kết hợp thông qua màn hình hoặc HMD
4.2.2.1 Tương tác bằng cách sử dụng một thiết bị di động
4.2.2.2 Tương tác trong không khí
4.2.2.3 Tương tác với các đối tượng hữu hình
4.3 Bài toán không gian trong thực tế tăng cường AR
4.3.1 Sự kết hợp giữa thế giới thực và thế giới ảo
4.3.2 Phát triển hiện tại
4.4 Bài toán hiện diện trong thực tế tăng cường AR
4.4.1 Có phải sự hiện diện trong thực tế là mô hình cho sự hiện diện trong môi
trường ảo ?
4.4.2 Thực tế hỗn hợp: dấu chấm hết cho nhị phân thực và ảo ?
4.4.3 Từ thực tế hỗn hợp đến hiện diện hỗn hợp
4.4.4 Thực tế tăng cường: một môi trường tổng thể
4.5 Tương tác 3D trên bề mặt xúc giác
4.5.1 Tương tác 3D
4.5.2 Tương tác 3D trên bề mặt xúc giác
4.5.2.1 Giới thiệu
4.5.2.2 Thao tác 3D
 4.5.2.3 Điều khiển điểm nhìn
4.5.2.4 Đa bề mặt và màn hình tập trung

Chương 5: Triển vọng khoa học kĩ thuật

5.1 Cuộc cách mạng đầy hứa hẹn trong lĩnh vực giải trí
5.1.1 Giới thiệu:
5.1.2 Định nghĩa một phương tiện nhập vai đa hình mới
5.1.3 Trải nghiệm hứa hẹn
5.1.4 Tương lai
5.2 Giao diện bộ não máy tính
5.2.1 Giao diện bộ não máy tính: giới thiệu và định nghĩa
5.2.2 Những điều mà BCIs không thể làm
5.2.3 Nguyên lý làm việc của BCIs
5.2.3.1 Đo lường các hoạt động của bộ não
5.2.3.2 Xử lý và phân loại các tín hiệu của bộ não
5.2.3.3 Phản hồi và học hỏi về con người
5.2.4 Các ứng dụng hiện tại của BCIs
5.2.4.1 Các công nghệ hỗ trợ và các hỗ trợ y tế
5.2.4.1.1 Giao tiếp (Truyền thông)
5.2.4.1.2 Hệ thống chân tay giả, ghế bành và hệ thống domotics
5.2.4.1.3 Cải tạo
5.2.4.2 Tương tác giữa người và máy
5.2.4.2.1 Trò chơi điện tử và tương tác trực tiếp trong môi trường ảo

5.2.4.2.2 Tương tác dựa trên BCI thích ứng hoặc thụ động
5.2.4.2.3 Neuroergonomics
5.2.5 Tương lai của BCI
5.3 Nhận thức thay thế trong thực tế ảo
5.3.1 Giới thiệu
5.3.2 Phản hồi giả giác quan
5.3.2.1 Phản hồi giả xúc giác
5.3.2.1.1 Cảm giác giả xúc giác thông qua phản hồi trực quan
Chương 6: Những thách thức & rủi ro
trong việc phổ biến công nghệ VR-AR
6.1 Giới thiệu chung
Sau hơn 50 năm nghiên cứu và phát triển các ứng dụng cho chủ yếu cho mục đích chuyên
nghiệp, thực tế ảo cuối cùng cũng có thể truy cập được tất cả mọi người. Những thay đổi
gần đây về thiết bị, đặc biệt là trong cái gọi là tai nghe “VR”, đã dẫn đến sự thay đổi ý
nghĩa của cụm từ “thực tế ảo”. Trên thực tế, chúng ta thường thấy rằng chỉ cần sử dụng
thiết bị VR để "tạo" thực tế ảo là đủ. Nói cách khác, có vẻ công bằng khi tự hỏi liệu việc
sử dụng thiết bị như vậy có cần thiết và đủ để triển khai ứng dụng VR hay không. Câu trả
lời rõ ràng là không. Thật vậy, loại thiết bị này, mà chúng tôi sẽ gọi là “HMD” trong
phần còn lại của phần này, trước hết chỉ là một thiết bị hiển thị để xem hình ảnh.
Để hiểu được tác động của việc sử dụng HMD, chúng tôi cần phải hiểu chức năng vận
động nhạy cảm của người dùng, đặc biệt là thị giác. Thật vậy, giao diện hình ảnh xâm lấn
này áp dụng cho bất kỳ người dùng nào và việc sử dụng họ có hậu quả đối với các giác
quan khác và các hành động vận động của người dùng. Để cung cấp hiểu biết cơ bản về
chức năng vận động cảm giác ở người, sẽ hữu ích khi xem qua một số khái niệm cơ bản.
Đầu tiên, các giác quan của chúng ta cho phép chúng ta nhận thức thế giới xung quanh
chúng ta và cũng để nhận thức bản thân [FUC 16]. Thực tế này có ảnh hưởng mạnh mẽ
đến sự hiểu biết về các vấn đề và giải pháp để sử dụng tối ưu HMD. Chúng ta hãy nhớ lại
điều đó mặc dù tầm nhìn của con người đóng một vai trò cơ bản trong VR, điều rất quan
trọng là phải tính đến các giác quan khác phải được nghiên cứu, chẳng hạn như thính
giác, độ nhạy của da và khả năng nhận biết. Sự nhạy cảm của da là sự nhạy cảm với áp
suất, rung động và nhiệt độ, trong khi sự nhạy cảm là sự nhạy cảm với vị trí trong không
gian, chuyển động của cơ thể và lực tác động bởi cơ và cho phép chúng ta có ý thức về
chuyển động của chính mình. Nó được điều phối bởi các cảm biến nằm trên cơ, gân và
khớp, trong hệ thống tiền đình, tai trong và, cuối cùng nhưng không kém phần quan
trọng, bởi tầm nhìn.
Để có một nghiên cứu chi tiết hơn về các khía cạnh cảm giác của con người, bạn đọc có
thể tham khảo cuốn sách của Philippe Fuchs [FUC 16], cũng như Tập 1 của The Virtual
Reality Treatise [FUC 05].
Trong bất kỳ ứng dụng VR nào, con người đắm chìm và tương tác với môi trường ảo
(VE); họ nhận thức, quyết định và hành động theo một quy trình cổ điển được thể hiện
bằng vòng lặp “nhận thức, quyết định, hành động” (PDA) (xem Hình 6.1). Vòng lặp này
phải được thực hiện bất chấp những hạn chế về công nghệ, sinh lý và nhận thức mà
chúng ta sẽ xem xét kỹ hơn.
 Hình 6.1. Vòng lặp "nhận thức, quyết định, hành động" cổ điển

Việc chèn các giao diện cảm giác, vận động và / hoặc cảm giác vận động làm gián đoạn
vòng lặp PDA, hay đúng hơn là các vòng PDA, vì hoạt động của mỗi giác quan sử dụng
một vòng PDA độc lập (xem Hình 6.2). Do đó, tài năng của nhà thiết kế ứng dụng nằm ở
việc kiểm soát những gián đoạn này thông qua sự lựa chọn sáng suốt các tương tác cơ
bản, thiết bị phù hợp và phần mềm hỗ trợ hiệu quả để tạo điều kiện thuận lợi cho hành vi
của người dùng trong VE.

Hình 6.2. Cảm biến không phát triển làm gián đoạn mức độ hòa nhập và cảm biến

Ba vấn đề thực tế ảo (VR) cơ bản có thể được nhìn thấy trong sơ đồ hình 6.2. Những điều
này phải được giải quyết bởi nhà thiết kế ứng dụng:
- Phân tích và mô hình hóa hoạt động của con người trong thực tế ảo (VE): người dùng
được trang bị HMD cư xử như thế nào khi đối mặt với sự không nhất quán về cảm biến
trong thế giới ảo?
- Thực hiện hòa nhập và tương tác: giao diện và kỹ thuật tương tác nào tạo ra những mâu
thuẫn này?
- Mô hình hóa và hiện thực hóa thực tế ảo (VE): các công cụ và thuật toán hạn chế sự
phiền toái của những hiện vật này là gì?

6.2 Các vấn đề sức khỏe và sự dễ chịu

6.2.1 Các vấn đề khác nhau
Việc sử dụng HMD, về bản chất tự nhiên, đặt ra các vấn đề về sự thoải mái và sức khỏe.
Các vấn đề có thể do các ứng dụng gây ra, tạo ra sự khó chịu chủ yếu là do:
- Hoạt động tâm lý của người dùng bị gián đoạn trong môi trường ảo (VE): rất có thể
trong tương lai, việc sử dụng HMD của người dùng nói chung sẽ tăng cường, cho các
hoạt động giải trí cũng như chơi game. Trong bối cảnh sử dụng liên quan đến ảnh toàn
cảnh hoặc video 360 °, thiết bị phải được sử dụng trong thời gian tương đối ngắn để giảm
thiểu nguy cơ gây nghiện. Ngược lại, khi sử dụng cho các trò chơi điện tử, người chơi có
thể sử dụng HMD trong vài giờ. Trong trường hợp thứ hai, có thể thấy hậu quả tâm lý sau
khi ngâm mình lâu. Một câu hỏi cơ bản nảy sinh từ điều này: HMD có khả năng gia tăng
chứng nghiện trò chơi điện tử không? Câu hỏi này, phải được trả lời bởi các nhà tâm lý
học và bác sĩ tâm thần, vẫn chưa được tranh luận, vì việc thực hành này chưa phổ biến;
- Một giao diện kém giữa hệ thống hình ảnh và HMD: khi sử dụng HMD, người dùng sẽ
quan sát một cảnh ảo thông qua một thiết bị quang học có rất ít cài đặt có thể tùy chỉnh để
thích ứng với hình thái của người dùng và không hoàn toàn thích nghi với đặc điểm thị
giác của họ, có thể gây ra các vấn đề về nhãn khoa.
Điều này càng trở nên quan trọng hơn khi chúng ta cho rằng một bộ phận lớn dân số đã
mắc các bệnh về nhãn khoa: chẳng hạn ở Trung Quốc, tỷ lệ cận thị ở thanh thiếu niên
ngày nay là gần 90% [DEL 15]. Ngoài ra, một số điều chỉnh quang học có sẵn, cũng như
các giao thức hiệu chuẩn hiếm hoi, chẳng hạn như [PLO 15], rất hiếm khi được kiểm tra
chất lượng hoặc trong mọi trường hợp, rất hiếm khi được các chuyên gia sử dụng;
- Một tác động nhãn khoa khác, có lẽ là tác động mạnh nhất, liên quan đến việc tiếp xúc
kéo dài với các bước sóng nhất định, tương ứng với ánh sáng xanh (từ 515 đến 555
nanomet) phát ra từ màn hình của HMD. Chúng có thể gây ra thiệt hại lâu dài (nguy cơ
AMD - Thoái hóa điểm vàng do tuổi tác);
- Thiết bị công nghệ không an toàn: vấn đề an toàn chính nằm ở hình ảnh và trong một số
trường hợp, cách ly âm thanh của người dùng đeo HMD.
Làm thế nào để chúng tôi khắc phục sự thiếu vắng tầm nhìn trực tiếp của môi trường
thực, đặc biệt nếu nó động trong quá trình chạy ứng dụng? Sự an toàn về thể chất của
người dùng sẽ bị ảnh hưởng đặc biệt nếu họ đang đứng trong phòng thay vì ngồi ở một
chỗ cố định. Trên thực tế, sự cô lập về hình ảnh và âm thanh ngăn cản họ cảnh giác với
những gì đang xảy ra trong môi trường thực;
- Rối loạn cảm giác vận động: Các kỹ thuật VR gây ra hiện tượng rối loạn cảm giác gần
như có hệ thống, cho dù chỉ vì một ý nghĩa đơn lẻ (chẳng hạn như sự không đồng nhất
giữa chỗ ở và sự thay đổi của mắt trong tầm nhìn lập thể, đã được đề cập trong chương
này), hoặc giữa một số giác quan (ví dụ như chuyển động trên máy chạy bộ trong sự
không đồng nhất về tri giác giữa thị giác và hệ thống tiền đình), hoặc giữa các giác quan
và phản ứng vận động (ví dụ: thao tác với các vật thể ảo mà không có phản hồi lực).
Trong thế giới thực, tập hợp các kích thích giác quan nhận được được sử dụng bởi một cá
nhân để xây dựng một biểu diễn nhất quán về môi trường của họ. Trong thế giới ảo,
người dùng tìm kiếm sự liên kết tương tự này và sẽ giải thích những gì anh ta nhận thức
được liên quan đến những gì anh ta trải nghiệm, bất chấp sự khác biệt về cảm giác. Phần
còn lại của phần này tập trung đặc biệt vào nghiên cứu về sự không đồng bộ về cảm giác.

6.2.2 Các cảm biến không hoạt động

Cảm biến cảm biến có nhiều loại khác nhau. Loại thường thấy nhất là độ trễ (xem phần
3.4), có thể gây ra sự khó chịu cho người dùng trong hoạt động của họ trong VE bằng
cách tạo ra độ trễ giữa các phản hồi trực quan do hành động của chính họ. Độ trễ này là
do hiệu suất công nghệ (không đủ khả năng tính toán hoặc giao tiếp quyền lực). Trong
bối cảnh đa giác quan, có thêm khó khăn là phải đồng bộ hóa độ trễ giữa các giác quan để
làm cho chúng trở nên mạch lạc.

Trong một số trường hợp cổ điển và được ghi chép đầy đủ, chúng tôi biết từ kinh nghiệm
rằng người dùng có thể thích ứng với một số trường hợp khác nhau, một cách có ý thức
hoặc vô ý thức, và một số sự điều chỉnh này gần như được tạo ra một cách tự nhiên. Đây
là trường hợp, ví dụ, với chuyển động ảo trước màn hình máy tính nhỏ hoặc bảng điều
khiển trò chơi. Trên thực tế, điều này tạo ra sự rối loạn tiền đình - thị giác, mặc dù vật(ảo)
chuyển động trong VE, người dùng vẫn ổn định trong môi trường thực, kết hợp hoàn hảo
với tầm nhìn ngoại vi của họ (cố định trong thế giới thực) và hệ thống tiền đình của họ,
do đó tạo ra sự không thống nhất với tầm nhìn trung tâm của họ.

Hiếm khi thấy người dùng gặp khó khăn trong việc thích ứng với trường hợp chuyển
động ảo trước màn hình không che tầm nhìn ngoại vi của họ. Việc sử dụng HMD thể hiện
một vấn đề phức tạp khá khác nhau, chúng tôi sẽ mô tả thêm về.

Ngoài các rối loạn cảm giác tiền đình, có một số lượng lớn các rối loạn cảm giác mà
chúng tôi sẽ phân loại theo loại để cấu trúc phân tích của chúng tôi. Mục tiêu là đề xuất
các khuyến nghị cho các nhà thiết kế ứng dụng VR để nâng cao sự thoải mái cho người
dùng. Chúng tôi đã chọn tập trung vào các mô hình không thể gây rối (thực sự có một số
điều có lợi, mà nghiên cứu nằm ngoài phạm vi của phần này), sẽ được trình bày trong ba
mô hình tương tác VR cổ điển: quan sát, điều hướng và thao tác.

6.2.2.1 Sự quan sát

- Sự không đồng nhất về động cơ - thị giác theo thời gian: sự cố này do độ trễ giữa
chuyển động ở phía đầu của người dùng và màn hình hiển thị trên màn hình HMD theo
quan điểm có thể do chuyển động. Sự không mạch lạc này không đáng lo ngại lắm và
thậm chí có thể không nhận thấy nếu nó thấp hơn một phần hai phần nghìn giây, đây là
trường hợp của một số HMD gần đây. Nếu không đúng như vậy, người dùng nhận thấy
chuyển động bị trì hoãn, có thể không đồng bộ vài mili giây với những gì hệ thống tiền
đình phát hiện, gây ra ánh nhìn không ổn định [STA 02].
- Sự không nhất quán về mặt thời gian: có sự không ổn định mang tính gián đoạn nếu
tần số của hình ảnh được hiển thị (FPS: khung hình trên giây) quá thấp so với yêu cầu
của hệ thống thị giác để nhận biết hình ảnh mà không bị nhấp nháy và có chuyển động
liên tục của các đối tượng đang chuyển động. Điều này không phụ thuộc vào độ bền của
võng mạc mà phụ thuộc vào các cơ chế sinh lý thần kinh như hiện tượng phi và chuyển
động beta.
- Sự không đồng nhất của nhãn cầu: trong tầm nhìn lập thể, sự không đồng nhất “chỗ ở -
chỗ ở” sẽ trở thành vấn đề nếu sự chênh lệch võng mạc mà người dùng phải đối mặt,
vượt quá một giới hạn nhất định (1,5 °), là một hàm của thời gian tiếp xúc và khả năng thị
giác của người dùng, cùng những thứ khác. Một số người nhạy cảm với sự không nhất
quán này đến nỗi họ thậm chí không thể kết hợp lại với nhau và xem những loại hình ảnh
này.
- Sự không đồng nhất giữa thị giác và động cơ trong không gian: nhà thiết kế ứng dụng
VR có thể muốn lập trình một quan sát trực quan không tự nhiên:
- sự khuếch đại của vòng quay ảo, đối với sự quay của
đầu, để cho phép người dùng nhìn trong phạm vi tầm nhìn lớn hơn mà không cần quay
đầu quá nhiều;
- sự khuếch đại của bản dịch ảo, đối với bản dịch của đầu, để cho phép người dùng nhìn
thấy chuyển động của họ một cách giả tạo;
- hoặc, thậm chí gây rối hơn, quan điểm được hiển thị hoàn toàn không tương ứng với
quan điểm từ đầu của người dùng, ví dụ: đối với “chế độ xem của người thứ ba” của VE
(hoặc chế độ xem khách quan). Người quan sát nhìn thấy hình đại diện của họ (đại diện
cho bản thân của họ) trong VE. Người quan sát có thể tự quan sát hoặc nhìn ra chỗ khác.
Điểm nhìn cũng có thể là của một nhân vật ảo, ví dụ người đối diện với người quan sát.

6.2.2.2 Sự điều hướng

- Rối loạn thị giác tiền đình (hoặc khả năng cảm thụ thị giác): đây là trường hợp cổ điển
của sự dịch chuyển ảo bằng vector, không có chuyển vị thực của người dùng. Sự không
nhất quán này đã được biết đến nhiều và tạo thành một trong những loại “bệnh giả lập”
được thảo luận trong phần 3.4. Điều này ảnh hưởng đến người dùng khi họ vượt quá một
giới hạn động học nhất định của dịch chuyển. Bất kể chế độ điều hướng nào, bao gồm cả
đi bộ trên máy chạy bộ và mặc dù quan điểm của việc đi bộ thực là đồng nhất với sự dịch
chuyển ảo, thực tế vẫn là hệ thống tiền đình bị kích thích sai khi người dùng đứng yên
trong môi trường thực.
- Rối loạn tư thế hiển thị: đây là khi người dùng vẫn đứng và cố định trong môi trường
thực, mặc dù họ đang di chuyển trong VE bằng vection. Người sử dụng phải kiểm soát tư
thế thẳng đứng của họ bất chấp những sai sót về mặt tri giác. Hệ thống tiền đình và các
kích thích cảm thụ biểu thị cho não biết rằng cơ thể đang đứng yên.

6.2.2.3 Sự thao tác

- Không khớp thủ công trực quan: nếu có khoảng cách giữa vị trí của bàn tay thật của
người dùng và bàn tay ảo được thể hiện trong HMD (ví dụ: vì lý do kỹ thuật), thì đó là sự
không khớp về thủ công trực quan. Trong một số trường hợp nhất định, người dùng có
thể thích ứng với điều này, chẳng hạn, bằng cách tương tác theo cách không tự nhiên
bằng cách sử dụng “điều khiển từ xa” (tức là thao tác từ xa với một đối tượng ảo).

6.3 Những giải pháp tránh khó chịu và bất an

6.3.1 Trình bày về quy trình
Làm cách nào để chúng tôi khắc phục những bất cập kỹ thuật trong HMD hiện tại ?
Trong nghiên cứu của chúng tôi, chúng tôi đã phân tích độc lập từng sự không đồng bộ
về cảm giác để đơn giản hóa công việc. Tuy nhiên, trong trường hợp chung, sự khớp nối
giữa các giác quan có thể gây trở ngại. Đối với mỗi lần rối loạn, rối loạn cảm giác, có thể
hỏi những câu hỏi sau:
- Làm thế nào chúng tôi có thể giảm thiểu tác động của sự không đồng nhất về cảm giác
đối với sự khó chịu hoặc không thoải mái của người dùng ?
- Có thể loại bỏ sự không đồng nhất về cảm quan bằng cách sửa đổi hoạt động của mô
hình tương tác không ?
- Chúng ta có thể loại bỏ sự không đồng bộ về cảm giác bằng cách sửa đổi
hoạt động của giao diện(interface) hoặc bằng cách thêm giao diện khác?
- Làm thế nào chúng ta có thể thích nghi với sự không tập trung để loại bỏ cảm giác khó
chịu hoặc lo lắng?
Ba câu hỏi đầu tiên có thể áp dụng cho tất cả các trường hợp không mạch lạc, trong khi
câu hỏi về sự thích ứng phải được nghiên cứu trên toàn cầu vì hiện tại, chưa có nghiên
cứu cụ thể nào về sự thích ứng với sự thiếu mạch lạc và cảm giác như vậy. Hơn 30 giải
pháp đã được trình bày trong cuốn sách của Philippe Fuchs [FUC 16], dành riêng cho
HMD. Trong phần này, chúng tôi chỉ chọn một vài trong số chúng.

6.3.2 Giảm thiểu tác động đến các rối loạn tiền đình thị giác
Lấy thử nghiệm trường hợp cổ điển là dịch chuyển ảo theo đường vectơ, không có bất kỳ
chuyển động thực nào của người dùng, sự không ổn định sẽ làm phiền người dùng khi
vượt quá giới hạn động học nhất định của chuyển động. Chúng tôi trình bày một số giải
pháp có thể bổ sung cho nhau:
- Để hạn chế sự tham gia của hệ thống tiền đình, chúng ta phải giảm thiểu gia tốc dịch và
quay, độ nghiêng chuyển động của máy ảnh ảo (điểm nhìn của người dùng trong môi
trường ảo) và quỹ đạo của máy ảnh ảo quá quanh co (bán kính uốn cong tương đối cao);
- Nhận thức về chuyển động nhạy cảm nhất ở ngoại vi của trường thị giác, phát hiện
quang thông do chuyển động của vectơ và chuyển động của các đối tượng trong cảnh.
Chúng ta có thể dự tính hoặc giảm trường quan sát được bằng cách tạo ra sự huyền bí của
hình ảnh trong tầm nhìn ngoại vi, hoặc làm giảm sự không mạch lạc bằng cách đưa một
số tham chiếu không gian từ môi trường thực vào hình ảnh trong tầm nhìn ngoại vi, để ổn
định người dùng (tuy nhiên, giải pháp này, có hại cho việc đắm chìm hình ảnh), hoặc
thậm chí có các đối tượng trong VE bất động so với môi trường thực. Trong trường hợp
cuối cùng này, ví dụ cổ điển là mô phỏng lái xe tĩnh: người lái xe ổn định tốt nếu cabin
lái nằm trong tầm nhìn ngoại vi của họ, vì nó bất động trong môi trường thực;
- Để mở rộng giải pháp trên, có thể thú vị khi sử dụng HMD với tấm che không hoàn
toàn che khuất tầm nhìn: “kính video” cho phép người dùng cảm nhận trực tiếp môi
trường thực trong tầm nhìn ngoại vi. Trong những điều kiện này, tác động gián đoạn của
rối loạn chức năng thị giác-tiền đình giảm đi rất nhiều, như thể chúng ta đang nhìn vào
một màn hình đơn giản.

6.3.3 Loại bỏ rối loạn tiền đình thị giác bằng cách sửa đổi hoạt động của mô hình
tương tác
Ba giải pháp khác nhau có thể được sử dụng:
- Nếu chuyển vị thực của người, người đang đứng trong môi trường thực, về mặt hình
học giống như độ dịch chuyển trong môi trường ảo (VE), thì quỹ đạo và tốc độ trong cả
hai môi trường luôn bằng nhau. Ràng buộc trong trường hợp này là cả hai môi trường
thực và ảo, phải có cùng kích thước. Sự dịch chuyển trong môi trường ảo (VE) phải
giống hệt nhau và được giới hạn bởi kích thước của phòng thực. Điều này có nghĩa là sự
gắn kết giữa các kích thích thị giác, các kích thích cho hệ thống tiền đình và cả các kích
thích cảm thụ khác (các trục thần kinh cơ, bộ máy Golgi và các thụ thể khớp), các cử chỉ
trong môi trường ảo (VE) giống hệt với môi trường thực;
- Nếu dịch chuyển trong môi trường ảo (VE) được thực hiện thông qua dịch chuyển từ
nơi này đến nơi khác, trong khi người dùng vẫn đứng yên trong thế giới thực, thì các
chuyển động liên tục sẽ bị loại bỏ và hệ thống tiền đình không còn hoạt động vì không
còn nữa tốc độ hoặc gia tốc. Trong trường hợp này, cả hai giác quan đều gắn kết với nhau
nhờ sự bất động của con người trong môi trường thực và ảo. Người dùng hầu như đi từ
điểm bắt đầu đến điểm đến ngay lập tức. Tuy nhiên, sự chuyển đổi trực quan xem từ điểm
xuất phát đến điểm đến có thể được thực hiện một cách mờ dần để làm mịn hiệu ứng của
dịch chuyển tức thời;
- Một giải pháp triệt để là sử dụng thực tế tăng cường. Điều này sau đó yêu cầu rằng
cả môi trường thực và môi trường ảo đều giống hệt nhau về mặt hình học, vì chúng chồng
lên nhau. Trong trường hợp này, không còn sự lộn xộn nữa! Về mặt kỹ thuật, điều này
yêu cầu sử dụng tai nghe AR. Người dùng nhìn thấy thế giới thực, điều này ổn định họ tốt
hơn nhờ tầm nhìn ngoại vi của họ, dựa trên môi trường thực, vì hiện tại về mặt kỹ thuật là
không thể hiển thị hình ảnh ở tầm nhìn ngoại vi trong tai nghe AR.

6.3.4 Loại bỏ rối loạn tiền đình thị giác bằng cách sửa đổi các interface
Chúng tôi có hai giải pháp khác nhau trong danh mục này. Không mạch lạc có thể
loại bỏ bằng cách tái tạo vật chất các kích thích phù hợp với hệ thống tiền đình bằng cách
sử dụng giao diện mô phỏng chuyển động (máy chạy bộ 1D hoặc 2D). Các kích thích
tăng tốc và nghiêng đối với cơ thể của người dùng, nếu có thể, phải liên tục khớp với các
chuyển động thị giác của người dùng:
- Với giao diện mô phỏng chuyển động, không chỉ là tiền đình liên quan đến hệ thống,
nhưng các cơ quan cảm thụ cũng vậy: cơ, gân và khớp (ví dụ để đi bộ hiệu quả), cũng
phải gắn kết. Sau các chuyển động ảo mong muốn, chúng ta phải xác định một giao diện
tốt với mô phỏng chuyển động, một giao diện có thể tạo ra các kích thích phù hợp cho hệ
thống tiền đình. Đôi khi, không có giải pháp thực tế, không phụ thuộc vào giá của giao
diện;
- Với giao diện liên quan đến việc đi bộ trên máy chạy bộ 1D hoặc 2D, các cơ quan cảm
thụ (cơ, gân và khớp) có thể được kích thích một cách chính xác để giảm bớt tình trạng
rối loạn cảm giác, nhưng hệ thống tiền đình lại không hoạt động (một cách chính xác).
Trong trường hợp này, các trường hợp không tiếp xúc trực quan-tiền đình giảm đi (toàn
cầu), nhưng các hiện tượng không nhận thức thị giác vẫn còn. Chúng ta phải tính đến
chúng và sử dụng một giải pháp có thể làm giảm chứng rối loạn tiền đình thị giác.

6.3.5 Các mức độ khó khăn trong việc thích nghi

Câu hỏi của người dùng về việc thích ứng với việc đắm mình và tương tác trong VE lớn
hơn nhiều so với việc chỉ thích ứng với các trạng thái không hoạt động bằng cảm biến để
tránh cảm giác khó chịu và không thoải mái. Trên thực tế, bốn điểm sau đây phải được
xem xét:
- thích ứng sinh lý với giao diện trực quan, chẳng hạn như HMD;
- nhận thức thích ứng với giao diện;
- chức năng thích ứng với các mô hình tương tác;
- thích ứng với các rối loạn cảm giác vận động.
6.4 Kết luận
Tóm lại, việc phân tích các rối loạn về cảm giác nhạy cảm gây rối loạn cho phép chúng
tôi đề xuất, trong các bối cảnh cụ thể, các giải pháp ít nhất có thể làm giảm các tác động
tiêu cực đến sự thoải mái và sức khỏe của người dùng. Một số giải pháp phụ thuộc vào
tiến bộ công nghệ tích hợp trong HMD, trong khi những giải pháp khác đã được xác thực
bằng thực nghiệm và một số giải pháp vẫn chưa được khám phá. Cần phải lập kế hoạch
thử nghiệm trong tương lai để xác nhận các giải pháp mới cho việc sử dụng HMD của
công chúng. Phân tích của chúng tôi dựa trên việc xem xét các rối loạn cảm giác, với mục
đích nâng cao sự thoải mái và sức khỏe của người dùng. Tuy nhiên, phân tích này còn
hạn chế vì mỗi điểm không nhất quán được coi là độc lập với các điểm khác và các giả
thuyết được đưa ra vẫn phải được hỗ trợ và xác nhận.
Trước những rủi ro về tác động của ứng dụng VR đối với sức khỏe của người dùng và
thoải mái, chúng tôi có thể hiểu tại sao các nhà sản xuất HMD đưa ra khuyến nghị hạn
chế sử dụng các sản phẩm của họ. Chính các khuyến nghị liên quan đến việc nghỉ giải lao
khi sử dụng thiết bị, dừng lại trong trường hợp cảm thấy không thoải mái và không thực
hiện bất kỳ tác vụ phức tạp nào về thể chất, chẳng hạn như lái xe ô tô sau khi trải nghiệm
VR bằng HMD. Trẻ em dưới 13 tuổi bị cấm sử dụng HMD. Trong tương lai gần, điều
quan trọng là phải xác định các quy tắc chính xác cho việc sử dụng HMD và nghiên cứu
bất kỳ ảnh hưởng lâu dài nào mà chúng có thể gây ra đối với tất cả người dùng, đặc biệt
là trẻ em, nếu việc sử dụng HMD sẽ trở nên phổ biến. Tại Pháp, ANSES (Cơ quan Quốc
gia về An toàn & Thực phẩm, Môi trường và Nghề nghiệp - Agence Nationale de la
Sécurité Sanitaire de l'Alimentation, de l'enosystemnement et du travail) sẽ nghiên cứu
tác động tiềm tàng của việc sử dụng thực tế ảo đối với sức khỏe và sau đó sẽ đưa ra các
khuyến nghị. Nội dung của các ứng dụng VR cũng phải được làm chủ và kiểm soát, với
các thông báo cảnh báo nếu cần, như một số nhà sản xuất HMD đã thực hiện.
Tổng kết