Luận án Nghiên cứu và phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
NGUYỄN QUỐC HÙNG
NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT
ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG
TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ
LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH
Hà Nội − 2016
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
NGUYỄN QUỐC HÙNG
NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT
ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG
TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ
Chuyên ngành: Khoa học Máy tính
Mã số chuyên ngành: 62480101
LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH
NGƯỜI HƯỚNG DẪN KHOA HỌC:
1. TS. Trần Thị Thanh Hải
2. PGS.TS. Nguyễn Quang Hoan
Hà Nội −2016
LỜI CAM ĐOAN
Tôi xin cam đoan luận án: “Nghiên cứu phát triển một số kỹ thuật định vị dựa
trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị” là công trình nghiên
cứu của riêng tôi.
Một phần các số liệu, kết quả trình bày trong luận án là trung thực, đã được công
bố trên các tạp chí khoa học chuyên ngành, kỷ yếu hội nghị khoa học trong nước và
quốc tế.
Phần còn lại của luận án chưa được công bố trong bất kỳ công trình nghiên cứu
trong và ngoài nước.
Hà Nội, ngày 20 tháng 7 năm 2016
NGHIÊN CỨU SINH
Nguyễn Quốc Hùng
TẬP THỂ HƯỚNG DẪN KHOA HỌC
TS. Trần Thị Thanh Hải
PGS.TS. Nguyễn Quang Hoan
i
LỜI CẢM ƠN
Luận án tiến sĩ được thực hiện tại Viện Nghiên cứu Quốc tế MICA, trường Đại
học Bách khoa Hà Nội dưới sự hướng dẫn khoa học của TS. Trần Thị Thanh Hải và
PGS.TS. Nguyễn Quang Hoan. Nghiên cứu sinh xin bày tỏ lòng biết ơn sâu sắc tới các
thầy, cô về định hướng khoa học trong suốt quá trình nghiên cứu. Nghiên cứu sinh xin
được trân trọng cảm ơn các nhà khoa học, tác giả các công trình công bố đã được trích
dẫn và cung cấp nguồn tư liệu quý báu trong quá trình hoàn thành luận án.
Nghiên cứu sinh xin trân trọng cảm ơn Viện Nghiên cứu Quốc tế đa phương tiện
MICA; Viện Đào tạo sau Đại học Trường Đại học Bách Khoa Hà Nội; GS.TS. Phạm Thị
Ngọc Yến; GS.TS. Eric Castelli; đề tài KHCN tiềm năng mã số: KC.01.TN19/11-15,
đề tài VLIR mã số: ZEIN2012RIP19; đề tài hợp tác Việt - Bỉ mã số: FWO.102.2013.08;
Quỹ phát triển KH&CN quốc gia Việt Nam; Trường THCS Nguyễn Đình Chiểu Hà
Nội; nhóm nghiên cứu IPI Đại học GENT Vương quốc Bỉ...đã tạo điều kiện thuận lợi
về thời gian, địa điểm thực tập, trang thiết bị, hỗ trợ về mặt nhân lực để NCS thực
hiện việc thu thập dữ liệu, thực nghiệm các kết quả nghiên cứu.
Cuối cùng nghiên cứu sinh xin bày tỏ sự biết ơn tới Ban giám hiệu Trường Cao
đẳng Y tế Thái Nguyên; gia đình và đồng nghiệp đã động viên khích lệ, tạo mọi điều
kiện thuận lợi để NCS yên tâm công tác và học tập.
Hà Nội, ngày 20 tháng 7 năm 2016
NGHIÊN CỨU SINH
Nguyễn Quốc Hùng
ii
MỤC LỤC
LỜI CAM ĐOAN
LỜI CẢM ƠN
MỤC LỤC
i
ii
vi
vii
ix
xv
1
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
DANH MỤC CÁC BẢNG
DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ
MỞ ĐẦU
1 TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP NGƯỜI KHIẾM THỊ
1.1 Đặt vấn đề . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Các nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2.1 Các nghiên cứu trên thế giới . . . . . . . . . . . . . . . . . . . .
1.2.1.1 Siêu âm . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2.1.2 Hồng ngoại . . . . . . . . . . . . . . . . . . . . . . . .
1.2.1.3 Laser . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2.1.4 Camera . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2.1.5 Đa cảm biến . . . . . . . . . . . . . . . . . . . . . . .
4
4
4
4
5
7
7
7
9
1.2.2 Các nghiên cứu trong nước . . . . . . . . . . . . . . . . . . . . . 10
1.2.3 Thảo luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3 Mục tiêu nghiên cứu và phương pháp đề xuất . . . . . . . . . . . . . . 12
1.3.1 Mục tiêu và phạm vi nghiên cứu . . . . . . . . . . . . . . . . . . 12
1.3.2 Phương pháp đề xuất . . . . . . . . . . . . . . . . . . . . . . . . 12
1.4 Kết luận chương 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2 BIỂU DIỄN MÔI TRƯỜNG VÀ ĐỊNH VỊ
14
2.1 Giới thiệu chung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2 Những nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2.1 Hướng tiếp cận sử dụng bản đồ số liệu . . . . . . . . . . . . . . 15
2.2.2 Hướng tiếp cận sử dụng bản đồ topo . . . . . . . . . . . . . . . 17
2.2.3 Hướng tiếp cận lai . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.4 Thảo luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
iii
2.3 Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn môi trường . . . . . . . 22
2.4 Phương pháp xây dựng bản đồ môi trường . . . . . . . . . . . . . . . . 23
2.4.1 Xây dựng bản đồ số liệu . . . . . . . . . . . . . . . . . . . . . . 23
2.4.1.1 Phương pháp đo hành trình bằng hình ảnh sử dụng mô
hình không chắc chắn . . . . . . . . . . . . . . . . . . 24
2.4.1.2 Thích nghi VO cho môi trường trong nhà . . . . . . . 27
2.4.2 Xây dựng bản đồ topo . . . . . . . . . . . . . . . . . . . . . . . 29
2.4.2.1 Giải thuật FAB-MAP . . . . . . . . . . . . . . . . . . 30
2.4.2.2 Thích nghi và cải thiện FAB-MAP xây dựng bản đồ topo 39
2.4.3 Bổ sung thông tin đối tượng vật cản tĩnh trên bản đồ . . . . . . 44
2.5 Phương pháp định vị . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.6 Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.6.1 Môi trường đánh giá . . . . . . . . . . . . . . . . . . . . . . . . 45
2.6.2 Thu thập dữ liệu đánh giá . . . . . . . . . . . . . . . . . . . . . 46
2.6.2.1 Hệ thống thu thập dữ liệu . . . . . . . . . . . . . . . . 46
2.6.2.2 Thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . . 47
2.6.3 Kết quả đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.6.3.1 Đánh giá phương pháp xây dựng bản đồ số liệu . . . . 48
2.6.3.2 Đánh giá phương pháp định vị hình ảnh . . . . . . . . 53
2.7 Kết luận chương 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3 PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN
60
3.1 Định nghĩa bài toán và các thách thức . . . . . . . . . . . . . . . . . . 60
3.2 Những nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . . . . 61
3.2.1 Các phương pháp sử dụng 01 camera . . . . . . . . . . . . . . . 61
3.2.1.1 Hướng nghiên cứu sử dụng stereo camera . . . . . . . 62
3.2.1.2 Hướng nghiên cứu sử dụng cảm biến Kinect . . . . . . 64
3.2.1.3 Phân tích và đánh giá các phương pháp . . . . . . . . 65
3.3 Đề xuất phương pháp phát hiện và ước lượng khoảng cách . . . . . . . 66
3.4 Phát hiện vật cản . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.4.1 Phát hiện vật cản cố định . . . . . . . . . . . . . . . . . . . . . 67
3.4.1.1 Đối sánh các điểm đặc trưng . . . . . . . . . . . . . . 68
3.4.1.2 Phát hiện vật cản từ kết quả đối sánh . . . . . . . . . 71
3.4.1.3 Xác định vùng chứa đối tượng . . . . . . . . . . . . . . 74
3.4.2 Phát hiện vật cản động . . . . . . . . . . . . . . . . . . . . . . . 75
3.4.2.1 Trích chọn đặc trưng HoG . . . . . . . . . . . . . . . . 75
3.4.2.2 Bộ phân loại SVM . . . . . . . . . . . . . . . . . . . . 76
3.5 Uớc lượng khoảng cách vật cản . . . . . . . . . . . . . . . . . . . . . . 77
3.5.1 Nguyên lý ước lượng khoảng cách . . . . . . . . . . . . . . . . . 77
iv
3.5.2 Xây dựng bản đồ chênh lệch . . . . . . . . . . . . . . . . . . . . 79
3.5.2.1 Thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . . 80
3.5.2.2 Hiệu chỉnh hình ảnh . . . . . . . . . . . . . . . . . . . 80
3.5.2.3 Đối sánh hình ảnh . . . . . . . . . . . . . . . . . . . . 84
3.5.2.4 Tính toán độ sâu . . . . . . . . . . . . . . . . . . . . . 86
3.6 Kết quả đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
3.6.1 Xây dựng cơ sở dữ liệu vật cản . . . . . . . . . . . . . . . . . . 88
3.6.2 Đánh giá giải thuật phát hiện đối tượng . . . . . . . . . . . . . 90
3.6.3 Đánh giá giải thuật ước lượng khoảng cách vật cản . . . . . . . 93
3.7 Kết luận chương 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
4 PHÁT TRIỂN VÀ THỬ NGHIỆM HỆ THỐNG DẪN ĐƯỜNG
99
4.1 Hệ thống tích hợp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.1.1 Tích hợp phần cứng . . . . . . . . . . . . . . . . . . . . . . . . 99
4.1.2 Kiến trúc tổng thể . . . . . . . . . . . . . . . . . . . . . . . . . 101
4.2 Phát triển hệ thống dẫn đường sử dụng robot . . . . . . . . . . . . . . 102
4.2.1 Tìm đường cho robot . . . . . . . . . . . . . . . . . . . . . . . . 102
4.2.2 Điều khiển robot . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.2.2.1 Điều khiển trực tiếp dựa trên đường đi xác định . . . . 103
4.2.2.2 Điều khiển theo dự báo và hiệu chỉnh vị trí của bộ lọc
Kalman . . . . . . . . . . . . . . . . . . . . . . . . . . 105
4.2.3 Tương tác người-robot . . . . . . . . . . . . . . . . . . . . . . . 111
4.3 Thử nghiệm và đánh giá hệ thống dẫn đường . . . . . . . . . . . . . . 112
4.3.1 Môi trường và quy trình thử nghiệm . . . . . . . . . . . . . . . 112
4.3.1.1 Môi trường thử nghiệm . . . . . . . . . . . . . . . . . 112
4.3.1.2 Quy trình thử nghiệm . . . . . . . . . . . . . . . . . . 115
4.3.2 Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . 116
4.3.2.1 Đánh giá khả năng xác định vị trí xuất phát của robot 116
4.3.2.2 Đánh giá khả năng điều khiển robot . . . . . . . . . . 117
4.3.2.3 Đánh giá khả năng tương tác người-robot . . . . . . . 119
4.3.2.4 Đánh giá hệ thống dẫn đường trợ giúp NKT bằng robot 121
4.3.3 Bàn luận hệ thống robot dẫn đường . . . . . . . . . . . . . . . . 130
4.4 Kết luận chương 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
TÀI LIỆU THAM KHẢO
133
136
DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN 148
PHỤ LỤC 151
v
A MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG
151
A.1 Đặc trưng Harris Corner . . . . . . . . . . . . . . . . . . . . . . . . . . 151
A.2 Đặc trưng SIFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
A.3 Đặc trưng SURF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
A.4 Đặc trưng GIST . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
A.5 Đặc trưng HoG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
A.6 Đặc trưng Haar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
B ĐÁNH GIÁ HIỆU NĂNG NHẬN DẠNG TRÊN MỘT SỐ CSDL 173
B.1 Giới thiệu 3 CSDL thử nghiệm . . . . . . . . . . . . . . . . . . . . . . 173
B.2 Khung nhận dạng đối tượng tổng quát . . . . . . . . . . . . . . . . . . 177
B.3 Độ đo đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
B.4 Kết quả đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
C THIẾT KẾ HỆ THỐNG THU THẬP DỮ LIỆU
188
C.1 Xe camera thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . 188
C.2 Hiệu chỉnh camera góc rộng . . . . . . . . . . . . . . . . . . . . . . . . 191
C.3 Robot PC-Bot914 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
vi
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
TT Viết tắt
Nghĩa đầy đủ (tiếng Việt/tiếng Anh)
Appearance based Mapping
Average Precision
1
AM
2
AP
3
4
5
BOW
CSDL
ED
Bag of Words
Cơ sở dữ liệu
Euclidean Distance
6
FAB-MAP Fast Appearance Based Mapping
7
8
FLANN
FN
Fast Library for Approximate Nearest Neighbors
False Negative
9
FP
False Positive
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
GPS
HOG
HSI
Global Positioning System
Histogram of Oriented Gradients
Hue Saturation and Intensity
Kalman Filter
Khoa học và Công nghệ
K-Nearest Neighbors
Light Amplification by Stimulated Emission of Radiation
Luận án tiến sĩ
Light Detection And Ranging
Multimedia, Information, Communication & Applications
Motion Uncertainty Tetragon
Nghiên cứu sinh
KF
KH&CN
k-NN
LASER
LATS
LIDAR
MICA
MUT
NCS
NĐC
NKT
PUT
Nguyễn Đình Chiểu
Người khiếm thị
Perspective Uncertainty Tetragons
RANSAC RANdom SAmple Consensus
RFID
RGB
RMSE
SAD
SIFT
SLAM
SURF
SVM
TP
Radio Frequency Identification
Red Green and Blue
Root Mean Square Error
Sum of Absolute Differences
Scale Invariant Feature Transforms
Simultaneous Localization and Mapping
Speeded Up Robust Features
Support Vector Machine
True Positive
Tạ Quang Bửu
Visual Odometry
Wireless Fidelity
TQB
VO
WIFI
vii
DANH MỤC CÁC BẢNG
Bảng 2.1 Bảng tổng hợp thông tin về 03 môi trường thử nghiệm . . . . . . 46
Bảng 2.2 Tốc độ lấy mẫu (fps) của các camera tại các môi trường thử nghiệm 47
Bảng 2.3 Dữ liệu thu thập tại E1:NĐC . . . . . . . . . . . . . . . . . . . . 47
Bảng 2.4 Dữ liệu thu thập tại E2:TQB . . . . . . . . . . . . . . . . . . . . 47
Bảng 2.5 Dữ liệu thu thập tại E3:MICA . . . . . . . . . . . . . . . . . . . 47
Bảng 2.6 Kết quả đánh giá RMSE tại E1:NĐC . . . . . . . . . . . . . . . . 48
Bảng 2.7 Kết quả đánh giá độ sai số tiêu chuẩn RMSE tại E2:TQB . . . . 50
Bảng 2.8 Kết quả đánh giá độ sai số tiêu chuẩn RMSE tại E3:MICA . . . . 52
Bảng 2.9 So sánh khả năng định vị của giải thuật FAB-MAP* tại E1:NĐC
54
Bảng 2.10 Kết quả đánh giá so sánh giải thuật định vị FAB-MAP* tại E2:TQB 56
Bảng 2.11 Kết quả đánh giá so sánh giải thuật định vị FAB-MAP* tại E3:MICA 57
Bảng 3.1 Kết quả thu nhận dữ liệu khung cảnh/đường đi phục vụ đánh giá 88
Bảng 3.2 Thu thập dữ liệu đánh giá phát hiện và ước lượng khoảng cách
vật cản . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
Bảng 3.3 Kết quả phát hiện đối tượng theo phương pháp đề xuất . . . . . 91
Bảng 3.4 Kết quả phát đánh giá so sánh với phương pháp Haar-AdaBoost
91
Bảng 3.5 Kết quả dự đoán độ sai số ước lượng khoảng cách vật cản . . . . 93
Bảng 4.1 Danh sách tham gia thử nghiệm dẫn đường tại E1:NĐC . . . . . 112
Bảng 4.2 Danh sách tham gia đánh giá hệ thống dẫn đường tại E2:TQB . 113
Bảng 4.3 Danh sách tham gia đánh giá hệ thống dẫn đường tại E3:MICA . 114
Bảng 4.4 Kết quả đánh giá điểm xuất phát của robot . . . . . . . . . . . . 117
Bảng 4.5 Kết quả đánh giá vai trò lọc Kalman trong điều khiển robot . . . 118
Bảng 4.6 Kết quả sai số định vị sử dụng sai số trung vị . . . . . . . . . . . 118
viii
Bảng 4.7 Kết quả sai số định vị sử dụng sai số trung bình . . . . . . . . . . 119
Bảng 4.8 Bảng câu hỏi phỏng vấn trước và sau khi sử dụng hệ thống . . . 119
Bảng 4.9 Tổng hợp kết quả tần số rung (Hz) phản hồi thông tin môi trường 121
Bảng 4.10 Kết quả đánh giá độ sai số RMSE khi robot chuyển động tịnh tiến 122
Bảng 4.11 Kết quả đánh giá hiệu năng robot dẫn đường chuyển động tịnh tiến122
Bảng 4.12 Kết quả đánh giá robot dẫn đường chuyển động tịnh tiến . . . . 123
Bảng 4.13 Kết quả đánh giá độ sai số RMSE với kịch bản robot chuyển động
tịnh tiến và quay tại E1:NĐC . . . . . . . . . . . . . . . . . . . . . . . 123
Bảng 4.14 Kết quả robot dẫn đường chuyển động quay và tịnh tiến tại E1:NĐC124
Bảng 4.15 Đánh giá các lần thử nghiệm hệ thống dẫn đường tại E1:NĐC . . 125
Bảng 4.16 Kết quả sai số RMSE robot phát hiện vật cản xuất hiện bất ngờ
tại E1:NĐC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
Bảng 4.17 Kết quả đánh giá hiệu năng dẫn đường robot phát hiện vật cản . 126
Bảng 4.18 Kết quả đánh giá robot dẫn đường chuyển động quay và tịnh tiến 127
Bảng 4.19 Kết quả đánh giá độ sai số RMSE tại E2:TQB . . . . . . . . . . 127
Bảng 4.20 Kết quả đánh giá hiệu năng dẫn đường robot tại E2:TQB . . . . 128
Bảng 4.21 Tổng hợp kết quả robot dẫn đường tại E2:TQB . . . . . . . . . . 129
Bảng 4.22 Kết quả đánh giá độ sai số RMSE tại E3:MICA . . . . . . . . . . 129
Bảng 4.23 Kết quả đánh giá hiệu năng dẫn đường của robot tại E3:MICA . 129
Bảng 4.24 Tổng hợp kết quả robot dẫn đường tại E3:MICA . . . . . . . . . 130
Bảng 4.25 Bảng tổng hợp thông số kỹ thuật . . . . . . . . . . . . . . . . . . 131
Bảng B.1 Quy định thang tính điểm phần thi nhận dạng RobotVision2013 182
Bảng B.2 Kết quả nhận dạng tượng CSDL Naiscorp 2012 . . . . . . . . . . 183
Bảng B.3 Kết quả điểm nhận dạng đối tượng CSDL Robot Vision 2013 . . 185
ix
DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ
Hình 1.1 Các thành phần chính của hệ thống đề xuất Robot trợ giúp NKT 13
Hình 2.1 Mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa . 22
Hình 2.2 Minh họa di chuyển của robot với vận tốc v và góc lái α . . . . . 24
Hình 2.3 Các bước giải thuật đo hành trình bằng thông tin hình ảnh VO . 25
Hình 2.4 Một số trường hợp lỗi tích lũy khi xây dựng bản đồ . . . . . . . . 26
Hình 2.5 Một số cấu trúc mặt nền thử nghiệm thuật toán VO . . . . . . . 27
Hình 2.6 Tạo các điểm đánh dấu dọc hành trình . . . . . . . . . . . . . . . 28
Hình 2.7 Minh họa số điểm đặc trưng phát hiện trên mặt sàn . . . . . . . . 28
Hình 2.8 Minh họa phương pháp thử nghiệm khi tạo các mẫu đánh dấu . . 29
Hình 2.9 Các bước của giải thuật FAB-MAP [29] . . . . . . . . . . . . . . 30
Hình 2.10 Xây dựng từ điển và biểu diễn quan sát theo mô hình túi từ . . . 32
Hình 2.11 Một số những thách thức khi nhận dạng vị trí trong môi trường . 33
Hình 2.12 Cây nhị phân Chow liu theo hướng đồ thị có hướng . . . . . . . . 34
Hình 2.13 Biểu diễn các quan sát cùng xuất hiện tại một thời điểm . . . . . 34
Hình 2.14 Biểu diễn vị trí Li thành phần quan sát eq và quan sát có nhiễu zq 35
Hình 2.15 Xác định khung cảnh phân biệt: (a) Chuỗi hình ảnh khung cảnh;
(b) Khung cảnh đại diện . . . . . . . . . . . . . . . . . . . . . . . . . . 40
Hình 2.16 Xác định các khung cảnh có cấu trúc giống nhau . . . . . . . . . 41
Hình 2.17 Minh họa các bước trích chọn đặc trưng GIST . . . . . . . . . . . 42
Hình 2.18 Minh họa kết quả loại bỏ khung cảnh có cấu trúc giống nhau . . 42
Hình 2.19 Minh họa các bước thực hiện giải thuật FAB-MAP* . . . . . . . . 43
Hình 2.20 Minh họa bước thực hiện cập nhật điểm mốc quan trọng . . . . . 44
Hình 2.21 Mô hình định vị sử dụng thông tin hình ảnh sử dụng robot . . . . 45
x
Hình 2.22 Hệ thống thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . . . 46
Hình 2.23 Biểu đồ so sánh RMSE giữa VO và VO* tại E1:NĐC . . . . . . . 49
Hình 2.24 Minh họa giá trị ngưỡng θV O quyết định số điểm đặc trưng . . . . 49
Hình 2.25 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E1:NĐC . . . . 50
Hình 2.26 Biểu đồ so sánh RMSE giữa VO và VO* tại E2:TQB . . . . . . . 51
Hình 2.27 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E2:TQB . . . . 51
Hình 2.28 Biểu đồ so sánh sai số RMSE giữa VO và VO* tại E3:MICA . . . 52
Hình 2.29 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E3:MICA . . . 53
Hình 2.30 Biểu đồ so sánh giải thuật định vị FAB-MAP* tại E1:NĐC . . . . 55
Hình 2.31 Minh họa kết quả định vị FAB-MAP* tại E1:NĐC . . . . . . . . 55
Hình 2.32 Biểu đồ so sánh giải thuật định vị FAB-MAP* tại E2:TQB . . . . 56
Hình 2.33 Minh họa kết quả định vị FAB-MAP* tại E2:TQB . . . . . . . . 57
Hình 2.34 Biểu đồ so sánh hai phương pháp định vị FAB-MAP* tại E3:MICA 58
Hình 2.35 Minh họa kết quả định vị giải thuật FAB-MAP* tại E3:MICA . . 58
Hình 3.1 Định nghĩa bài toán phát hiện và ước lượng khoảng cách . . . . . 61
Hình 3.2 Mô hình phát hiện và ước lượng khoảng cách vật cản . . . . . . . 66
Hình 3.3 Sơ đồ các bước thực hiện phát hiện vật cản cố định . . . . . . . . 68
Hình 3.4 Kết quả trích chọn đặc trưng SIFT . . . . . . . . . . . . . . . . . 69
Hình 3.5 Minh họa giải thuật đối sánh các điểm đặc trưng . . . . . . . . . 70
Hình 3.6 Kết quả đối sánh các điểm đặc trưng phát hiện . . . . . . . . . . 70
Hình 3.7 Kết quả loại bỏ một số cặp điểm đối sánh (matching) yếu . . . . 71
Hình 3.8 Lưu đồ giải thuật tính ma trận H . . . . . . . . . . . . . . . . . . 72
Hình 3.9 Minh họa kết quả xác định vùng chứa đối tượng . . . . . . . . . . 74
Hình 3.10 Sơ đồ các bước phát hiện người sử dụng HoG-SVM . . . . . . . . 75
Hình 3.11 Mô hình ước lượng khoảng cách vật cản từ hai quan sát . . . . . 77
Hình 3.12 Hình ảnh của đối tượng (cây) quan sát từ hai góc thu nhận . . . 78
xi
Hình 3.13 Sơ đồ các bước tính bản đồ chênh lệch và ước lượng khoảng cách
80
Hình 3.14 Minh họa hai quan sát khi camera chuyển động . . . . . . . . . . 81
Hình 3.15 Kết quả tìm đường eplipolar trên mô hình camera chuyển động . 82
Hình 3.16 Minh họa hiệu chỉnh hình ảnh trên cùng mặt phẳng ngang . . . . 82
Hình 3.17 Kết quả hiệu chỉnh hình ảnh . . . . . . . . . . . . . . . . . . . . . 84
Hình 3.18 Dò tìm khối dữ liệu trên hai ảnh được hiệu chỉnh . . . . . . . . . 85
Hình 3.19 Kết quả đối sánh ảnh sử dụng giải thuật SAD . . . . . . . . . . . 85
Hình 3.20 Minh họa phương pháp tính bản độ chênh lệch . . . . . . . . . . 86
Hình 3.21 Kết quả phát hiện & ước lượng khoảng cách vật cản trên ảnh độ sâu 87
Hình 3.22 Minh họa hình ảnh thu nhận dữ liệu tại khung hình 289 . . . . . 88
Hình 3.23 Minh họa chuẩn bị dữ liệu đánh giá phát hiện đối tượng . . . . . 89
Hình 3.24 Minh họa phương pháp đo khoảng cách vị trí vật cản trên thực địa 89
Hình 3.25 Biểu đồ đánh giá so sánh hai phương pháp phát hiện đối tượng . 92
Hình 3.26 Một số hình ảnh phát hiện đối tượng của hai phương pháp. Hình
chữ nhật màu xanh là kết quả phát hiện bằng tay, màu đỏ là kết quả
phát hiện tự động . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
Hình 3.27 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp Chậu hoa
94
Hình 3.28 Minh họa dự đoán khoảng cách lớp đối tượng chậu hoa . . . . . . 94
Hình 3.29 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp Bình cứu hỏa 95
Hình 3.30 Minh họa dự đoán khoảng cách lớp đối tượng bình cứu hỏa . . . . 95
Hình 3.31 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp thùng rác
96
Hình 3.32 Minh họa dự đoán khoảng cách lớp đối tượng thùng rác . . . . . 96
Hình 3.33 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp người . . . 97
Hình 3.34 Minh họa dự đoán khoảng cách lớp đối tượng người . . . . . . . . 97
Hình 4.1 Tích hợp các thiết bị phần cứng lên robot . . . . . . . . . . . . . 100
Hình 4.2 Mô hình tổng quát của hệ thống đề xuất . . . . . . . . . . . . . . 101
Hình 4.3 Minh họa đường đi từ hai điểm biết trước trên bản đồ môi trường 103
xii
Hình 4.4 Lược đồ điều khiển robot . . . . . . . . . . . . . . . . . . . . . . 104
Hình 4.5 Các bước tính toán chính của giải thuật của lọc Kalman . . . . . 106
Hình 4.6 Minh họa các bước điều khiển sử dụng lọc Kalman . . . . . . . . 107
Hình 4.7 Lược đồ điều khiển robot sử dụng lọc Kalman . . . . . . . . . . . 109
Hình 4.8 Minh họa tương tác giữa người-robot . . . . . . . . . . . . . . . 111
Hình 4.9 Bản đồ tầng 2 khu nội trú Trường THCS Nguyễn Đình Chiểu . . 112
Hình 4.10 Bản đồ thử nghiệm robot dẫn đường hành lang tầng 5 tại E2:TQB 113
Hình 4.11 Kịch bản thử nghiệm robot dẫn đường tại E3:MICA . . . . . . . 114
Hình 4.12 Kết quả đánh giá việc xác định vị trí xuất phát của robot . . . . 116
Hình 4.13 Vai trò của lọc Kalman trong điều khiển robot . . . . . . . . . . . 117
Hình 4.14 Một số học sinh khiếm thị tham gia đánh giá tương tác người-robot120
Hình 4.15 Thử nghiệm các tần số rung trên điện thoại di động với NKT . . 121
Hình 4.16 Một số hình ảnh robot chuyển động tịnh tiến tại E1-NĐC . . . . 122
Hình 4.17 Hình ảnh thử nghiệm robot dẫn đường gặp sự cố tại E1-NĐC . . 123
Hình 4.18 Minh họa robot chuyển động quay và tịnh tiến tại E1:NĐC . . . . 124
Hình 4.19 Một số hình ảnh robot chuyển động quay và tịnh tiến tại E1-NĐC 125
Hình 4.20 Kịch bản robot phát hiện vật cản tại E1:NĐC . . . . . . . . . . . 126
Hình 4.21 Minh họa trường hợp vật cản xuất hiện bất ngờ E1:NĐC . . . . . 127
Hình 4.22 Minh họa hình ảnh robot dẫn đường tại E2:TQB . . . . . . . . . 128
Hình 4.23 Minh họa hình ảnh robot dẫn đường tại E3:MICA . . . . . . . . . 130
Hình 4.24 Lược đồ thời gian trung bình vận hành điều khiển robot dẫn đường131
Hình 4.25 Một số hình ảnh trong phóng sự “cuộc sống tươi” đẹp phát trên
kênh VTV4 - Đài truyền hình Việt Nam . . . . . . . . . . . . . . . . . 149
Hình A.1 Minh họa phát hiện các điểm đặc trưng Harris-Corner . . . . . . 151
Hình A.2 Một số trường hợp phát hiện đặc trưng Harris-Corner . . . . . . . 152
Hình A.3 Một số trường hợp phát hiện đặc trưng Harris-Corner . . . . . . . 152
xiii
Hình A.4 Minh họa đặc trưng biểu diễn các điểm đặc biệt trong ảnh . . . . 154
Hình A.5 Mô tả tạo bộ mô tả các điểm đặc trưng (nguồn [87]) . . . . . . . 157
Hình A.6 Minh họa đặc trưng SURF biểu diễn các điểm đặc biệt trong ảnh 158
Hình A.7 Minh họa xấp xỉ đạo hàm cấp 2 hàm Gaussian [5] . . . . . . . . . 158
Hình A.8 Minh họa giảm không gian không gian trong biểu diễn đặc trưng 159
Hình A.9 Minh họa các điểm quan tâm được phát hiện quanh tâm . . . . . 160
Hình A.10 Phép lọc Haar wavelet: x (trái) và y hướng (phải). Vùng đen trọng
số -1 và vùng trắng trọng số +1 . . . . . . . . . . . . . . . . . . . . . . 161
π
3
Hình A.11 Gán hướng: một cửa sổ kích thước
. . . . . . . . . . . . . . . . 161
Hình A.12 Xác định ô 4 × 4 hình vuông con xung quanh điểm đặc trưng . . 162
Hình A.13 Các mô tả của miền đại diện cho tính chất của mẫu . . . . . . . . 163
Hình A.14 Một số trường hợp so khớp giữa các đặc trưng . . . . . . . . . . . 163
Hình A.15 Minh họa các tính chất của khung cảnh . . . . . . . . . . . . . . 164
Hình A.16 Bộ lọc Gabor 4 tỉ lệ, 8 hướng . . . . . . . . . . . . . . . . . . . . 165
Hình A.17 Minh họa quá trình trích chọn đặc trưng HoG . . . . . . . . . . . 166
Hình A.18 Thứ tự các Histogram với các góc khác nhau (0o đến 180o) . . . . 167
Hình A.19 Hai loại hình học khối chính của đặc trưng HoG . . . . . . . . . . 168
Hình A.20 Ví dụ minh họa các bước trích chọn đặc trưng HoG . . . . . . . . 169
Hình A.21 Tính góc và biên độ theo Gradient-X và Gradient-Y . . . . . . . . 169
Hình A.22 Một số ứng dụng phát hiện đối tượng sử dụng đặc trưng Haar . . 170
Hình A.23 Các kiểu cơ bản của đặc trưng Haar . . . . . . . . . . . . . . . . 171
Hình A.24 Cách tính tổng các điểm ảnh trong một hình chữ nhật bất kì . . . 171
Hình B.1 Minh họa cơ sở dữ liệu Robot Vision 2013 . . . . . . . . . . . . . 173
Hình B.2 Minh họa 20 lớp đối tượng trong Pascal VOC . . . . . . . . . . . 174
Hình B.3 Những khó khăn thách thưc trên 3 CSDL đề xuất . . . . . . . . . 175
Hình B.4 Các lớp đối tượng trong CSDL Naicorp 2012 . . . . . . . . . . . . 176
xiv
Hình B.5 Khung làm việc tổng quát phát hiện và nhận dạng đối tượng . . . 177
Hình B.6 Minh họa giải thuật Adaboost . . . . . . . . . . . . . . . . . . . . 178
Hình B.7 Mô hình phân tầng CascadeAdaboost . . . . . . . . . . . . . . . . 179
Hình B.8 Siêu phẳng tách với khoảng cách lề cực đại SVM . . . . . . . . . 180
Hình B.9 Phân tách theo siêu phẳng (w,b) trong không gian 2 chiều tập mẫu 181
Hình B.10 Minh họa các bước tính toán k-NN . . . . . . . . . . . . . . . . . 181
Hình B.11 Một số kết quả nhận dạng đúng/sai CSDL Naicorp 2012 . . . . . 184
Hình B.12 Một số kết quả nhận dạng đúng/sai CSDL RobotVision2013 . . . 184
Hình B.13 Đồ thị AP của 20 lớp đối tượng CSDL PascalVOC 2007 . . . . . 186
Hình B.14 Đồ thị AP từng lớp đối tượng CSDL PascalVOC 2007 . . . . . . 186
Hình B.15 Kết quả nhận dạng đối tượng trong CSDL Pascal VOC 2007 . . . 187
Hình B.16 Kết quả nhận dạng đối tượng trong CSDL Pascal VOC 2007 . . . 187
Hình C.1 Một số giải pháp thu thập dữ liệu từ 2 camera . . . . . . . . . . . 188
Hình C.2 Một số lỗi khi xây dựng bản đồ tại môi trường trong nhà . . . . . 189
Hình C.3 Một số lỗi khi xây dựng bản đồ tại môi trường ngoài trời . . . . . 189
Hình C.4 Thiết kế xe camera thu thập dữ liệu . . . . . . . . . . . . . . . . 190
Hình C.5 Mô hình thu nhận ảnh của camera . . . . . . . . . . . . . . . . . 191
Hình C.6 Các loại biến dạng khi thu nhận ảnh . . . . . . . . . . . . . . . . 192
Hình C.7 Quá trình hiệu chỉnh méo hình ảnh từ camera góc nhìn rộng . . . 193
Hình C.8 Các phiên bản của robot PC-Bot 914 . . . . . . . . . . . . . . . . 194
Hình C.9 Vị trí lắp các cảm biển hồng ngoại IR . . . . . . . . . . . . . . . 195
Hình C.10 Cơ cấu bánh xe điều khiển của robot PC-Bot 914 . . . . . . . . . 195
xv
MỞ ĐẦU
Tính cấp thiết, ý nghĩa khoa học của luận án
Năm 2013, theo công bố của Tổ chức Y tế thế giới (WHO) trên thế giới có khoảng
285 triệu người suy giảm thị lực, trong đó 246 triệu người có thị lực kém ở mức độ vừa
phải đến mức độ nặng và 39 triệu người mù [107]. Tại Việt Nam, theo số liệu của Viện
mắt Trung ương cung cấp, có khoảng 1.2 triệu NKT, trong đó 820.503 người không
còn khả năng nhìn thấy ánh sáng. Nếu tính cả những người bị các tật về mắt như cận
hoặc viễn thì con số này còn lớn hơn rất nhiều.
Số lượng NKT lớn, bản thân NKT gặp nhiều khó khăn trong cuộc sống cũng như
nắm bắt các cơ hội việc làm. Chính vì vậy, trợ giúp NKT là vấn đề thu hút sự quan
tâm của nhiều nhà khoa học trong thời gian gần đây. Trong số các yêu cầu trợ giúp,
trợ giúp định hướng là cần thiết và chỉ dẫn để giúp họ tránh các vật cản trên đường
đi hay đưa ra các thông báo về môi trường xung quanh.
Trên thực tế, nhiều phương pháp đã được nghiên cứu và triển khai nhằm hỗ trợ
định hướng cho NKT, như sử dụng gậy [32], chó dẫn đường [32], hay thiết bị điện tử
[14]. Mỗi phương pháp có những ưu nhược điểm riêng: gậy dẫn đường bị hạn chế phạm
vi phát hiện vật cản theo kích thước của gậy; chó dẫn đường thường có chi phí cao và
gây trở ngại về tâm sinh lý đối với người dùng; thiết bị điện tử như các điện cực đặt
trên lưỡi có thể gây tâm lý ngại ngần khi sử dụng.
Trong bối cảnh này, nghiên cứu và phát triển một hệ thống trợ giúp dẫn đường
hiệu quả và thân thiện trợ giúp NKT vẫn là chủ đề đầy thách thức, động lực để NCS
thực hiện đề tài: “Nghiên cứu phát triển một số kỹ thuật định vị dựa trên hình ảnh,
ứng dụng trợ giúp dẫn đường cho người khiếm thị”.
Mục tiêu và những thách thức
Xuất phát từ ý tưởng tạo ra một hệ thống hỗ trợ giống như một người bạn đồng
hành có khả năng giao tiếp thân thiện và hiệu quả. Luận án hướng đến phát triển một
hệ thống trợ giúp định hướng và cảnh báo vật cản cho NKT sử dụng robot di động.
Để đạt được mục tiêu này, robot cần có khả năng nhận biết và di chuyển giữa các
vị trí trong môi trường và nhận dạng được các vật cản trên đường đi. Do vậy, chúng
tôi chia các mục tiêu đạt được thành ba bài toán cụ thể:
1
1. Biểu diễn môi trường và định vị: Với mục tiêu dẫn đường cho NKT đi từ vị
trí hiện tại đến vị trí mong muốn trong môi trường, robot phải biết mình đang
ở đâu trong môi trường và đường đi đến vị trí đích như thế nào.
Để giải quyết vấn đề này, bản đồ môi trường phải được xây dựng từ trước và
robot phải có khả năng định vị từ một vị trí bất kỳ trên bản đồ. Mặc dù có nhiều
phương pháp đã được đề xuất, hướng tiếp cận tổng quát và bền vững với các yếu
tố môi trường đang là những mục tiêu mà các nhà khoa học theo đuổi.
2. Phát hiện và ước lượng khoảng cách vật cản: Trong quá trình di chuyển,
để đảm bảo an toàn cho NKT cũng như cho sự di chuyển của robot, các vật cản
trong môi trường bao gồm vật cản tĩnh và động cần phải được phát hiện và cảnh
báo về mức độ nguy hiểm có thể gây ra.
Ngoài các thách thức chung của bài toán phát hiện đối tượng trong lĩnh vực thị
giác máy tính như điều kiện chiếu sáng thay đổi, che khuất, bóng, luận án còn
phải giải quyết với chất lượng ảnh không tốt do rung lắc của thiết bị, camera di
chuyển và ước lượng khoảng cách giữa NKT và vật cản trong thời gian thực.
3. Dẫn đường, điều khiển và tương tác người robot: Trong ngữ cảnh của bài
toán robot dẫn đường thì việc tìm đường tối ưu là một phần quan trọng, đặc biệt
với việc dẫn đường cần phải thực hiện với độ chính xác cao trong khi vẫn đảm
bảo an toàn cho NKT.
Bên cạnh đó, điều khiển robot di chuyển đúng hành trình, giảm sai số định vị là
một thách thức trong lĩnh vực điều khiển động học. Tương tác người-robot phải
thân thiện, tự nhiên và hiệu quả để NKT cảm nhận được các trạng thái hệ thống
đang hoạt động và đưa ra các phản hồi kịp thời mà không mất đi các giác quan
tự nhiên là một bài toán đòi hỏi nhiều thời gian thử nghiệm trên người dùng
khiếm thị.
Những điểm mới của luận án
Để giải quyết 03 bài toán nêu trên, chúng tôi đã đề xuất và cải tiến một số phương
pháp với những đóng góp chính sau đây:
1. Đề xuất mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa trong
đó bản đồ số liệu và bản đồ topo được tích hợp cùng với các thông tin về vật cản
tĩnh trong môi trường.
2. Nâng cao độ chính xác của giải thuật xây dựng bản đồ và định vị sử dụng hình
ảnh, vốn thường được thiết kế cho môi trường ngoài trời nhưng gặp phải các khó
khăn khi hoạt động trong môi trường trong nhà.
2
3. Đề xuất phương pháp phát hiện một số vật cản phù hợp với ngữ cảnh của bài
toán robot dẫn đường.
4. Chứng minh bằng thực nghiệm tính khả thi của giải pháp đề xuất thông qua việc
phát triển ứng dụng trợ giúp định hướng NKT sử dụng robot.
Cấu trúc của luận án
Luận án gồm 4 chương với nội dung tóm tắt như sau:
◦ Chương 1: Tổng quan về thống trợ giúp người khiếm thị giới thiệu một
số nghiên cứu trong và ngoài nước về trợ giúp định hướng NKT, phân tích ưu
nhược điểm của các phương pháp và đề xuất hệ thống “Trợ giúp dẫn đường cho
NKT di chuyển trong môi trường diện hẹp sử dung robot”.
◦ Chương 2: Biểu diễn môi trường và định vị đề xuất mô hình biểu diễn
môi trường và định vị dựa trên hình ảnh. Hai giải thuật với những cải tiến sẽ
được giới thiệu là giải thuật đo hành trình VO nhằm xây dựng bản đồ số liệu,
giải thuật xây dựng bản đồ topo và định vị FAB-MAP sử dụng hình ảnh.
◦ Chương 3: Phát hiện và ước lượng khoảng cách vật cản trình bày một
phương pháp đề xuất cho việc phát hiện vật cản dựa trên kỹ thuật đối sánh ảnh
và ước lượng khoảng cách vật cản dựa trên tính toán ảnh sai khác từ các quan
sát khác nhau trên 01 camera.
◦ Chương 4: Thử nghiệm và đánh giá hệ thống dẫn đường, trình bày hệ
thống dẫn đường hoàn chỉnh tích hợp các thiết bị phần cứng và phát triển thêm
một số chức năng khác như tìm đường, điều khiển, tương tác người robot sử dụng
các kỹ thuật cơ bản sẵn có. Phần thử nghiệm và đánh giá trên người dùng khiếm
thị 100% không nhìn thấy ánh sáng tại 03 môi trường khác nhau.
3
Tải về để xem bản đầy đủ
212 trang
20260
Free
Bạn đang xem 20 trang mẫu của tài liệu "Luận án Nghiên cứu và phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- luan_an_nghien_cuu_va_phat_trien_mot_so_ky_thuat_dinh_vi_dua.pdf
