Tóm tắt Luận án Nghiên cứu và phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

NGUYỄN QUỐC HÙNG

NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT

ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG

TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ

Chuyên ngành: Khoa học Máy tính

Mã số: 62480101

TÓM TẮT LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH

Hà Nội − 2016

Công trình được hoàn thành tại:

Trường Đại học Bách khoa Hà Nội

Người hướng dẫn khoa học:

1. TS. Trần Thị Thanh Hải

2. PGS.TS. Nguyễn Quang Hoan

Phản biện 1:

Phản biện 2:

Phản biện 3:

Luận án được bảo vệ trước Hội đồng đánh giá luận án tiến sĩ

cấp Trường họp tại Trường Đại học Bách khoa Hà Nội:

Vào hồi..............giờ, ngày.......tháng.......năm.......

Có thể tìm hiểu luận án tại thư viện:

1. Thư viện Tạ Quang Bửu - Trường ĐHBK Hà Nội

2. Thư viện Quốc gia Việt Nam

MỞ ĐẦU

Tính cấp thiết, ý nghĩa khoa học của luận án

Năm 2013, theo công bố của Tổ chức Y tế thế giới (WHO) trên thế giới có khoảng 285

triệu người suy giảm thị lực, trong đó 246 triệu người có thị lực kém ở mức độ vừa phải

đến mức độ nặng và 39 triệu người mù [19]. Tại Việt Nam, theo số liệu của Viện mắt Trung

ương cung cấp, có khoảng 1.2 triệu người khiếm thị (NKT), trong đó 820.503 người không

còn khả năng nhìn thấy ánh sáng. Nếu tính cả những người bị các tật về mắt như cận hoặc

viễn thì con số này còn lớn hơn rất nhiều.

Số lượng NKT lớn, bản thân NKT gặp nhiều khó khăn trong cuộc sống cũng như nắm

bắt các cơ hội việc làm. Chính vì vậy, trợ giúp NKT là vấn đề thu hút sự quan tâm của

nhiều nhà khoa học trong thời gian gần đây. Trong số các yêu cầu trợ giúp, trợ giúp định

hướng là cần thiết và chỉ dẫn để giúp họ tránh các vật cản trên đường đi hay đưa ra các

thông báo về môi trường xung quanh.

Trên thực tế, nhiều phương pháp đã được nghiên cứu và triển khai nhằm hỗ trợ định

hướng cho NKT, như sử dụng gậy [8], chó dẫn đường [8], hay thiết bị điện tử [2]. Mỗi phương

pháp có những ưu nhược điểm riêng: gậy dẫn đường bị hạn chế phạm vi phát hiện vật cản

theo kích thước của gậy; chó dẫn đường thường có chi phí cao và gây trở ngại về tâm sinh

lý đối với người dùng; thiết bị điện tử như các điện cực đặt trên lưỡi có thể gây tâm lý ngại

ngần khi sử dụng.

Trong bối cảnh này, nghiên cứu và phát triển một hệ thống trợ giúp dẫn đường hiệu

quả và thân thiện trợ giúp NKT vẫn là chủ đề đầy thách thức, động lực để NCS thực hiện

đề tài: “Nghiên cứu phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp

dẫn đường cho người khiếm thị”.

Mục tiêu và những thách thức

Xuất phát từ ý tưởng tạo ra một hệ thống hỗ trợ giống như một người bạn đồng hành

có khả năng giao tiếp thân thiện và hiệu quả. Luận án hướng đến phát triển một hệ thống

trợ giúp định hướng và cảnh báo vật cản cho NKT sử dụng robot di động.

Để đạt được mục tiêu này, robot cần có khả năng nhận biết và di chuyển giữa các vị trí

trong môi trường và nhận dạng được các vật cản trên đường đi. Do vậy, chúng tôi chia các

mục tiêu đạt được thành ba bài toán cụ thể:

1. Biểu diễn môi trường và định vị: Với mục tiêu dẫn đường cho NKT đi từ vị trí

hiện tại đến vị trí mong muốn trong môi trường, robot phải biết mình đang ở đâu

trong môi trường và đường đi đến vị trí đích như thế nào. Để giải quyết vấn đề này,

bản đồ môi trường phải được xây dựng từ trước và robot phải có khả năng định vị từ

một vị trí bất kỳ trên bản đồ. Mặc dù có nhiều phương pháp đã được đề xuất, hướng

tiếp cận tổng quát và bền vững với các yếu tố môi trường đang là những mục tiêu mà

các nhà khoa học theo đuổi.

2. Phát hiện và ước lượng khoảng cách vật cản: Trong quá trình di chuyển, để đảm

bảo an toàn cho NKT cũng như cho sự di chuyển của robot, các vật cản trong môi

trường bao gồm vật cản tĩnh và động cần phải được phát hiện và cảnh báo về mức

độ nguy hiểm có thể gây ra. Ngoài các thách thức chung của bài toán phát hiện đối

tượng trong lĩnh vực thị giác máy tính như điều kiện chiếu sáng thay đổi, che khuất,

1

bóng, luận án còn phải giải quyết với chất lượng ảnh không tốt do rung lắc của thiết

bị, camera di chuyển và ước lượng khoảng cách giữa NKT và vật cản trong thời gian

thực.

3. Dẫn đường, điều khiển và tương tác người robot: Trong ngữ cảnh của bài toán

robot dẫn đường thì việc tìm đường tối ưu là một phần quan trọng, đặc biệt với việc

dẫn đường cần phải thực hiện với độ chính xác cao trong khi vẫn đảm bảo an toàn

cho NKT. Bên cạnh đó, điều khiển robot di chuyển đúng hành trình, giảm sai số định

vị là một thách thức trong lĩnh vực điều khiển động học. Tương tác người-robot phải

thân thiện, tự nhiên và hiệu quả để NKT cảm nhận được các trạng thái hệ thống đang

hoạt động và đưa ra các phản hồi kịp thời mà không mất đi các giác quan tự nhiên là

một bài toán đòi hỏi nhiều thời gian thử nghiệm trên người dùng khiếm thị.

Những điểm mới của luận án

Để giải quyết 03 bài toán nêu trên, chúng tôi đã đề xuất và cải tiến một số phương

pháp với những đóng góp chính sau đây:

1. Đề xuất mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa trong đó bản

đồ số liệu và bản đồ topo được tích hợp cùng với các thông tin về vật cản tĩnh trong

môi trường.

2. Nâng cao độ chính xác của giải thuật xây dựng bản đồ và định vị sử dụng hình ảnh,

vốn thường được thiết kế cho môi trường ngoài trời nhưng gặp phải các khó khăn khi

hoạt động trong môi trường trong nhà.

3. Đề xuất phương pháp phát hiện một số vật cản phù hợp với ngữ cảnh của bài toán

robot dẫn đường.

4. Chứng minh bằng thực nghiệm tính khả thi của giải pháp đề xuất thông qua việc phát

triển ứng dụng trợ giúp định hướng NKT sử dụng robot.

Cấu trúc của luận án

Luận án gồm 4 chương với nội dung tóm tắt như sau:

◦ Chương 1: Tổng quan về thống trợ giúp người khiếm thị giới thiệu một số

nghiên cứu trong và ngoài nước về trợ giúp định hướng NKT, phân tích ưu nhược điểm

của các phương pháp và đề xuất hệ thống “Trợ giúp dẫn đường cho NKT di chuyển

trong môi trường diện hẹp sử dung robot”.

◦ Chương 2: Biểu diễn môi trường và định vị đề xuất mô hình biểu diễn môi

trường và định vị dựa trên hình ảnh. Hai giải thuật với những cải tiến sẽ được giới

thiệu là giải thuật đo hành trình VO nhằm xây dựng bản đồ số liệu, giải thuật xây

dựng bản đồ topo và định vị FAB-MAP sử dụng hình ảnh.

◦ Chương 3: Phát hiện và ước lượng khoảng cách vật cản trình bày một phương

pháp đề xuất cho việc phát hiện vật cản dựa trên kỹ thuật đối sánh ảnh và ước lượng

khoảng cách vật cản dựa trên tính toán ảnh sai khác từ các quan sát khác nhau trên

01 camera.

◦ Chương 4: Thử nghiệm và đánh giá hệ thống dẫn đường, trình bày hệ thống

dẫn đường hoàn chỉnh tích hợp các thiết bị phần cứng và phát triển thêm một số chức

năng khác như tìm đường, điều khiển, tương tác người robot sử dụng các kỹ thuật cơ

bản sẵn có. Phần thử nghiệm và đánh giá trên người dùng khiếm thị 100% không nhìn

thấy ánh sáng tại 03 môi trường khác nhau.

2

CHƯƠNG 1

TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP

NGƯỜI KHIẾM THỊ

1.1 Đặt vấn đề

1.2 Các nghiên cứu liên quan

1.2.1 Các nghiên cứu trên thế giới

1.2.2 Các nghiên cứu trong nước

1.2.3 Thảo luận

Các nghiên cứu và phân tích trên đây cho thấy các phương pháp trợ giúp NKT hiện tại

có một số ưu nhược điểm sau:

Các phương pháp sử dụng laser, lidar, siêu âm cho phép xác định nhanh và trợ giúp

cảnh báo thông tin vật cản cho NKT hoặc hỗ trợ trong quá trình đi lại. Tuy nhiên

nhóm các phương pháp này không xác định đối tượng vật cản là gì, mức độ nguy hiểm

ra sao và không có khả năng dẫn đường NKT trong môi trường.

Các phương pháp sử dụng hình ảnh đòi hỏi kỹ thuật xử lý hình ảnh phức tạp hơn,

tuy nhiên lượng tin nhiều hơn, cho phép phân loại đối tượng, xác định khoảng cách

và mức độ nguy hiểm. Cho nên nhóm các phương pháp này gặp nhiều thách thức của

các bài toán thị giác máy tính, dẫn hướng sử dụng hình ảnh, v.v.

Trong tất cả các phương pháp nêu trên, không có phương pháp nào thực hiện dẫn

đường cho NKT đến vị trí mong muốn mà chỉ hỗ trợ trong quá trình đi lại. Các

phương pháp cảnh báo vật cản chỉ dừng lại ở cảnh báo có hay không mà không chỉ rõ

đối tượng và mức độ nguy hiểm là gì.

1.3 Mục tiêu nghiên cứu và phương pháp đề xuất

1.3.1 Mục tiêu và phạm vi nghiên cứu

Trong khuôn khổ của LATS, chúng tôi đi theo hướng tiếp cận sử dụng cảm biến camera

bởi lượng thông tin hình ảnh thu thập được phong phú, cho phép đồng thời thực hiện bài

toán dẫn đường và phát hiện vật cản. Hơn nữa, cảm biến hình ảnh ngày càng có giá thành

rẻ và thông dụng với người dùng. Mục tiêu chúng tôi muốn hướng đến là:

− Nghiên cứu và phát triển một số kỹ thuật định vị sử dụng thông tin hình ảnh hiệu quả

phù hợp với môi trường trong nhà

− Ứng dụng triển khai hệ thống trợ giúp dẫn đường và cảnh báo vật cản cho NKT một

cách hiệu quả và thân thiện.

Trong LATS này, trợ giúp dẫn đường được hiểu là dẫn NKT di chuyển đến vị trí mong

muốn trên bản đồ với các cảnh báo về vật cản. Khi thiết kế một hệ thống, chúng tôi đều phải

dựa trên một số ràng buộc theo đặc thù của môi trường triển khai. Môi trường trong nhà

hay ngoài trời đều có những thách thức riêng. Do vậy chúng tôi giới hạn pham vi nghiên cứu

là môi trường trong nhà diện hẹp ví dụ như hành lang tòa nhà có gắn các thiết bị (wi-fi),

3

cảm biến (camera) cho phép thu thập các tín hiệu của môi trường nhằm phục vụ cho các

ứng dụng khác nhau. Hệ thống đề xuất chỉ phục vụ 01 người dùng tại một thời điểm.

1.3.2 Phương pháp đề xuất

Các thành phần chính của hệ thống đề xuất được mô tả như trong Hình 1.1 gồm robot

di động có gắn camera thu nhận hình ảnh môi trường, thực hiện các phép xử lý tính toán

để trả lời 02 câu hỏi chính: i) robot đang ở đâu? có những vật cản gì? ii) làm thế nào để dẫn

NKT đi đến vị trí mong muốn? khi NKT sử dụng điện thoại di động có kết nối không dây

để điều khiển và nhận phản hồi từ hệ thống. Trong quá trình dẫn, NKT bám vào một điểm

trên robot để đi theo.

•

Ñieän thoaïi

thoâng minh

•

Maïng Wireless

•

Camera

Hình 1.1 Các thành phần chính của hệ thống đề xuất Robot trợ giúp NKT

Để trả lời các câu hỏi đã đặt ra, 5 bài toán sau sẽ lần lượt giải quyết trong các chương

2, 3, 4 của luận án:

Biểu diễn môi trường (chương 2): Do yêu cầu của bài toán là dẫn đường giữa hai vị

trí nên bản đồ của môi trường cần phải xây dựng từ trước ở pha ngoại tuyến.

Định vị (chương 2): Để dẫn đường đến vị trí mong muốn, robot cần phải biết vị trí

hiện tại của nó ở đâu trên bản đồ môi trường.

Phát hiện và ước lượng khoảng cách vật cản (chương 3): Để cảnh báo vật cản, các vật

cản tĩnh và động trong môi trường phải được phát hiện và khoảng cách từ robot đến

vật cản phải được ước lượng.

Tìm đường và điều khiển di chuyển (chương 4): Để dẫn đường, robot phải tìm đường

từ vị trí hiện tại đến vị trí đích và phải được điều khiển để di chuyển giữa hai vị trí.

Tương tác người - hệ thống (chương 4): Yêu cầu của người dùng và đáp ứng của hệ

thống phải được thực hiện một cách tự nhiên, thân thiện và hiệu quả.

Trong phạm vi nghiên cứu của luận án, chúng tôi tập trung nghiên cứu giải quyết bài

toán 1, 2, 3 và phát triển ứng dụng hoàn chỉnh. Các bài toán còn lại được giải quyết dựa

trên các công cụ có sẵn.

1.4 Kết luận chương 1

4

CHƯƠNG 2

BIỂU DIỄN MÔI TRƯỜNG VÀ ĐỊNH VỊ

2.1 Giới thiệu chung

2.2 Những nghiên cứu liên quan

2.3 Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn môi trường

Xuất phát từ mục tiêu của luận án nghiên cứu phương pháp định vị sử dụng hình ảnh

hỗ trợ cho bài toán trợ giúp dẫn đường cho NKT, chúng tôi đề xuất mô hình biểu diễn môi

trường theo hướng tiếp cận lai ngữ nghĩa.

Ý nghĩa của cụm từ lai ngữ nghĩa được giải thích như sau. Bản đồ của môi trường được

cấu thành từ bản đồ số liệu và bản đồ topo. Ngoài ra, các thông tin vật cản tĩnh của môi

trường ở từng vị trí trên bản đồ cũng được xác định và đưa vào mô hình biểu diễn môi

trường như mô tả trong Hình 2.1 dưới đây:

y_(m)

ĐỊNH NGHĨA CÁC THÀNH PHẦN:

Hội trường

◦ Bản đồ được biểu diễn theo cấu trúc topo gồm một tập

N điểm trong môi trường sao cho tồn tại đường đi giữa

hai điểm kề cận:

WC

L_N

L^N= {L₁, L₂, ..., L_N}

Phòng họp

WC

◦ Mỗi điểm L_ivới i = 1, N chứa các thông tin sau:

Phòng ngủ

số 6

L_i= {M_i, Zⁱ, O_i}

I_i

Trong đó:

Phòng ngủ

số 5

1. M_i= {x_i, y_i, z_i} tọa độ điểm mốc trong hệ quy chiếu

L_i

đã được định nghĩa. Tọa độ được tính theo đơn vị (m)

Phòng ngủ

Điểm mốc

2. Zⁱ: Mô hình quan sát tại vị trí L_i

số 4

Phòng ngủ

3. O_i= {O_i, O_i.., O_i}: Tập vật cản xuất hiện trên ảnh I_i

1

2

j

số 3

vị trí L_ithu nhận

L₁

x_(m)

(0, 0)

Hình 2.1 Mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa

Để biểu diễn môi trường theo mô hình này, các nhiệm vụ sau cần thực hiện:

5

1. Xác định các vị trí mốc trong môi trường L_ivới i = 1, N

2. Xác định tọa độ các vị trí mốc trong môi trường M_i= (x_i, y_i, z_i).

3. Xác định các vật cản O_i= {O_i, O_i...O_i} trên ảnh I_ithu tại vị trí L_i. Tập vật cản

1

2

j

O_ithuộc các tập định nghĩa từ trước và hình dạng vật cản không ảnh hưởng đến mô

hình biểu diễn, chi tiết phương pháp xác định vật cản được trình bày tại CHƯƠNG

III của luận án.

2.4 Phương pháp xây dựng bản đồ môi trường

2.4.1 Xây dựng bản đồ số liệu

Bài toán đo hành trình sử dụng hình ảnh được phát biểu như sau: Cho trước chuỗi hình

ảnh liên tiếp thu thập từ camera I = {I₁, I₂, ..., I_N} trong đó N là tổng số ảnh thu thập được.

Xác định vị trí camera của trong quá trình di chuyển P = {P₁, P₂, ...P_N−1}. Nếu vị trí ban

đầu được biết trước, vị trí tiếp theo được xác định bởi một phép biến đổi T trừ đi vị trí trước

đó đến vị trí hiện tại, trong đó T cấu thành từ chuyển động tịnh tiến tⁱ_i−1và chuyển động

quay R_iⁱ₋₁của camera giữa thời điểm hiện tại i và thời điểm trước đó i − 1.

ꢀ

ꢁ

R_iⁱ₋₁tⁱ_i−1

T_iⁱ₋₁

=

(2.1)

0

1

trong đó T_iⁱ₋₁∈ ℜ^3×3, tⁱ_i−1∈ ℜ^1×3, R_iⁱ₋₁∈ ℜ^2×3

.

Phương pháp VO của Van Hamme và đồng nghiệp đề xuất năm 2011 [13] được đánh giá

trong môi trường ngoài trời với camera lắp đặt trên xe chạy với tốc độ 70km/h. Khi áp dụng

vào môi trường trong nhà với camera gắn trên robot đi với tốc độ chậm, phương pháp này

gặp một số khó khăn và thách thức. Trong phần dưới đây, chúng tôi sẽ trình bày trước tiên

phương pháp VO, các thích nghi VO trong nhà gọi tắt là VO* sẽ được trình bày sau đó.

2.4.1.1 Phương pháp đo hành trình bằng hình ảnh sử dụng mô hình không chắc chắn

Ý tưởng của giải thuật VO đề xuất trong [13] sử dụng mô hình không chắc chắn của

chuyển động của camera và chuyển động của xe để tính toán các tứ giác tương ứng với các

điểm đặc trưng tại khung hình hiện tại cũng như chuyển động của các điểm đặc trưng trong

khung hình trước đó. Sau đó chuyển động của camera giữa hai khung hình liên tiếp được

ước lượng từ sự chồng lấp của các tứ giác.

Với chuỗi hình ảnh liên tiếp thu thập được I = {I₁, I₂, ..., I_N}, thuật toán VO gồm N −1

bước lặp, tại bước lặp thứ i với i = 2, N thực hiện các bước:

1. Trích chọn đặc trưng Harris Corner[14] trên khung hình I_i. Chi tiết phương pháp trích

chọn đặc trưng có trong PHỤ LỤC A.1 của luận án.

X

E(u, v) =

[I(x + u, y + v) − I(x, y)]²

(2.2)

w

Trong đó: E(u, v) là hàm tương quan tính toán trên ảnh I; u, v là dịch chuyển của điểm

x, y trên hàm cửa số w, khi đó w nhận hai giá trị 0/1 hoặc thông qua hàm Gaussian

xác định giá trị cho w.

Kết quả thu được là tập M_iđiểm đặc trưng {KP_ij} với j = 1, M_i. Số điểm đặc trưng

quyết định bởi ngưỡng θ_{V O}đưa vào tính Công thức (2.3). KP_ijphụ thuộc vào R là

việc lấy ngưỡng θ_{V O}(R ≥ θ_{V O}) và R là các đáp ứng góc tính như sau:

R = λ₁λ₂− k(λ₁+ λ₂)²

(2.3)

6

2. Tính toán các PUT_itương ứng với các đặc trưng KP_idựa trên mô hình không chắc

j

chắn của camera. Cụ thể mỗi PUT_ilà một hình tứ giác bao quanh điểm KP_i. Mỗi

j

góc của tứ giác được xác định từ một tổ hợp của bộ (góc ngẩng, góc nghiêng) của

camera.

3. Tính toán các MUT_itương ứng với các đặc trưng Harris KP_idựa trên mô hình

j

chuyển động không chắc chắn của robot. Cụ thể mỗi MUT_ilà một hình tứ giác bao

j

quanh điểm KP_ij. Mỗi góc của tứ giác được xác định từ một tổ hợp của bộ (vận tốc,

góc lái) của robot.

4. Tạo ảnh tương đồng giữa các PUT_iở thời điểm i với các MUT_i−1ở thời điểm trước

j

đó i − 1. Ảnh này thể hiện mức độ tương đồng trong không gian của góc lái và vận

tốc, Giá trị điểm ảnh lớn nhất biểu thị tọa độ sự tương đồng giữa PUT và MUT lớn

nhất, tương ứng với giá trị góc lái và vận tốc cần xác định cho phép ước lượng tham

số chuyển động của camera, từ đó tái tạo lại hành trình di chuyển.

Bước lặp thứ i:

I_i, MUT_i−1,k

k = 1, M_i−1



P

I_i



E(u, v) = _w[I(x + u, y + v) − I(x, y)]²

Trích chọn đặc trưng

Harris trên ảnh I_i





R = λ₁λ₂− k(λ₁+ λ₂)²





R ≥ θ_{V O}

KP_ij

j = 1, M_i

PUT: Perspective Uncertainty Tetragons

MUT: Motion Uncertainty Tetragon

KeyPoint(Harris corners)

Tính các PUT

Tính các MUT

trên ảnh I_i

PUT_ij

MUT_ij

j = 1, M_i

PUT_i

MUT_i

Tính ảnh tương đồng từ

PUT_ij

90

80

70

60

50

40

30

20

10

0

MUT_i−1

và

i = 1, M_i−1

j = 1, M_i

Xếp chồng P UT_ivà MUT_i

Ước lượng tham số

Ảnh

tương đồng

T_iⁱ₋₁; R_iⁱ₋₁

-10

-60

-50

-40

-30

-20

-10

0

10

Hành trình đo được

Hình 2.2 Các bước giải thuật đo hành trình bằng thông tin hình ảnh VO

Khi triển khai giải thuật VO ở một số môi trường trong nhà khác nhau (hành lang của

7

tòa nhà) thì hành trình tái tạo được bị sai số nhiều so với thực tế, nhất là tại một số vị trí

khi robot thực hiện phép quay (xem Hình 2.3).

y(m)

140

120

100

140

120

60

50

100

80

60

40

30

60

Thöïc ñòa

Baûn ñoà

Thöïc ñòa

Baûn ñoà

Thöïc ñòa

Baûn ñoà

40

20

10

40

20

x (m)

10

x(m)

50

25

50

-10

25

-40

-20

0

-50

-25

0

-30

-50

-25

(a) Tröôøng THCS Nguyeãn Ñình Chieåu

(b) Thö vieän Taï Quang Böûu – ÑHBK Haø Noäi

(c) Vieän nghieân cöùu MICA – ÑHBK Haø Noäi

Hình 2.3 Một số trường hợp lỗi tích lũy khi xây dựng bản đồ

2.4.1.2 Thích nghi VO cho môi trường trong nhà

Để nâng cao độ chính xác của bản đồ tái tạo, chúng tôi đề xuất một giải pháp đơn giản

dễ thực hiện để nâng số điểm đặc trưng phát hiện được trên mỗi khung hình. Cụ thể chúng

tôi tạo các điểm đánh dấu trên đường đi (xem Hình 2.4) với quy trình tạo các điểm đánh

dấu trên mặt sàn như sau:

(a) Tạo các điểm đánh dấu

trên dọc hành trình

(b) Phóng to vùng đánh dấu

Hình 2.4 Tạo các điểm đánh dấu dọc hành trình

− Số lượng điểm đánh dấu trên mặt sàn diện tích S = 1m²có từ 16-20 điểm đánh dấu

dán cách đều nhau từ 15-20 cm (xem Hình 2.5).

− Hình dáng của điểm đánh dấu là hình có góc cạnh chữ nhật, hình vuông, bình hành

(do ưu điểm của đặc trưng Harris Corner [14] phát hiện góc). Các mẫu khác như hình

tròn, elip...không khuyến khích sử dụng vì số phát hiện trên các điểm đánh dấu này

là rất ít (xem Hình 2.6d)

− Không phân biệt màu sắc của các điểm đánh dấu như trắng, đen, vàng, đỏ...(xem Hình

2.6b)

8

− Tạo các điểm đánh dấu quá dày (số điểm đánh dấu > 100 điểm/1m²) hoặc quá thưa

(số điểm đánh dấu <= 3 điểm /1m²) đều ảnh hưởng đến việc đối sánh ảnh liên tiếp

(xem Hình 2.6c), nếu giải ngẫu nhiên khó kiểm soát phân bố đặc trưng (xem Hình

2.6a).

Dưới đây là kết quả khi thực hiện thích nghi giải thuật VO* trong nhà với phương pháp

tạo điểm đánh dấu.

(a) Chưa đánh dấu

(b) Đã tạo các điểm đánh dấu

Hình 2.5 Minh họa số điểm đặc trưng phát hiện trên mặt sàn

Ngoài ra, chúng tôi thực hiện thêm các thí nghiệm khác nhau thể khẳng định những

lập luận phía trên và khuyến cáo cho người phát triển hệ thống khi thực hiện VO* trong

môi trường trong nhà.

b) Khoâng phaân bieät maøu saéc

a) Taïo caùc ñieåm ñaùnh daáu ngaãu nhieân

d) Phuï thuoäc vaøo hình daïng cuûa maãu ñaùnh daáu

d) Taïo caùc ñieåm ñaùnh daáu quaù daøy

Hình 2.6 Minh họa phương pháp thử nghiệm khi tạo các mẫu đánh dấu

Cách làm này dễ thực hiện song, cho phép nâng cao độ chính xác của hành trình tái tạo sẽ

được trình bày chi tiết trong phần thực nghiệm của luận án.

9

2.4.2 Xây dựng bản đồ topo

Trong luận án này, chúng tôi đi theo hướng tiếp cận chỉ xác định một số điểm mốc phân

biệt trên bản đồ để tạo bản đồ topo. Thuật toán FAB-MAP[6] được lựa chọn để thưa hóa có

chọn lọc các vị trí trên bản đồ số liệu. Tuy nhiên FAB-MAP thuộc nhóm các phương pháp

SLAM vừa định vị vừa xây dựng bản đồ không cho phép dẫn đường giữa hai vị trí trong

môi trường. Ngoài ra, FAB-MAP được thử nghiệm ngoài trời với camera gắn trên xe chạy

với tốc độ cao, khung cảnh thay đổi liên tục. Khi áp dụng vào môi trường trong nhà giải

thuật cũng gặp những khó khăn cần khắc phục. Trong phần tiếp theo, chúng tôi sẽ trình

bày sơ lược ý tưởng của giải thuật FAB-MAP gốc đồng thời trình bày các cải thiện và thích

nghi giải thuật này để tạo bản đồ topo và định vị.

2.4.2.1 Giải thuật FAB-MAP [6]

2.4.2.2 Thích nghi và cải thiện FAB-MAP xây dựng bản đồ topo

Trong luận án, chúng tôi thích nghi giải thuật FAB-MAP gốc để xây dựng bản đồ topo

ở pha ngoại tuyến là đóng góp chính thứ hai của luận án. Để dễ gợi nhớ, chúng tôi tạm gọi

là FAB-MAP* minh họa ở Hình 2.7 dưới đây:

Tập ảnh huấn luyện

Tại thời điểm k

I₁I₂

I_n

và Tập vị trí trên bản đồ:

Lⁿ= {L₁, L₂, L₃..., L_n

}

k

I_k

(k)

(t)

Biểu diễn mô hình

túi từ (BOW)

Xác định khung cảnh phân biệt sử dụng

Z_k

đặc trưng GIST: {I_i, I_i, ..., I_i} ∈ I

1

2

n

Tính P(L_i|Z^k) i = 1, n_k

Z^k= {Z_k, Z^k−1

}

Xây dựng mô hình

túi từ (BOW)

Xây dựng cây

nhị phân(ChowLiu)

Đúng

Sai

max(P (L_i|Z^k)) > θ

i = 1, n_k

CSDL

túi từ

CSDL

từ đồng

xuất hiện

Tạo mới L

Cập nhật

n_k+1

L^k+1= {L₁, ..., L_n

}

L^k

k+1

L_N

I₁I₂

I₂

I_N

CSDL

bản đồ

lai

L₁L₂L₃

Ánh xạ lên các vị trí bản đồ môi trường

L^N= {L₁, L₂, ..., L_N}

Bản đồ môi trường

Pha ngoại tuyến (Off-line)

Hình 2.7 Minh họa các bước thực hiện giải thuật FAB-MAP*

10

(a) Xác định cảnh phân biệt để giảm các quan sát trùng lặp: Khi áp dụng FAB-

MAP gốc vào môi trường trong nhà với ngữ cảnh là một robot di chuyển với tốc độ chậm

(300 mm/s), các quan sát liên tiếp là rất giống nhau ảnh hưởng đến chất lượng của từ điển

cũng như khả năng xác định vị trí đã qua.

Bài toán xác định khung cảnh phân biệt được mô tả như sau: Giả thiết có một chuỗi N

khung hình liên tiếp I = {I₁, I₂, ..., I_N}. Xác định tập con của I_d∈ I với I_d= {I_i1, I_i2, ..., I_id}

trong đó các khung cảnh I_ijlà phân biệt. Để xác định I_ijvới I_iklà phân biệt, có thể kiểm

chứng bằng hàm khoảng cách D(I_ij, I_ik).

D(I_ij, I_ik) = ED(Gist(I_ij), Gist(I_ik))

(2.4)

Trong đó ED là khoảng cách giữa hai vector trong không gian.

Việc xác định các khung cảnh riêng biệt thực hiện bằng giải thuật sau đây. Đầu vào là

một chuỗi các hình ảnh liên tiếp thu thập từ camera: I = {I₁, I₂...I_N}.

- Tính toán sai khác giữa hai khung hình liên tiếp I_ivà I_i−1: Sai khác này được định

nghĩa là khoảng cách Euclid D_igiữa hai vector đặc trưng GIST tương ứng F_i, F_i−1

.

- Kiểm tra nếu D_i> θ_Gistthì I_iđược lựa chọn là khung hình phân biệt, trong đó θ_Gist

là ngưỡng xác định trước bằng thực nghiệm quyết định số lượng khung hình giữ lại.

Theo [20], [18] đặc trưng GIST trích chọn thể hiện các tính chất quan trọng như tính

tự nhiên, tính mở, độ nhám, độ chắc chắn, cho phép trình bày cấu trúc không gian của một

cảnh. Chi tiết đặc trưng GIST có trong PHỤ LỤC A.4 của luận án.

Khoaûng caùch D

1

0.8

0.6

(a)

θ_Gist

0.4

0.2

Soá khung hình

0

20

40

60

80

100

120

140

160

180

200

(b)

Hình 2.8 Xác định các khung cảnh có cấu trúc giống nhau

Để thực hiện điều này, chúng tôi áp dụng nguyên lý trích đặc trưng GIST dựa trên phép

biến đổi Gabor [21] theo các hướng, tần số khác _ꢁnhau và được tính theo Công thức (2.5):

ꢀ

2

y

δ

1

x

+

h(x, y) = e⁻

e^{−j2π(u x+v y)}

(2.5)

2

x

2

δ

0

y

Trong đó, tham số (δ_x, δ_y) là độ lệch chuẩn của hàm Gauss theo hướng x, y; (u₀, v₀) là các

thành phần tần số trung tâm của bộ lọc Gabor.

Chúng tôi chuẩn hóa ảnh đầu vào được đưa về dạng vuông, chia thành lưới (4 ×4) theo

8 hướng tương ứng. Do đó, vector GIST được tính toán sử dụng phổ năng lượng của 32 đáp

ứng. Đồng thời tính toán trung bình trên mỗi lưới (16 × 16) điểm ảnh trên mỗi đáp ứng,

như thể hiện. Như vậy kích thước vector GIST giảm xuống 512 chiều. Kết quả trích chọn

đặc trưng GIST phục vụ việc phân loại khung cảnh minh họa như Hình 2.8.

11

(b) Chuyển pha trực tuyến của FAB-MAP về hoạt động ngoại tuyến để xây

dựng toàn bộ bản đồ môi trường: Sau khi đã xác định các cảnh phân biệt, các ảnh

này được đưa vào pha ngoại tuyến để xây dựng từ điển và cây Chow Liu. So với FAB-MAP,

đầu vào của FAB-MAP* là tập các ảnh đã thu thập từ trước về trên hành trình khai phá

đường đi trong môi trường. Việc này có thể chạy một lần hoặc nhiều lần với các dữ liệu

đường đi khác nhau để làm giàu số vị trí trên bản đồ.

Hình 2.9 Minh họa bước thực hiện cập nhật điểm mốc quan trọng

2.4.3 Bổ sung thông tin đối tượng vật cản tĩnh trên bản đồ

Bản đồ topo được xây dựng từ giải thuật FAB-MAP* có thêm các thông tin về tọa độ

của mỗi vị trí trên bản đồ từ giải thuật VO*. Sau đó trên mỗi vị trí của bản đồ, chúng tôi

bổ sung các thông tin đối tượng vật cản tĩnh để thực hiện dự báo khả năng có vật cản ở pha

trực tuyến một cách nhanh chóng. Thông tin về tọa độ trên ảnh và tọa độ thể giới thực sẽ

được lưu để sử dụng ở pha phát hiện vật cản sẽ trình bày trong CHƯƠNG III của luận án.

2.5 Phương pháp định vị

Sau khi đã xây dựng bản đồ topo số liệu ở pha ngoại tuyến, việc định vị ở pha trực

tuyến trở nên thuận lợi hơn. Ở pha trực tuyến, camera thu nhận ảnh I_k, quan sát từ đầu

đến thời điểm k là Z^knhư định nghĩa ở phần trên. Thực hiện tính xác suất mà quan sát Z^k

có thể ở vị trí L_itrên bản đồ L^N= {L₁, L₂, ..., L_N} với mọi giá trị i = 1, N.

ꢂ

ꢃ ꢂ

ꢃ

p Z_k|L_i, Z^Np L_i|Z^N

p (Z_k|Z^N)

ꢂ

ꢃ

p L_i|Z^k

=

(2.6)

2.6 Kết quả thực nghiệm

Phần thực nghiệm được tiến hành tại 03 môi trường khác nhau: (i) Trường THCS

Nguyễn Đình Chiểu Hà Nội; (ii) Thư viện Tạ Quang Bửu; (iii) Viện nghiên cứu quốc tế

MICA - Trường Đại học Bách Khoa Hà Nội.

2.7 Kết luận chương 2

Kết quả chính của chương này đã được công bố tại: Tạp chí KH&CN các trường đại

học kỹ thuật, số 101 tháng 7/2014; Hội nghị quốc tế ICCE lần thứ 5, tháng 8/2014; Hội nghị

quốc tế ATC lần thứ 6, tháng 10/2003; Tạp chí quốc tế Multimedia Tools and Applications

(ISI)- Springer, 01/2016.

12

CHƯƠNG 3

PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN

3.1 Định nghĩa bài toán và các thách thức

Bài toán phát hiện và ước lượng khoảng cách vật cản được phát biểu như sau:

+ Đầu vào: Quan sát hiện tại của camera I_k. Với quan sát này, chương 2 đã trình bày

phương pháp xác định vị trí tương đối của robot P_k= (x_k, y_k, z_k= 0) trên bản đồ môi

trường.

+ Đầu ra: Tập n vật cản O_k= {O_i(x_ik, y_ik), i = 1, n} với các vị trí tương ứng trên bản

đồ.

Thuøng

raùc

Chaäu

Ngöôøi

hoa

~ 2.5m

~ 1.5m

Ngöôøi

Vaät caûn

Bình cöùu hoûa

Chaäu

Tröôøng nhìn cuûa camera

hoa

Robot

Bình cöùu hoûa

Chaäu

hoa

Hình 3.1 Định nghĩa bài toán phát hiện và ước lượng khoảng cách

Hình 3.1 minh họa ngữ cảnh của bài toán và các kết quả mong muốn đạt được. Trong

ví dụ này robot có gắn camera di chuyển trong môi trường, chậu hoa, bình cứu hỏa, thùng

rác là các vật cản tĩnh trong môi trường, người là vật cản động xuất hiện bất ngờ.

3.2 Những nghiên cứu liên quan

3.3 Đề xuất phương pháp phát hiện và ước lượng khoảng cách

Trong luận án, chúng tôi thực hiện hai công việc chính: (i) Phát hiện vật cản nằm trên

đường đi mà NKT di chuyển qua; (ii) Ước lượng khoảng cách vật cản tới robot nhằm đưa

ra các thông tin cảnh báo.

13

SƠ ĐỒ CÁC BƯỚC TÍNH TOÁN

(thời gian)

L_N

Vị trí L_k:

L_k= {(x_k, y_k), Z^k, (O₁, O₂, ...O_k)}

I_k

Bản đồ môi trường

Ảnh huấn luyên trong CSDL

L = {L₁, L₂, ...L_k, ...L_N}

Ảnh I_k^∗

Robot

L_k

Phát hiện vật cản tĩnh

Quan sát hiện tại

Đối sánh các điểm

Phát hiện

các vật cản: O_i

Ảnh I_k

∗

đặc trưng (I_k, I_k)

(t: giây)

Phát hiện người

HoG-SVM

L_k−t

L₂

L₁

Dự đoán khoảng cách

Quan sát trước t(giây)

Xây dựng bản đồ

chênh lệch I_k, I_k−t

Tính khoảng cách

Ảnh I_k−t

(t: giây)

(từ O_i֌ Robot)

Hình 3.2 Mô hình phát hiện và ước lượng khoảng cách vật cản

− Phát hiện vật cản: Chúng tôi phân chia các vật cản thành hai nhóm: vật cản tĩnh

và vật cản động. Vật cản tĩnh là các đối tượng như chậu hoa, bình cứu hỏa, thùng rác.

Vật cản động là các đối tượng di chuyển trong môi trường (người).

− Ước lượng khoảng cách vật cản: chúng tôi lấy ý tưởng dự đoán khoảng cách từ hệ

thống camera-stereo, trong ngữ cảnh của bài toán chúng tôi chỉ sử dụng duy nhất 01

camera thông thường duy nhất gắn trên robot chuyển động, quan sát hình ảnh tại hai

thời điểm khác nhau.

3.4 Phát hiện vật cản

3.4.1 Phát hiện vật cản cố định

Như đã trình bày trong các CHƯƠNG I và II, bản đồ môi trường được biểu diễn là

một tập các điểm quan trọng trong môi trường L^N= {L₁, L₂, ...L_k, ...L_N}. Với mỗi điểm L_i,

tương ứng là ảnh I_i, đặc tả bởi quan sát Zⁱvà tập tất cả các đối tượng có thể quan sát được

tại thời vị trí L_i: {O_i, O_i, ..., O_i}.

1

2

n

i

Tại thời điểm k, camera thu nhận ảnh I_k, nhờ giải thuật định vị đã được trình bày

trong CHƯƠNG II, vị trí của robot được xác định tương ứng L^∗_k. Tại vị trí L_k^∗này, tương

ứng với quan sát của robot I_k^∗, tập các vật cản trong môi trường cũng đã được xác định và

lưu sẵn: {O_k, O_k, ..., O_k}.

1

2

n

k

14

Kết quả định vị

Ảnh mẫu

Phương pháp đối sánh ảnh mẫu (template matching)

∗

I_k

1

2

3

Phát hiện

Đối tượng

Đối sánh điểm

đặc trưng

Xác định vùng

chứa đối tượng

Ảnh hiện thời

I_k

Kết quả

Hình 3.3 Sơ đồ các bước thực hiện phát hiện vật cản cố định

3.4.2 Phát hiện vật cản động

Căn cứ vào kết quả đánh giá, chúng tôi lựa chọn phương pháp sử dụng kết hợp HoG-

SVM [7] [5] cho trong bài toán phát hiện người bởi tính phổ dụng và tính hiệu quả của nó

trong nhiều ứng dụng. Phần dưới đây chúng tôi phân tích kỹ hơn về phương pháp này.

Mô hình

Huấn luyện

Ảnh

huấn luyện

Tính toán đặc trưng HoG

Bộ phân loại SVM

Tính toán

Gradient

Tính HoG

trên các Cell

Chuẩn hóa

Block

Tiền xử lý

Nhận dạng

4

1

2

3

Ảnh

nhận dạng

Kết quả

Hình 3.4 Sơ đồ các bước phát hiện người sử dụng HoG-SVM

3.5 Uớc lượng khoảng cách vật cản

3.5.1 Nguyên lý phương pháp ước lượng khoảng cách

Gọi D là khoảng cách từ vật cản tới camera tính như sau:

Bx₀

2 tan(^ϕ+ ∆ϕ)(x₁− x₂)

D =

(3.1)

(3.2)

0

2

Từ đây Công thức (3.1) đưa về biểu diễn về dạng hàm mũ như sau:

D = k ∗ x^d

Bx₀

Trong đó: hệ số k = _{2 tan(}_ϕ₀_+∆ϕ); x = (x₁−x₂); hằng số d xác định giá trị độ chênh lệch

(Disparity) giữa các điểm ảnh²từ hai quan sát trên bản đồ chênh lệch.

15

x₀

D

ϕ

1

ϕ

2

ϕ

0

B

2

1

B

f

S_L

S_R

Hình 3.5 Mô hình ước lượng khoảng cách vật cản từ hai quan sát

Hình 3.6 Sơ đồ các bước tính toán bản đồ chênh lệch và ước lượng khoảng cách

3.5.2 Xây dựng bản đồ chênh lệch

1. Thu thập dữ liệu.

2. Hiệu chỉnh cải thiện.

3. Đối sánh hình ảnh.

4. Tính toán độ sâu.

3.6 Kết quả đánh giá

3.7 Kết luận chương 3

Kết quả chính của chương này đã được công bố tại: Tạp chí KH&CN các trường đại

học kỹ thuật, số 95C tháng 7/2013; Hội nghị nghiên cứu cơ bản và ứng dụng công nghệ thông

tin lần thứ 6- FAIR6 - tại Huế 6/2013; Tạp chí Khoa học công nghệ Thông tin và Truyền

thông, Học viện Công nghệ Bưu chính Viễn thông - PTIT JICS - Vol 1, No.1 6/2016

16

CHƯƠNG 4

PHÁT TRIỂN VÀ THỬ NGHIỆM HỆ THỐNG DẪN ĐƯỜNG

4.1 Hệ thống tích hợp

4.1.1 Kiến trúc tổng thể

Chúng tôi đề xuất kiến trúc tổng thể của hệ thống như minh họa trong Hình 4.1.

Lớp điều khiển thực thi

2

1

3

Phát hiện và

Ước lượng

khoảng cách vật cản

Định vị

5

Điều khiển

Robot

4

6

Xây dựng

Tìm đường

bản đồ môi trường

Thu thập

dữ liệu (đường đi/

khung cảnh)

Phân tích

yêu cầu

người dùng

Phản hồi

người dùng

Biểu diễn môi trường & Định vị

Cảnh báo & Tìm đường

Điều khiển & Tương tác

Thu thập thông tin

Giao diện cảm biến/ bộ thực thi

Điều khiển

Xe thu thập

Truyền thông

Điện thoại di dộng

Camera

Robot

MÔI TRƯỜNG

Hình 4.1 Mô hình tổng quát của hệ thống đề xuất

Kiến trúc này gồm 4 tầng:

17

− Tầng vật lý : bao các thiết bị phần cứng, như robot, xe thu thập, camera, wi-fi, điện

thoại di động nhằm thực hiện các nhiệm vụ như thu nhận và xử lý tương tác với hệ

thống.

− Tầng logic: có nhiệm vụ kết nối giữa hai tầng vật lý và tầng chức năng qua các giao

diện cảm biến đồng thời phản hồi lại các yêu cầu từ hệ thống tới người dùng.

− Tầng chức năng: đây là tầng quan trọng nhất của hệ thống dẫn đường với các mô đun

chính như: Xây dựng bản đồ môi trường; Định vị; Phát hiện và ước lượng khoảng cách

vật cản; Tìm đường; Điều khiển robot; Tương tác người robot.

Ba mô đun chính của hệ thống là xây dựng bản đồ môi trường, định vị và phát hiện

vật cản đã được trình bày chi tiết trong chương II, chương III. Để hệ thống dẫn đường

hoạt động tại thực địa, các mô đun còn lại như tìm đường, điều khiển robot, tương tác

người máy cần được phát triển. Nội dung chương này trình bày về việc phát triển các

mô đun này và tích hợp để hoàn thiện và thử nghiệm hệ thống.

− Tầng ứng dụng: có nhiệm vụ phát triển các giao diện phần mềm được cài đặt lên robot

và lên điện thoại di động; ngoài ra các thư viện mã nguồn mở OpenCV, các hàm API

(Application Programming Interface) nằm trong bộ điều khiểm M3 của robot do nhà

sản xuất cung cấp được cài đặt thêm và tích hợp với các mô đun đã được xây dựng.

4.1.2 Tích hợp phần cứng

Trong phần thực nghiệm, chúng tôi sử dụng robot PC-Bot914 và tích hợp thêm một số

thiết bị ngoại vi như: Camera Axis kết nối với robot thông qua địa chỉ TCP/IP có nhiệm

vụ thu nhận hình ảnh với góc nhìn rộng đã sửa méo để ảnh thu nhận có chất lượng tốt hơn;

điện thoại di động giúp NKT tương tác vào/ra với robot; một số thiết bị khác (màn hình

giao tiếp, ắc quy duy trì nguồn điện, bộ phát sóng mạng wi-fi, khung giá đỡ...)

Robot nguyeân baûn

Maøn hình töông taùc

Thu phaùt maïng

khoâng daây (Wi-fi)

(PC-Bot 914)

Maïng Wifi

Nguoàn phuï

(AÉc quy)

Khung giaù ñôõ

Camera Axis 207

Ñieän thoaïi di ñoäng

(b) Robot thieát keá hoaøn chænh

(a) Thieát bò tích hôïp vaøo robot

Hình 4.2 Tích hợp các thiết bị phần cứng lên robot

Hình 4.2(a) minh họa các thiết bị phần cứng tích hợp thêm vào robot. Hình 4.2(b) minh họa

robot sau khi đã tích hợp phần cứng hoàn chỉnh.

18