Luận án Nghiên cứu phát hiện mẫu chất liệu trong ảnh

Download

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

----------------------------------------

LÊ THỊ KIM NGA

NGHIÊN CỨU PHÁT HIỆN

MẪU CHẤT LIỆU TRONG ẢNH

LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN

HÀ NỘI – 2014

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

----------------------------------------

LÊ THỊ KIM NGA

NGHIÊN CỨU PHÁT HIỆN

MẪU CHẤT LIỆU TRONG ẢNH

Chuyên ngành: Khoa học máy tính

Mã số: 62 48 01 01

LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC:

1. PGS.TS. ĐỖ NĂNG TOÀN

2. PGS.TS. ĐINH MẠNH TƯỜNG

HÀ NỘI - 2014

Lời cam đoan

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các kết quả được

viết chung với các tác giả khác đều được sự đồng ý của đồng tác giả trước khi đưa

vào luận án. Các kết quả nêu trong luận án là trung thực và chưa từng được ai công

bố trong các công trình nào khác.

Tác giả

Lê Thị Kim Nga

Lời cảm ơn

Luận án được thực hiện tại Trường Đại học Công Nghệ - Đại học Quốc Gia

Hà Nội và Viện Công nghệ thông tin - Viện Hàn lâm Khoa học và Công nghệ Việt

Nam, dưới sự hướng dẫn của PGS.TS. Đỗ Năng Toàn và PGS.TS. Đinh Mạnh Tường.

Tôi xin bày tỏ lòng biết ơn sâu sắc đến PGS.TS. Đỗ Năng Toàn và PGS.TS.

Đinh Mạnh Tường, các Thầy đã có những định hướng giúp tôi thành công trong công

việc nghiên cứu của mình. Thầy cũng động viên chỉ bảo cho tôi vượt qua những khó

khăn và cho tôi nhiều kiến thức quý báu về nghiên cứu khoa học. Nhờ sự chỉ bảo của

Thầy, tôi mới có thể hoàn thành luận án.

Tôi vô cùng cảm ơn PGS.TS. Hoàng Xuân Huấn và GS.TS. Nguyễn Thanh

Thủy, các Thầy đã nhiệt tình giúp đỡ tôi rất nhiều trong suốt quá trình học tập, nghiên

cứu và hiệu chỉnh luận án.

Tôi xin gửi lời cảm ơn sâu sắc đến PGS.TS. Đỗ Trung Tuấn, PGS. TS. Bùi

Thế Duy, PGS.TS. Trịnh Nhật Tiến, TS. Nguyễn Văn Vinh và TS. Nguyễn Ngọc

Hóa, các Thầy đã giúp tôi rất nhiều trong việc hoàn thiện luận án.

Tôi xin chân thành cảm ơn các Thầy, Cô Khoa Công nghệ thông tin, Trường

Đại học Công nghệ, Đại Học Quốc Gia Hà Nội, các anh chị em cán bộ trong phòng

Công nghệ Thực tại ảo, Viện Công nghệ thông tin đã tạo mọi điều kiện thuận lợi và

đóng góp ý kiến cho tôi trong quá trình làm nghiên cứu sinh.

Đặc biệt tôi xin chân thành cảm ơn lãnh đạo Nhà trường và Khoa Công nghệ

thông tin, Trường Đại học Quy Nhơn đã tạo điều kiện thuận lợi và hỗ trợ tôi trong

quá trình học tập và làm luận án.

Cuối cùng, tôi xin gửi lời cảm ơn sâu sắc đến gia đình và bạn bè, đã tạo cho

tôi điểm tựa vững chắc để có được thành công như hôm nay.

MỤC LỤC

Lời cam đoan ...........................................................................................................................1

Lời cảm ơn ...............................................................................................................................2

MỤC LỤC ...............................................................................................................................3

Danh mục các ký hiệu và chữ viết tắt ....................................................................................7

Danh mục các bản g .................................................................................................................9

Danh mục các hình vẽ, đồ th ị ...............................................................................................10

MỞ ĐẦU .............................................................................................................................13

Chương 1. TỔNG QUAN VỀ PHÁT HIỆN MẪU CHẤT LIỆU TRONG ẢNH .......23

1.1. Chất liệu và bài toán phát hiện mẫu chất liệu trong ảnh ................................23

1.1.1. Chất liệu và mẫu chất liệu trong ảnh .....................................................23

1.1.2. Bài toán phát hiện mẫu chất liệu trong ảnh ...........................................26

1.1.3. Các thách thức của phát hiện mẫu chất liệu trong ảnh ..........................27

1.2. Các cách tiếp cận phát hiện mẫu chất liệu trong ảnh .....................................29

1.2.1. Tiếp cận dựa vào đặc trưng địa phương ................................................30

1.2.1.1. Phương pháp dựa trên độ cong của đường biên ..............................31

1.2.1.2. Phương pháp dựa trên cường độ ảnh ..............................................31

1.2.1.3. Phương pháp định hướng bất biến với các phép biến đổi ...............32

1.2.1.4. Phương pháp tỉ lệ chu vi và diện tích ..............................................32

1.2.1.5. Phương pháp cấu trúc hình học .......................................................33

1.2.2. Tiếp cận dựa vào đặc trưng toàn cục .....................................................33

1.2.2.1. Phương pháp lược đồ màu ..............................................................34

1.2.2.2. Phương pháp ma trận đồng hiện mức xám .....................................34

1.2.2.3. Phương pháp mẫu nhị phân địa phương .........................................34

1.2.2.4. Phương pháp dựa vào nhiễu chất liệu .............................................35

1.2.3. Tiếp cận dựa vào mô hình .....................................................................39

1.2.3.1. Mô hình SAR và RISAR .................................................................39

1.2.3.2. Mô hình Markov .............................................................................40

1.2.3.3. Mô hình hình học Fracta l ................................................................41

1.3. Kết luận và vấn đề nghiên cứu .......................................................................47

Chương 2. PHÁT HIỆN MẪU CHẤT LIỆU DỰA VÀO ĐẶC TRƯNG BẤT BIẾN

ĐỊA PHƯƠNG ..................................................................................................48

2.1. Đặt vấn đề .......................................................................................................48

2.2. Trích chọn đặc trưng bất biến địa phương cho mẫu chất liệ u ........................49

2.2.1. Tìm các điểm bất biến địa phương trên không gian tỉ l ệ .......................49

2.2.2. Xây dựng mô tả địa phương ..................................................................53

2.3. Phát hiện mẫu chất liệu dựa vào đặc trưng bất biến địa phương ...................54

2.3.1. Đối sánh dựa vào phương pháp lân cận gần nhấ t ..................................55

2.3.2. Xác định sự tương ứng của mẫu chất liệu trong ản h .............................55

2.3.3. Phân cụm các điểm ứng cử trung tâm ...................................................56

2.3.4. Thuật toán phát hiện mẫu chất liệu DMBLIF ........................................57

2.3.5. Thực nghiệ m ..........................................................................................61

2.4. Phát hiện ảnh số giả mạo dựa vào thuật toán DMBLIF .................................65

2.4.1. Ảnh số giả mạo và các dạng ảnh số giả mạo cơ bản .............................65

2.4.1.1. Ảnh số giả mạo ................................................................................66

2.4.1.2. Các dạng ảnh số giả mạo cơ bả n .....................................................67

2.4.2. Thuật toán phát hiện ảnh số giả mạo KPFImage ...................................69

2.4.2.1. Thuật toán phát hiện ảnh số giả mạo Exact Match .........................72

2.4.2.2. Thuật toán KPFImage .....................................................................74

2.4.3. Thực nghiệm ...........................................................................................78

2.5. Kết luận chương 2 ..........................................................................................83

Chương 3. PHÁT HIỆN MẪU CHẤT LIỆU DỰA VÀO ĐẶC TRƯNG NHIỄU .....84

3.1. Biểu diễn mẫu chất liệu dựa đặc trưng nhiễ u .................................................84

3.1.1. Đặc trưng nhiễu chất liệu .......................................................................85

3.1.2. Xây dựng đặc trưng nhiễu cho mô hình mẫu chất liệu ..........................85

3.1.3. Thuật toán biểu diễn mẫu chất liệu dựa vào đặc trưng nhiễu RMBN ...87

3.2. Phát hiện mẫu chất liệu dựa vào đặc trưng mô hình nhiễu chất liệu ..............90

3.2.1. Phân lớp mẫu chất liệu dựa vào hàm phân phối Gauss .........................90

3.2.2. Thuật toán phát hiện mẫu chất liệu dựa vào nhiễu DMBNF .................91

3.2.3. Thực nghiệ m ..........................................................................................94

3.3. Kết luận chương 3 ..........................................................................................97

Chương 4. PHÁT HIỆN MẪU CHẤT LIỆU DỰA VÀO HÌNH HỌC FRACTAL ...99

4.1. Đặt vấn đề .......................................................................................................99

4.2. Cơ sở toán họ c ..............................................................................................101

4.3. Biểu diễn mẫu chất liệu dựa vào hình học Fractal .......................................103

4.3.1. Đặc trưng hình học Fractal cho chất liệu .............................................103

4.3.2. Xây dựng mô tả Fractal cho mẫu chất liệ u ..........................................104

4.3.3. Thuật toán biểu diễn mẫu chất liệu dựa vào Fractal RMBF................107

4.4. Thuật toán phát hiện mẫu chất liệu dựa vào Fractal DMBF ........................110

4.5. Kết luận chương 4 ........................................................................................112

KẾT LUẬN .........................................................................................................................113

DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN

LUẬN Á N ........................................................................................................115

TÀI LIỆU THAM KHẢO .................................................................................................116

PHỤ LỤC ...........................................................................................................................128

Danh mục các ký hiệu và chữ viết tắt

BRDF

Bidirectional Reflectance Distribution Function (Hàm phân phối

phản xạ hai chiều)

BTF

Bidirectional Texture Function (Hàm texture hai chiều)

CBIR

CSAR

Content Based Image Retrieval (Tra cứu ảnh dựa trên nội dung)

Circular Simultaneous Autoregressive Model (Mô hình tự hồi quy

đồng tâm)

DMBLIF

Thuật toán phát hiện mẫu chất liệu dựa vào đặc trưng bất biến

địa phương

DMBNF

DMBF

GLCM

HMM

Thuật toán phát hiện mẫu chất liệu dựa vào đặc trưng nhiễu

Thuật toán phát hiện mẫu chất liệu dựa vào Fractal

Grey Level Co–occurrence Matrix (Ma trận đồng hiện mức xám)

Hidden Markov Model (Mô hình Markov ẩn)

IFS

Iterated Function System (Hệ hàm lặp)

ISODATA

Iterative Self-Organizing Data Analysis Technique (Thuật toán

phân cụm)

Keypoint

Điểm bất biến tỉ lệ

KPFImage

Thuật toán phát hiện ảnh giả mạo dựa vào tiếp cận phát hiện

chất liệu

LBP

Local Binary Pattern (Mẫu nhị phân địa phương)

Markov Random Field (Trường Markov ngẫu nhiên)

Principal Component Analysis (Phân tích thành phần chính)

Khối bao (vị trí và kích thước) của vùng ảnh con ℜ_푖

Thuật toán biểu diễn mẫu chất liệu dựa vào Fractal

Thuật toán mô tả mẫu chất liệu dựa vào đặc trưng nhiễu

MRF

PCA

푅푒푐(ℜ_푖)

RMBF

RMBN

RISAR

Rotation Invariant Simultaneous AutoRegressive Model (Mô hình

tự hồi quy đồng thời bất biến quay)

SAR

Simultaneous AutoRegressive Model (Mô hình tự hồi quy

đồng thời)

Scale

Tỉ lệ

SIFT

Scale Invariant Feature Transform (Biến đổi đặc trưng bất biến tỉ lệ)

Texture

Kết cấu bề mặt

Danh mục các bảng

B ả ng 2.1. K ế t qu ả đánh giá thuật toán DMBLIF ..................................................62

B ả ng 3.1. K ế t qu ả đánh giá thuật toán DMBNF ...................................................94

Danh mục các hình vẽ, đồ thị

Hình 1.1. Sự ph ả n chi ế u theo m ột hướ ng (Specular Reflection)..........................24

Hình 1.2. Sự ph ả n chi ế u khuy ếch tán (Diffuse Reflection)..................................25

Hình 1.3. Mộ t s ố m ẫ u ch ấ t li ệu thông thườ n g ......................................................26

Hình 1.4. Sơ đồ h ệ th ống phát hiệ n m ẫ u ch ấ t li ệ u t ổ ng quát ................................27

Hình 1.5.Các thể hi ện khác nhau của cùng mộ t m ẫ u ch ấ t li ệ u.............................28

Hình 1.6. Các phép biến đổi hình học trong quá trình thu nhậ n ả nh....................29

Hình 1.7. Nhiễ u m ẫ u ch ấ t li ệu, dòng trên: các ả nh g ốc; dòng bên dưới: các ả nh

nhi ễu tương ứ ng ..................................................................................36

Hình 1.8. Sơ đồ phân loạ i nhi ễ u ...........................................................................38

Hình 2.1. D(x,y,σ) xấ p x ỉ v ới L(x,y,σ) .................................................................51

Hình 2.2. Xây dựng mô tả cho điể m b ấ t bi ế n t ỉ l ệ ................................................54

Hình 2.3. Cách xác định vec tơ đị nh v ị ................................................................56

Hình 2.4. Kế t qu ả phát hiệ n m ẫ u ch ấ t li ệ u c ỏ b ằ ng thu ật toán DMBLIF (a) Ả nh

vào; (b) Mẫ u ch ấ t li ệ u c ỏ ; (c) K ế t qu ả phát hiệ n m ẫ u (b); (d) M ẫ u c ỏ b ị

quay; (e) K ế t qu ả phát hiệ n m ẫ u (d); (f) M ẫ u c ỏ thay đổi quay và tỉ l ệ ;

(g) K ế t qu ả phát hiệ n m ẫ u (f)..............................................................63

Hình 2.5. Kế t qu ả phát hiệ n m ẫ u ch ấ t li ệ u g ỗ b ằ ng thu ật toán DMBLIF (a) Ả nh

vào; (b) Mẫ u g ỗ b ị thay đổ i t ỉ l ệ ; (c) K ế t qu ả phát hiệ n khi m ẫ u g ỗ thay

đổi quay và tỉ l ệ ; (d) M ẫ u g ỗ b ị quay ; (d) K ế t qu ả phát hiệ n m ẫ u g ỗ

đã bị thay đổ i quay ; (e) M ẫ u g ỗ b ị thay đổ i t ỉ l ệ và quay ; (f) K ế t qu ả

phát hiệ n m ẫ u g ỗ b ị thay đổi quay và thay đổ i t ỉ l ệ . ...........................64

Hình 2.6. Minh họ a v ề vi ệ c gi ả m ạ o ả n h ..............................................................66

Hình 2.7. Ghép ả nh t ừ 2 ảnh riêng rẽ (a) Ảnh ghép từ hai ảnh riêng rẽ ; (b) Ả nh

ghép từ hai ảnh có thay đổ i t ỉ l ệ ..........................................................68

Hình 2.8. Ả nh che ph ủ và bỏ đi đối tượ ng (a), (c) Ả nh g ố c; (b), (d) Ảnh đã che phủ

đối tượ ng; ............................................................................................69

Hình 2.9. Ả nh b ổ sung đối tượ ng (a) Ả nh g ố c; (b) Ả nh b ổ sung đối tượ ng ........69

Hình 2.10. Ả nh gi ả m ạ o c ắt dán bở i b ổ sung đối tượ ng (a) Ả nh g ố c; (b) Ả nh gi ả

m ạ o b ổ sung đối tượ n g ........................................................................71

Hình 2.11. Tìm kiế m kh ố i bao c ủ a thu ật toán Exact Matc h .................................73

Hình 2.12. Kế t qu ả phát hiệ n gi ả m ạ o b ằ ng thu ật toán E xact match (a) Ả nh g ố c;

(b) Ả nh gi ả m ạ o c ắt dán; (c) Các vùng giả m ạo được phát hiệ n b ở i thu ậ t

toán Exact Match .................................................................................73

Hình 2.13. Kế t qu ả phát hiệ n ả nh gi ả m ạ o c ắt dán vớ i ảnh 24 bit màu (a) Ả nh g ố c;

(b) Ả nh gi ả; (c) Phát hiệ n gi ả m ạ o b ằng Exact match; (d) Phát hiệ n gi ả

m ạ o b ằ ng Exact match^*; (e) Phát hiện gi ả m ạ o b ằ ng KPFImage .......80

Hình 2.14. Kế t qu ả phát hiệ n ả nh gi ả m ạ o c ắt dán vớ i ảnh đa mức xám (a) Ả nh

g ố c; (b) Ả nh gi ả; (c) Phát hiệ n gi ả m ạ o b ằng Exact match; (d) Phát hiệ n

gi ả m ạ o b ằ ng Exact match^*; (e) Phát hiện gi ả m ạ o b ằ ng KPFImage .81

Hình 2.15. Kế t qu ả phát hiệ n ả nh gi ả m ạ o d ạng nén (a) Ả nh g ố c; (b) Ả nh gi ả v ớ i

bông hoa bị thay đổ i quay; (c) K ế t qu ả phát hiệ n b ằ ng Exact match^*củ a

(b); (d) Ả nh gi ả v ới bông hoa bị thay đổ i t ỉ l ệ và quay; (e) Kế t qu ả phát

hi ệ n b ằ ng KPFImage c ủ a (d)...............................................................82

Hình 3.1. Mô hình xây dựng đặc trưng nhiễ u cho m ẫ u ch ấ t li ệ u .........................86

Hình 3.2. Kế t qu ả tìm đặc trưng nhiễ u c ủ a m ẫ u g ỗ 1 c ủ a thu ật toán RMBN (a) Mẫ u

ch ấ t li ệ u g ỗ 1 dướ i d ạng mô hình gồ m t ập các chấ t li ệ u g ỗ; (b) Đặ c

trưng nhiễ u c ủ a m ẫ u ch ấ t li ệ u g ỗ 1 .....................................................89

Hình 3.3. Kế t qu ả tìm đặc trưng nhiễ u c ủ a m ẫ u g ỗ 2 c ủ a thu ật toán RMBN (a) Mẫ u

ch ấ t li ệ u g ỗ 2 dướ i d ạng mô hình gồ m t ập các chấ t li ệ u g ỗ; (b) Đặ c

trưng nhiễ u c ủ a m ẫ u g ỗ 2 ....................................................................89

Hình 3.4. Kế t qu ả tìm đặc trưng nhiễ u c ủ a m ẫ u g ỗ 3 c ủ a thu ật toán RMBN (a) Mẫ u

ch ấ t li ệ u g ỗ 3 dướ i d ạng mô hình gồ m t ập các chấ t li ệ u g ỗ; (b) Đặ c

trưng nhiễ u c ủ a m ẫ u ch ấ t li ệ u g ỗ 3 .....................................................89

Hình 3.5. Minh họa vùng chấ t li ệu R đượ c ch ọ n d ựa vào phân phố i Gauss ........91

Hình 3.6. Các mẫ u nhi ễ u c ủ a m ộ t s ố ch ấ t li ệ u (a) M ẫ u ch ấ t li ệ u g ỗ; (b) Đặc trưng

nhi ễ u c ủ a m ẫ u g ỗ ; (c) M ẫ u ch ấ t li ệ u c ỏ; (d) Đặc trưng nhiễ u c ủ a m ẫ u

c ỏ .........................................................................................................95

Hình 3.7. Kế t qu ả phát hiệ n m ẫ u ch ấ t li ệ u c ỏ cây bằ ng thu ật toán DMBNF (a) Mẫ u

ch ấ t li ệ u c ỏ cây; (b) Ảnh vào; (c) Đặc trưng nhiễ u c ủ a ch ấ t li ệ u c ỏ cây;

(d) Ả nh nhi ễ u c ủ a ả nh vào (e) Kế t qu ả phát hiện trên ả nh nhi ễu vào; (f)

K ế t qu ả phát hiện trên ảnh vào ............................................................96

Hình 3.8. Kế t qu ả phát hiệ n m ẫ u ch ấ t li ệ u g ỗ b ằ ng thu ật toán DMBNF (a) Mẫ u

ch ấ t li ệ u g ỗ ; (b) Ảnh vào; (c) Đặc trưng nhiễ u c ủ a m ẫ u ch ấ t li ệ u g ỗ ; (d)

Nhi ễ u c ủ a ảnh vào; (e) Kế t qu ả phát hiện trên ả nh nhi ễ u; (f) K ế t qu ả

phát hiện trên ảnh vào .........................................................................97

Hình 4.1. Tính chấ t l ặ p l ạ i c ủa các mẫ u ch ấ t li ệ u...............................................100

MỞ ĐẦU

Sự phát triển của máy tính về cả phần cứng và phần mềm đã tạo tiền đề cho

nhiều lĩnh vực công nghệ thông tin phát triển, trong đó thị giác máy (computer vision)

là lĩnh vực có nhiều nghiên cứu đã và đang được đưa vào ứng dụng một cách hiệu

quả. Gần 80% thông tin con người thu nhận được là từ hình ảnh. Nhận dạng tự động,

mô tả đối tượng, phân loại phân nhóm các mẫu là những vấn đề quan trọng trong thị

giác máy, được ứng dụng trong các ngành khoa học khác nhau. Vấn đề khác, hẹp hơn

nhưng được ứng dụng nhiều, đó là việc phát hiện ra đối tượng hoặc một vùng chất

liệu trong bức ảnh cho trước [35,37,93,95]. Với sự bùng nổ của thông tin, việc xác

định đối tượng hay một mẫu chất liệu nói chung trong ảnh một cách tự động là vấn

đề hết sức cần thiết, đặc biệt trong các hệ thống giám sát tự động như hệ thống giám

sát vào ra, giám sát giao thông cũng như các hệ thống tự động hóa bao gồm việc xây

dựng rô bốt thông minh và trong các hệ thống thực tại ảo [98].

Một cách chung nhất, trong thực tế có thể xem chất liệu được tạo nên từ một

hoặc nhiều vật chất. Trong xử lý ảnh, chất liệu của một đối tượng chính là thành phần

bao phủ bên ngoài của đối tượng đó, là thành phần không thể thiếu được của mỗi đối

tượng. Theo Merriam và Webster [92,93] thì đối tượng là bất kỳ những gì chúng ta

cảm nhận được bằng giác quan. Như vậy, chất liệu cũng là bất kỳ nội dung ảnh mà

chúng ta cảm nhận được tại các tỉ lệ khác nhau. Theo đó, việc phát hiện mẫu chất liệu

cũng bao gồm cả phát hiện vùng ảnh chứa mẫu chất liệu trong một bức ảnh. Nội dung

ảnh của một đối tượng chính là nội dung của mẫu chất liệu trong ảnh. Nội dung ảnh

có thể được thể hiện bởi các đặc trưng màu sắc, kết cấu (texture), hình dạng và các

thông tin không gian. Theo quan điểm này người ta định hướng nghiên cứu và phát

triển các hệ thống tra cứu ảnh dựa trên nội dung (Content Based on Image Retrieval

– CBIR). Tra cứu ảnh là kỹ thuật tìm và sắp xếp các ảnh theo mức độ tương tự giảm

dần với một hoặc nhiều ảnh đầu vào trong một cơ sở dữ liệu ảnh cho trước. Tra cứu

ảnh dựa trên nội dung là phương pháp tra cứu dựa vào những thông tin được trích

chọn tự động từ ảnh. Nghiên cứu về tra cứu ảnh không những giải quyết những vấn

đề một cách đơn lẻ, mà còn có nhiều nhiệm vụ quan trọng khác như hỗ trợ phát hiện

hay nhận dạng đối tượng. Một trong những thách thức đầu tiên là tìm kiếm những

ảnh tương tự. Khái niệm tương tự được định nghĩa chủ yếu dựa trên màu sắc, kết cấu

và các đặc trưng không gian. Vấn đề này đã được khảo sát sâu vào những năm 90 của

thế kỷ trước và đầu những năm 2000, và hiện nay nó vẫn đang được tiếp tục phát

triển. Với tra cứu ảnh dựa trên nội dung, Eakins và Graham đã chia thành ba mức,

tùy thuộc vào mức độ phức tạp tăng dần đó là: Tìm kiếm ảnh dựa vào các đặc trưng

cơ bản như màu sắc, hình dạng, kết cấu và phân bố không gian hay tổ hợp các đặc

trưng đó. Các hệ thống tra cứu ảnh thành công ở mức này như: QBIC (Flickner et al

1995), SIMBA (Siggelkow et al 2001), VIPER/GIFT (Muller 2001) hoặc FIRE

(Deselaers et al, 2004). Ở mức 1, tất cả các thông tin cần thiết được sử dụng để đánh

giá đều được thu thập từ chính bản thân ảnh. Ở mức 2, tìm kiếm đối tượng dựa vào

các đặc trưng logic hoặc suy diễn, tra cứu các đối tượng theo một kiểu cho trước,

nghĩa là tìm kiếm các thành phần của một loại đối tượng như tìm kiếm các ảnh có

“bông hoa”, “con vật” hoặc “da”, “gỗ” v.v hoặc tra cứu các đối tượng riêng hay một

đối tượng người cụ thể nào đó, ví dụ tìm các ảnh có ô tô đặc biệt, ở mức này đã có

một số công trình nghiên cứu [33,50,58,78,83,97], đặc biệt gần đây nhất là công trình

của Alexandra Teynor năm 2009 [92] đã tra cứu một vài loại đối tượng như xe đạp,

xe máy. Mức thứ 3 đó là tra cứu dựa trên ngữ nghĩa, tra cứu bằng các sự kiện, đây

cũng là một vấn đề khó để giải quyết hoặc các hoạt động như trận bóng đá hay thi

Olympic hay tra cứu các bức tranh nói về cảm xúc như tình yêu hay lòng yêu nước

v.v. Và hiện nay, bài toán ở mức 3 vẫn chưa có một nghiên cứu nào thậm chí trường

hợp thứ hai là chưa thể giải quyết trong tương lai gần.

Tra cứu ảnh dựa trên nội dung chủ yếu quan tâm nghiên cứu ở khía cạnh kỹ

thuật, không quan tâm đến khía cạnh người sử dụng. Thay vì người sử dụng phải yêu

cầu tìm các bức ảnh có phân phối màu tương tự hay giống với một mẫu chất liệu cho

trước, họ sẽ thích hơn khi chỉ cần yêu cầu tìm các bức ảnh có một hoặc một số mẫu

chất liệu cho trước nào đó hay tìm kiếm phát hiện một hoặc một vài mẫu chất liệu

nào đó có trong bức ảnh cho trước. Phát hiện mẫu chất liệu trong ảnh hiện đang là

một vấn đề cốt lõi trong nhiều hệ thống giám sát tự động [90,98]. Giám sát hỏa hoạn,

giám sát giao thông, giám sát theo dõi và bảo vệ vào ra trong các tòa nhà lớn v.v là

những bài toán thiết yếu của mỗi quốc gia. Đôi lúc phát hiện được chất liệu thông qua

mẫu chất liệu sẽ cho ta phát hiện được đối tượng cần quan tâm, ví dụ nếu phát hiện

được chất liệu da mặt thì khả năng trong bức ảnh đó sẽ có mặt người hay có người.

Hoặc phát hiện một vùng ảnh nào đó chứa lông Hổ sẽ chỉ ra có đối tượng con Hổ

trong ảnh đó v.v. Như vậy, phát hiện mẫu chất liệu trong ảnh không những là một

bài toán quan trọng mà còn là một cách tiếp cận mới cho phát hiện đối tượng, là một

nghiên cứu hỗ trợ ứng dụng giải quyết bài toán tra cứu ảnh thuộc mức hai theo cách

phân chia của Eakins và Graham như đã trình bày ở trên, đây cũng là bước đầu tiên

trong các hệ thống nhận dạng. Điều này chứng tỏ được ý nghĩa thực tiễn của bài toán

phát hiện mẫu chất liệu trong ảnh.

Mặc khác, ảnh của mẫu chất liệu phụ thuộc nhiều vào các nhân tố: điều kiện

chiếu sáng, cấu trúc hình học của bề mặt theo từng tỉ lệ không gian cụ thể cũng như

các thuộc tính phản xạ ánh sáng của bề mặt chất liệu phụ thuộc vào hướng chiếu sáng,

tỉ lệ và hướng thu nhận v.v. Điều này dẫn đến sự thay đổi lớn trong các thể hiện của

mẫu chất liệu, tức là cùng một mẫu chất liệu nhưng thu nhận dưới những điều kiện

môi trường khác nhau sẽ trông rất khác nhau (biến thể bên ngoài lớn) hoặc hai mẫu

chất liệu khác nhau nhưng trông rất giống nhau (biến thể bên trong nhỏ) [16,32]. Cho

đến nay vẫn chưa có một mô hình toán học nào có thể mô tả được các sự thay đổi do

môi trường thu nhận ảnh như vậy. Đây chính là vấn đề khó nhất của các nghiên cứu

về chất liệu cũng như của bài toán phát hiện mẫu chất liệu trong ảnh mà luận án đặt

ra, và hiện nay vẫn còn đang là một thách thức đối với các nhà nghiên cứu

[19,20,27,101,102,107]. Hình ảnh dưới đây cho thấy thể hiện mẫu chất liệu thay đổi

khi ánh sáng và hướng thu nhận ảnh thay đổi, mỗi chất liệu được thể hiện trên mỗi

cột và mỗi hàng thể hiện sự thay đổi theo điều kiện thu nhận.

Mỗi dòng thể hiện sự thay đổi của mẫu chất liệu trên mỗi cột.

Nghiên cứu về việc cảm nhận và hiểu được chất liệu đã có từ rất lâu [1,8,88]

và chủ yếu cho mục đích xây dựng hay tái tạo lại chất liệu trong đồ họa máy tính. Đối

với lĩnh vực thị giác máy, có hai hướng nghiên cứu chính về phát hiện mẫu chất liệu

trong ảnh, đó là dựa vào mô hình phản xạ ánh sáng và dựa vào thể hiện ảnh của mẫu

chất liệu. Theo hướng thứ nhất, mẫu chất liệu được mô hình hóa bởi các hàm phân

phối phản xạ hai chiều BRDF (Bidirectional Reflectance Distribution Function), BTF

(Bidirectional Texture Function) và các biến thể của nó [23,24-26,30,80]. BRDF hay

BTF chính là ảnh chất liệu được tham số hóa bởi các tham số về ánh sáng và hướng

thu nhận của một hàm được xác định trước. Việc nhận dạng hay phát hiện có thể dựa

vào các tham số ước lượng được từ các mô hình này trên tập mẫu chất liệu nhưng rất

hạn chế về một số điều kiện như ánh sáng, hình học bề mặt và thuộc tính chất liệu

[101,102]. Với các mẫu chất liệu trong tự nhiên để sử dụng được mô hình BRDF và

BTF đòi hỏi phải huấn luyện tất cả các biến thể của mẫu chất liệu dưới mọi điều kiện

ánh sáng và hướng thu nhận ảnh. Việc học như vậy là rất phức tạp, thậm chí không

thể thực hiện được bởi vì chúng ta không thể thu thập được một tập các ảnh dưới tất

cả các điều kiện ánh sáng với các hướng chụp khác nhau. Tuy nhiên, điều quan trọng

nữa là chỉ biết thuộc tính phản xạ của một bề mặt thì vẫn không đủ để quyết định

mẫu chất liệu, vì thực tế với một bề mặt trong suốt chúng ta không thể biết nó được

làm từ nhựa dẻo, sáp ong hay kính v.v.

Hướng nghiên cứu thứ hai, dựa vào các kiểu đặc trưng ảnh trên cơ sở các đặc

trưng địa phương và đặc trưng toàn cục. Với đặc trưng toàn cục, có các phương pháp

dựa trên biến đổi miền không gian và tần số. Các phương pháp loại này trích chọn

đặc trưng dựa trên biến đổi không gian và tần số như bộ lọc Gabor, bộ lọc Gauss hay

phép biến đổi Wavelet, Fourier v.v [104-106]. Một số khác là các phương pháp thống

kê, ví dụ điển hình là phương pháp Histogram, Ma trận đồng hiện mức xám (Grey

Level Co-occurrence Matrices-GLCM) hay mẫu nhị phân địa phương (Local Binary

Patterns-LBP) [77]. Phương pháp GLCM trích chọn các đặc trưng thống kê như độ

tương phản, tính đồng đều, độ thô, năng lượng v.v từ đặc tả mối quan hệ không gian

của mẫu chất liệu. Các đặc trưng thống kê như ma trận đồng hiện mức xám (GLCM)

rất nhạy với sự thay đổi ánh sáng. Tiếp theo là một số phương pháp dựa vào mô hình

và xây dựng các tính chất bất biến từ đặc trưng của mô hình, chẳng hạn như mô hình

trường Markov ngẫu nhiên (Markov Random Field -MRF) [101], tìm ra những tính

chất bất biến ánh sáng. Tuy nhiên, trong trường hợp tổng quát thì các phương pháp

thuộc các loại này không bất biến với các phép biến đổi hình học cũng như quang học

làm cho việc mô tả và phát hiện mẫu chất liệu không hiệu quả chẳng hạn với các bề

mặt có độ lồi lõm lớn thì hướng ánh sáng thay đổi sẽ làm thay đổi thể hiện ảnh của

nó rất lớn do bóng (shadow), che khuất (occulusion). Mô hình Fractal sử dụng đặc

điểm tự tương tự để tìm ra các đặc trưng bất biến đối với các phép biến đổi affine

trong đó quan trọng nhất là bất biến tỉ lệ toàn cục và ánh sáng. Gần đây, các đặc trưng

địa phương được quan tâm nghiên cứu nhiều vì thế nó có thể dễ dàng tích hợp các

tính chất bất biến vào từng mô tả địa phương tùy thuộc vào từng mục đích của bài

toán. Tính địa phương của nó cũng thuận lợi trong việc đối sánh và tìm kiếm mẫu

chất liệu trong ảnh. Một số đặc trưng bất biến địa phương tiêu biểu như LBP (2003),

LBP-HF (2006), SIFT(1999, 2004) [60,77] v.v, mỗi loại đặc trưng này phù hợp với

một số các loại mẫu chất liệu. Các phương pháp loại này sẽ làm giảm bớt số lượng

mẫu huấn luyện, thậm chí chỉ cần một mẫu huấn luyện là đủ, nghĩa là thời gian thực

hiện nhanh hơn do đó thích hợp cho bài toán phát hiện mẫu chất liệu. Xu hướng

nghiên cứu chất liệu, mô hình chất liệu và các phương pháp phát hiện mẫu chất liệu

là các vấn đề nền tảng của thị giác máy và đã được nhiều tác giả nghiên cứu. Hiện tại

các nghiên cứu vẫn còn rời rạc chỉ hạn chế trong một số điều kiện cụ thể làm cho việc

ứng dụng cũng hạn chế theo. Do đó, việc nghiên cứu và đề xuất các thuật toán,

phương pháp phát hiện mẫu chất liệu từ những bức ảnh trong thế giới thực và nhằm

mục đích ứng dụng vào lĩnh vực giám sát tự động đòi hỏi các phương pháp giải quyết

phải thực hiện thời gian thực. Do tính đa dạng và phức tạp của các loại chất liệu khác

nhau trong thế giới thực, vì vậy cho đến hiện nay bài toán này vẫn còn đang được

quan tâm nghiên cứu mặc dù hầu hết đều xây dựng các hệ thống nhận dạng chất liệu

trong một số các cơ sở dữ liệu chất liệu ứng dụng trong những mục đích cụ thể

[27,51,54]. Gần đây nhất, năm 2013 nhóm Edward H. Adelson, Ce Liu, Lavanya

Sharan đã đưa ra một phương pháp nghiên cứu nhận dạng loại chất liệu thông dụng

dựa vào đặc trưng nhận thức của con người trên cơ sở dữ liệu Flickr Materials

Database do họ xây dựng mặc dù cơ sở dữ liệu này không thể hiện được biến thể bên

ngoài nhiều mà các bài toán phát hiện cũng như nhận dạng mẫu chất liệu hết sức quan

tâm và hơn nữa độ chính xác vẫn còn dưới 50% [89].

Trên cơ sở ý nghĩa thực tiễn và những vấn đề vẫn đang còn nhiều thách thức

trong bài toán tra cứu ảnh ở mức hai cũng như việc mô tả và nhận dạng chất liệu của

lĩnh vực Thị giác máy, luận án lựa chọn đề tài “Nghiên cứu phát hiện mẫu chất liệu

trong ảnh”, nhằm nghiên cứu các cách tiếp cận cũng như các phương pháp biễu diễn

mẫu chất liệu và tìm kiếm, xác định mẫu chất liệu trong ảnh, đồng thời đề xuất ứng

dụng giải quyết bài toán phát hiện ảnh số giả mạo cũng như định hướng nghiên cứu

một số bài toán trong lĩnh vực giám sát tự động.

Như đã phân tích ở trên, nghiên cứu về chất liệu thì hầu hết người ta tập trung

nghiên cứu theo hai hướng chính đó là mô hình hóa các thuộc tính phản xạ bề mặt và

nhận dạng kết cấu 2D và 3D trên cơ sở sử dụng đặc trưng ảnh. Nhưng nhận biết được

thuộc tính phản xạ bề mặt vẫn chưa đủ để xác định mẫu chất liệu vì có rất nhiều mẫu

chất liệu khác nhau nhưng có cùng thuộc tính phản xạ bề mặt, do đó không thể áp

dụng trực tiếp được cho bài toán phát hiện mẫu chất liệu. Nhận biết kết cấu 2D hoặc

Tải về để xem bản đầy đủ

134 trang yennguyen 16960 Free

Download

Bạn đang xem 20 trang mẫu của tài liệu "Luận án Nghiên cứu phát hiện mẫu chất liệu trong ảnh", để tải tài liệu gốc về máy hãy click vào nút Download ở trên

File đính kèm:

luan_an_nghien_cuu_phat_hien_mau_chat_lieu_trong_anh.pdf