Luận án Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân
ĐẠI HỌC HUẾ
TRƯỜNG ĐẠI HỌC KHOA HỌC
VĂN THẾ THÀNH
TÌM KIẾM ẢNH
DỰA TRÊN ĐỒ THỊ CHỮ KÝ NHỊ PHÂN
LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH
HUẾ - NĂM 2017
ĐẠI HỌC HUẾ
TRƯỜNG ĐẠI HỌC KHOA HỌC
VĂN THẾ THÀNH
TÌM KIẾM ẢNH
DỰA TRÊN ĐỒ THỊ CHỮ KÝ NHỊ PHÂN
Chuyên ngành: Khoa học máy tính
Mã ngành: 62.48.01.01
LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH
Ngƣời hƣớng dẫn khoa học:
PGS. TS Lê Mạnh Thạnh
HUẾ - NĂM 2017
LỜI CAM ĐOAN
Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Nội dung tham
khảo từ các công trình khác đều được trích dẫn rõ ràng. Các kết quả viết chung với
các tác giả khác đều được sự đồng ý trước khi đưa vào luận án. Các kết quả của
luận án là trung thực và chưa được công bố trong các công trình khác ngoài các
công trình của tác giả.
Tác giả
Văn Thế Thành
Lời cảm ơn
Đầu tiên, em xin chân thành gửi lời cảm ơn Thầy PGS. TS Lê Mạnh Thạnh vì
sự hướng dẫn tận tình và khoa học. Thầy đã dẫn dắt em đi từng bước trên con
đường nghiên cứu khoa học; Thầy đã hướng dẫn tận tình về phương pháp nghiên
cứu, phương pháp viết bài báo khoa học và phương pháp tổng hợp tri thức trong quá
trình học tập, nghiên cứu.
Em xin chân thành gửi lời cảm ơn đến Phòng Đào tạo Sau Đại học, Ban Giám
hiệu của Trường Đại học Khoa học - Đại học Huế đã tạo điều kiện thuận lợi cho em
trong suốt quá trình học tập và thực hiện luận án.
Em xin chân thành gửi lời cảm ơn đến tập thể thầy cô giáo Khoa Công nghệ
Thông tin, Trường Đại học Khoa học - Đại học Huế đã có những góp ý, giúp đỡ và
động viên kịp thời trong quá trình học tập và nghiên cứu.
Em xin chân thành gửi lời cảm ơn đến các Giáo sư Đại học Eötvös Loránd,
Hungary và các phản biện ẩn danh đã có những đề nghị khoa học giá trị trong nội
dung nghiên cứu.
Tôi xin gửi lời cảm ơn đến các đồng nghiệp là cán bộ, giảng viên Trường Đại
học Công nghiệp Thực phẩm Tp.HCM đã cổ vũ động viên và sát cánh bên tôi trong
quá trình học tập và nghiên cứu.
Tôi xin gửi lời cảm ơn đến tất cả bạn bè và những người xung quanh luôn chia
sẻ, động viên trong những lúc khó khăn.
Xin gửi lời cảm ơn đến người vợ thân yêu đã hỗ trợ và chu toàn trong cuộc
sống hàng ngày để anh thực hiện quá trình học tập, nghiên cứu.
Cuối cùng, con xin bày tỏ lòng biết ơn vô hạn đối với cha mẹ và gia đình đã
luôn ủng hộ, giúp đỡ trong suốt quá trình thực hiện luận án.
i
MỤC LỤC
Lời cảm ơn ...................................................................................................................i
DANH MỤC HÌNH ẢNH ..........................................................................................v
DANH MỤC BẢNG BIỂU ..................................................................................... vii
PHẦN MỞ ĐẦU.........................................................................................................1
1.1. Mở đầu ..............................................................................................................5
1.2. Tổng quan các công trình nghiên cứu...............................................................5
1.3. Định hướng nghiên cứu ..................................................................................12
1.4. Các đối tượng cơ sở ........................................................................................12
1.4.1. Tạo dải màu cơ sở ....................................................................................12
1.4.2. Thực nghiệm về tạo dải màu cơ sở ..........................................................13
1.4.3. Trích xuất lược đồ màu ............................................................................16
1.4.4. Trích xuất đặc trưng SIFT........................................................................16
1.4.6. Trích xuất đối tượng đặc trưng.................................................................19
1.4.7. Chữ ký nhị phân.......................................................................................22
1.4.8. Chữ ký nhị phân của hình ảnh..................................................................24
1.4.9. Các giá trị đánh giá hiệu suất ...................................................................25
1.4.10. Môi trường thực nghiệm ..........................................................................25
1.5. Tổng kết chương .............................................................................................27
2.1. Giới thiệu ........................................................................................................28
2.2. Tạo chữ ký nhị phân của hình ảnh ..................................................................30
2.3. Độ đo EMD.....................................................................................................32
2.3.1. Tổng quan về độ đo EMD........................................................................32
2.5. Cây S-Tree ......................................................................................................36
2.6. Cây Sig-Tree ...................................................................................................37
2.6.1. Giới thiệu cây Sig-Tree ............................................................................37
2.6.2. Thiết kế cấu trúc dữ liệu cây Sig-Tree .....................................................37
ii
2.6.4. Phép tách một nút trên cây Sig-Tree ........................................................39
2.6.5. Phép loại bỏ chữ ký trên cây Sig-Tree .....................................................41
2.6.6. Phép chèn chữ ký trên cây Sig-Tree.........................................................42
2.6.7. Tìm kiếm trên cây Sig-Tree......................................................................43
2.7. Tìm kiếm ảnh dựa trên cây Sig-Tree...............................................................44
2.8. Tổng kết chương .............................................................................................53
3.1. Giới thiệu ........................................................................................................54
3.2. Chữ ký nhị phân của hình ảnh ........................................................................54
3.3. Độ đo tương tự ................................................................................................56
3.4.1. Gom cụm chữ ký nhị phân.......................................................................57
3.5. Xây dựng đồ thị S-kGraph ..............................................................................68
3.5.1. Cấu trúc đồ thị S-kGraph..........................................................................68
3.5.2. Thuật toán tạo đồ thị S-kGraph ................................................................72
3.5.4. Phân rã cụm trong đồ thị S-kGraph..........................................................75
3.7. Tổng kết chương ...........................................................................................107
TÀI LIỆU THAM KHẢO.......................................................................................112
iii
DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT
Ký hiệu
BSSF
Diễn giải tiếng Anh
Bit-Slice Signature File
Content-Based Image Retrieval
Diễn giải tiếng Việt
Tập tin chữ ký phân mảnh
CBIR
Tìm kiếm ảnh theo nội dung
CBMIR Content-Based Medical Image Retrieval Tìm kiếm ảnh y khoa theo nội dung
CBSSF
DoG
DWF
DWT
EMD
IPT
Compressed Bit-Sliced Signature File
Difference of Gaussian
Tập tin chữ ký phân mảnh dạng nén
Đạo hàm Gauss
Discrete Wavelet Frame
Phép biến đổi DWF
Discrete Wavelet Transform
Earth Mover’s Distance
Phép biến đổi Wavelet rời rạc
Độ đo EMD
Image Processing Toolbox
Công cụ xử lý ảnh trong Matlab
Chuẩn nén ảnh JPEG
JPEG
KMCC
LoG
K-Means with Connectivity Constraint Gom cụm K-mean miền liên thông
Laplace of Gaussian
Phép biến đổi Laplace Gauss
Hệ thống thông tin địa lý
Tìm kiếm ảnh trên vùng cục bộ
Đồ thị đặc tính
GIS
Geographic Information System
Region-Based Image Retrieval
Receiver Operating Characteristic
Relevance Feedback
RBIR
ROC
RF
Phương pháp phản hồi liên quan
Tập tin chữ ký tuần tự
Bản đồ tự tổ chức
SSF
Sequential Signature File
Self Organizing Map
SOM
SIFT
Scale Invariant Features Transform
Đặt trưng hình ảnh SIFT
Bản đồ chữ ký nhị phân
Cây chữ ký Sig-Tree
Sig-SOM Signature - Self Organizing Map
Sig-Tree Signature - Tree
S-kGraph Signature -kGraph
Đồ thị chữ ký gom cụm
Đồ thị chữ ký
SG
Signature Graph
S-Tree
SURF
SVM
TBIR
WWW
Signature Tree
Cây chữ ký S-Tree
Speeded Up Robust Feature
Support Vector Machine
Text-Based Image Retrieval
World Wide Web
Đặc trưng hình ảnh SURF
Vec-tơ hỗ trợ SVM
Tìm kiếm ảnh dựa trên văn bản
Mạng toàn cầu WWW
iv
DANH MỤC HÌNH ẢNH
Hình 1.4. Một số kết quả về trích xuất đặc trưng SIFT ...............................................19
Hình 1.5. Ví dụ ảnh được tách thành 711 khối........................................................20
Hình 1.6. Một số ví dụ về mặt nạ phân đoạn ..............................................................22
Hình 1.8. Mô tả chữ ký nhị phân của đối tượng dữ liệu..............................................23
Hình 1.9. Mô tả chữ ký nhị phân của hình ảnh ...........................................................24
Hình 1.10. Độ phủ recall và độ chính xác precision...................................................25
Hình 2.1. Minh họa cấu trúc dữ liệu cây Sig-Tree ......................................................37
v
DANH MỤC BẢNG BIỂU
Bảng 1.2. Các tập dữ liệu ảnh được thực nghiệm trong luận án........................................... 26
Bảng 2.1. Mô tả các chương trình tìm kiếm ảnh dựa trên cây Sig-Tree............................... 46
Bảng 2.3. So sánh hiệu suất tìm kiếm giữa các phương pháp............................................... 52
Bảng 3.1. Hiệu suất tìm kiếm dựa trên gom cụm tập ảnh COREL ...................................... 66
Bảng 3.3. Hiệu suất tìm kiếm dựa trên gom cụm tập ảnh WANG ....................................... 66
Bảng 3.4. Hiệu suất tìm kiếm trung bình dựa trên gom cụm các tập ảnh ............................ 67
Bảng 3.5. So sánh độ chính xác tìm kiếm trên tập ảnh COREL........................................... 67
Bảng 3.6. So sánh thời gian tìm kiếm trên tập ảnh COREL ................................................. 67
Bảng 3.7. So sánh hiệu suất tìm kiếm trên tập ảnh CBIRimages ......................................... 67
Bảng 3.15. So sánh độ chính xác tìm kiếm trên tập ảnh COREL......................................... 86
Bảng 3.16. So sánh thời gian tìm kiếm trên tập ảnh COREL ............................................... 86
Bảng 3.25. So sánh hiệu suất của các phương pháp đề xuất............................................... 105
vii
PHẦN MỞ ĐẦU
1. Tính cấp thiết của luận án
Ngày nay, dữ liệu đa phương tiện (văn bản, hình ảnh, âm thanh, video) được
lưu trữ và ứng dụng rộng rãi trong nhiều hệ thống như: hệ thống thông tin WWW,
hệ thống thư viện số, hệ thống tra cứu video, hệ thống thông tin địa lý, các nghiên
cứu thiên văn học, hệ thống quan sát vệ tinh, hệ thống điều tra hình sự, ứng dụng y
sinh, giáo dục đào tạo, giải trí, v.v.
Lyman và cộng sự ước tính dung lượng thông tin toàn cầu có hơn 4 exabyte
lượng thông tin toàn cầu năm 2007 khoảng 1,15 zettabyte (1 zettabyte = 1.000
khoảng 3,6 zettabyte và kích thước gia tăng trong năm 2011 khoảng 1.800 exabyte,
số liệu của hiệp hội ACI (Airports Council International), trong năm 2014, trung
bình mỗi phút có 2,5 triệu nội dung được chia sẻ trên Facebook, gần 300.000 tin
nhắn trên Twitter, khoảng 220.000 hình ảnh mới trên Instagram, khoảng 72 giờ nội
dung video được đăng tải mới trên YouTube, gần 50.000 ứng dụng được tải từ
(International Data Corporation), dung lượng dữ liệu gia tăng trong năm 2012 là
Dữ liệu đa phương tiện, đặc biệt là ảnh số đã trở nên thân thuộc với cuộc sống
hàng ngày và được sử dụng trên nhiều thiết bị khác nhau như camera, mobile,
smartphone, v.v. Theo báo cáo của IDC, năm 2015 thế giới đã tạo và chia sẻ hơn
Việc số hóa dữ liệu đa phương tiện đã tạo ra các cơ sở dữ liệu khổng lồ làm cho bài
toán tìm kiếm đối tượng trở nên phức tạp và có nhiều thách thức như: truy xuất theo
nội dung đối tượng, tìm kiếm nhanh các đối tượng liên quan, v.v.
Trong vấn đề truy vấn dữ liệu, đặc biệt là dữ liệu ảnh, bài toán tìm kiếm hình
các nghiên cứu gần đây cho thấy việc tìm kiếm các hình ảnh liên quan với yêu cầu
1
2. Động lực nghiên cứu
Từ thập niên 1980 cho đến nay, nhiều công trình đã ứng dụng chữ ký nhị phân
kiếm ảnh dựa trên văn bản TBIR (Text-Based Image Retrieval) tốn kém thời gian
mô tả chỉ mục của hình ảnh dưới dạng văn bản và có nhiều hạn chế nhất định vì tính
chủ quan của con người; (2) Tìm kiếm ảnh dựa trên nội dung CBIR (Content-Based
Image Retrieval), tức là tìm tập hình ảnh tương tự với nội dung của hình ảnh cho
trước. Phương pháp CBIR thực hiện tìm kiếm dựa trên đặc trưng thị giác của hình
ảnh, do đó vượt qua được hạn chế của phương pháp tìm kiếm TBIR. Tuy nhiên,
phương pháp tìm kiếm CBIR đối diện với các vấn đề khó khăn như: trích xuất tự
động các đặc trưng thị giác, tạo ra các chỉ mục đa chiều và đưa ra phương pháp tìm
kiếm ảnh tương tự. Vì vậy, phương pháp tìm kiếm ảnh theo nội dung là sự kết hợp
Việc thiết kế chỉ mục, xây dựng cấu trúc dữ liệu và đưa ra thuật toán tìm kiếm
đặt ra là xây dựng phương pháp tìm kiếm ảnh hiệu quả, nghĩa là tìm kiếm nhanh các
hình ảnh tương tự trong một tập dữ liệu ảnh lớn với độ chính xác cao. Vì nội dung
thức và động lực để truy tìm các thông tin hữu ích từ các tập dữ liệu ảnh lớn.
Động lực tiếp theo của luận án là xây dựng một phương pháp tìm kiếm hình
ảnh tương tự qua nội dung dựa trên chỉ mục nhị phân, gọi là chữ ký nhị phân
(binary signature). Thách thức đầu tiên của phương pháp này là tạo ra chữ ký nhị
phân nhưng phải mô tả được các đặc trưng thị giác của hình ảnh để từ đó làm cơ sở
đối sánh và tìm ra tập hình ảnh tương tự. Thách thức thứ hai là thiết kết một cấu trúc
dữ liệu phù hợp để lưu trữ các chữ ký nhị phân, từ đó tạo thuận lợi trong quá trình
2
tìm kiếm ảnh tương tự. Thách thức thứ ba là áp dụng các phương pháp khai thác dữ
liệu và các thuật toán phù hợp trên các cấu trúc dữ liệu để tìm ra tập hình ảnh tương
tự. Với mong muốn đóng góp một phương pháp tìm kiếm ảnh hiệu quả, luận án lần
lượt giải quyết các thách thức để làm định hướng nghiên cứu trong lĩnh vực này.
3. Mục tiêu của luận án
Mục tiêu của luận án là tìm kiếm ảnh tương tự theo nội dung dựa trên chữ ký
nhị phân nhằm tăng tốc độ tìm kiếm và đảm bảo được độ chính xác cao. Vì vậy,
luận án thực hiện các mục tiêu cụ thể gồm: (1) Tạo chữ ký nhị phân để mô tả đặc
trưng thị giác của hình ảnh; (2) Đánh giá độ tương tự giữa hai hình ảnh dựa trên chữ
ký nhị phân; (3) Xây dựng cấu trúc dữ liệu để lưu trữ chữ ký nhị phân; (4) Đề xuất
các thuật toán cho bài toán tìm kiếm ảnh tương tự; (5) Xây dựng thực nghiệm về
tìm kiếm ảnh dựa trên chữ ký nhị phân.
4. Phƣơng pháp nghiên cứu
Phương pháp lý thuyết: Tổng hợp một số công bố liên quan đến tìm kiếm ảnh;
nghiên cứu về chữ ký nhị phân mô tả nội dung ảnh, cấu trúc dữ liệu lưu trữ chữ ký
nhị phân, độ đo tương tự giữa các chữ ký nhị phân và các thuật toán tìm kiếm ảnh
theo nội dung. Trên cơ sở phân tích, đánh giá ưu và khuyết điểm của các công trình
đã công bố, luận án phát triển phương pháp tạo chữ ký nhị phân mô tả nội dung
hình ảnh và đề xuất cấu trúc dữ liệu lưu trữ các chữ ký nhị phân. Một số thuật toán
về xây dựng cấu trúc dữ liệu và tìm kiếm ảnh cũng được phát triển.
Phương pháp thực nghiệm: Thực hiện việc cài đặt các thuật toán của luận án
nhằm minh chứng tính hiệu quả về độ chính xác và tốc độ tìm kiếm. Các tập dữ liệu
ảnh được sử dụng cho cài đặt thực nghiệm bao gồm: COREL, CBIRimages,
WANG, ImageCLEF, MSRDI, ImgColl01, ImgColl02. Trên cơ sở số liệu thực
nghiệm, luận án thực hiện phân tích, đánh giá và so sánh với các công trình khác.
5. Nội dung và bố cục của luận án
Nội dung của luận án được tổ chức thành ba chương như sau:
Chƣơng 1 trình bày cơ sở lý thuyết cho tìm bài toán kiếm ảnh dựa trên chữ ký
nhị phân. Chương này tiếp cận bài toán tìm kiếm ảnh theo nội dung; khảo sát, phân
tích các công trình nghiên cứu liên quan; đưa ra mô hình tìm kiếm ảnh dựa trên chữ
ký nhị phân. Các đối tượng cơ sở cho tìm kiếm ảnh theo nội dung dựa trên chữ ký
nhị phân được nghiên cứu gồm: Các đặc trưng hình ảnh; chữ ký nhị phân của hình
3
ảnh; các giá trị đánh giá hiệu suất, môi trường thực nghiệm. Từ đó, luận án đưa ra
định hướng xây dựng phương pháp tìm kiếm ảnh dựa trên chữ ký nhị phân.
Chƣơng 2 đưa ra một số cải tiến cho tìm kiếm ảnh dựa trên cây S-Tree. Nội
dung chương là mô tả phương pháp tạo chữ ký nhị phân từ đặc tính thị giác của
hình ảnh, ứng dụng độ đo EMD, Hamming để đánh giá độ tương tự giữa các hình
ảnh. Dựa trên cấu trúc cây S-Tree, chương này thiết kế cấu trúc cây Sig-Tree để xây
dựng phương pháp tìm kiếm ảnh dựa trên các đặc trưng thị giác toàn cục và cục bộ
của hình ảnh. Để minh họa cơ sở lý thuyết đã xây dựng, chương này xây dựng thực
nghiệm trên tập dữ liệu ảnh COREL, WANG, ImgColl01. Phần cuối chương đưa ra
kết luận và định hướng cải tiến tiếp theo.
Chƣơng 3 đề xuất phương pháp tìm kiếm ảnh trên đồ thị chữ ký nhị phân.
Chương này đưa ra phương pháp tạo chữ ký nhị phân mô tả về vị trí, hình dạng,
màu sắc của đối tượng đặc trưng hình ảnh; tiếp cận độ đo tương tự giữa các chữ ký
nhị phân, xây dựng cấu trúc dữ liệu đồ thị S-kGraph và mạng Sig-SOM. Nội dung
của chương mô tả thuật toán xây dựng cấu trúc dữ liệu đồ thị S-kGraph và mạng
Sig-SOM để xây dựng phương pháp tìm kiếm ảnh theo nội dung dựa trên chữ ký
nhị phân. Nhằm minh chứng cơ sở lý thuyết đã xây dựng, phần thực nghiệm và
đánh giá kết quả trên tập dữ liệu ảnh COREL, CBIRimages, WANG, ImageCLEF,
MSRDI, ImgColl02 cũng được trình bày tương ứng.
6. Đóng góp của luận án
Đóng góp chính của luận án là xây dựng phương pháp tìm kiếm nhanh hình
ảnh tương tự theo nội dung với độ chính xác cao. Các đóng góp cụ thể bao gồm:
- Đề xuất một số cải tiến cho cây S-Tree và thiết kế cấu trúc cây Sig-Tree
nhằm xây dựng phương pháp tìm kiếm ảnh theo nội dung dựa trên chữ ký nhị phân;
- Xây dựng cấu trúc dữ liệu đồ thị chữ ký S-kGraph và phương pháp tìm kiếm
ảnh theo nội dung dựa trên chữ ký nhị phân;
- Xây dựng cấu trúc mạng Sig-SOM và phương pháp tìm kiếm ảnh theo nội
dung dựa trên chữ ký nhị phân;
- Đề xuất các thuật toán dựa trên cơ sở lý thuyết cho phương pháp tìm kiếm
ảnh theo nội dung dựa trên chữ ký nhị phân.
4
Chƣơng 1. TỔNG QUAN VỀ TÌM KIẾM ẢNH
THEO NỘI DUNG DỰA TRÊN CHỮ KÝ NHỊ PHÂN
1.1. Mở đầu
Tìm kiếm ảnh là tra cứu các hình ảnh liên quan từ một tập dữ liệu hình ảnh
quan từ tập dữ liệu hình ảnh dựa trên trích xuất tự động các đặc trưng hình ảnh như
Luận án xây dựng phương pháp tìm kiếm ảnh dựa trên chữ ký nhị phân theo
và tìm kiếm ảnh tương tự. Bước đầu tiên của giai đoạn tiền xử lý là chuyển đổi tập
dữ liệu ảnh trở thành tập chữ ký nhị phân; bước thứ hai là xây dựng cấu trúc dữ liệu
để lưu trữ tập chữ ký nhị phân. Bước đầu tiên của giai đoạn tìm kiếm ảnh là chuyển
đổi hình ảnh trở thành chữ ký nhị phân; bước kế tiếp của giai đoạn này là tìm kiếm
ảnh tương tự dựa trên thuật toán và cấu trúc dữ liệu đã thiết kế; bước cuối cùng là
đưa ra tập ảnh tương tự với ảnh tra cứu. Có bốn công việc quan trọng trong mô hình
này đó là: (1) Tạo chữ ký nhị phân mô tả đặc trưng hình ảnh; (2) Đánh giá độ tương
tự giữa hai hình ảnh dựa trên chữ ký nhị phân; (3) Thiết kế cấu trúc dữ liệu lưu trữ
chữ ký nhị phân; (4) Đề xuất thuật toán tìm kiếm ảnh.
Hình 1.1. Mô hình tổng quát cho tìm kiếm ảnh dựa trên chữ ký nhị phân
1.2. Tổng quan các công trình nghiên cứu
Một số ứng dụng tìm kiếm ảnh theo nội dung đã công bố như: QBIC, Photobook,
5
Từ năm 1980 đã có nhiều nghiên cứu về ứng dụng chữ ký nhị phân cho bài
toán tìm kiếm đối tượng dữ liệu. Các công trình này vẫn còn hạn chế về độ chính
xác của kết quả truy vấn và tốn nhiều chi phí xử lý trên cấu trúc dữ liệu lưu trữ chữ
ký nhị phân, tiêu biểu như sau:
Uwe Deppisch đã tiếp cận cấu trúc cây S-Tree và các thao tác cơ sở nhằm
trình này, cây S-Tree được kế thừa từ cấu trúc B+-Tree và giải quyết được bài toán
tra cứu các đối tượng dữ liệu tại các nút lá của cây. Thao tác tra cứu trên cây S-Tree
thực hiện theo cấu trúc đệ quy và có thể duyệt theo nhiều hướng nhánh con khác
nhau. Phép hiệu chỉnh các nút trên cây tốn kém nhiều chi phí vì phải thực hiện phép
tìm kiếm nút cha tương ứng.
Walter W. Chang và Hans J. Schek đã tiếp cận phương pháp tạo chữ ký nhị
phân cho bài toán tìm kiếm trên các cơ sở dữ liệu lớn dựa trên cấu trúc tập tin chữ
cha liên kết đến các nút con và đến các nút lá. Thao tác truy vấn dữ liệu được thực
hiện từ các nút cha đến các nút lá. Nếu dữ liệu tăng trưởng thì các nút lá tăng số
lượng phần tử. Khi đó, chữ ký tại nút cha được cập nhật lại bằng cách hội các chữ
ký của nút con dẫn đến các chữ ký tại nút cha chứa nhiều bit ‘1’. Do đó, mỗi lần
truy vấn có thể đi theo nhiều nhánh và kết quả có thể bị nhầm lẫn (false drop).
Trong thập niên 1990, nhiều nghiên cứu đã sử dụng chữ ký nhị phân cho bài
toán tìm kiếm dữ liệu đa phương tiện dựa trên cấu trúc dữ liệu cải tiến. Tuy nhiên,
các công trình này vẫn tốn kém nhiều chi phí tính toán và độ chính xác vẫn còn hạn
chế, tiêu biểu như sau:
F. Rabitti và P. Zezulu đã tiếp cận kỹ thuật tạo chữ ký nhị phân cho các đối
tượng dữ liệu đa phương tiện dựa trên hàm băm mã hóa, từ đó thực hiện tìm kiếm
phân được chia thành nhiều phần mô tả các đặc tính khác nhau của đối tượng văn
bản hoặc hình ảnh. Việc truy vấn được thực hiện qua một hàm lọc dữ liệu để xác
định tập tin chứa các đối tượng dữ liệu. Phương pháp này phải phân loại các đối
tượng theo từng nhóm, mỗi nhóm lưu trữ vào một tập tin chỉ mục. Nếu dữ liệu thay
đổi thì đặc trưng của các nhóm đối tượng thay đổi và dẫn đến tốn kém chi phí tính
toán để tạo thành điều kiện lọc cho mỗi tập tin của nhóm đối tượng.
6
Wiebren de Jonge và cộng sự đã xây dựng cấu trúc cây S+-tree nhằm lưu trữ
liệu này, các nút lá được liên kết với nhau để tăng tốc độ truy vấn. Mỗi phần tử
trong nút lá gồm chữ ký nhị phân kết hợp với các chỉ số thuộc tính, điều này giúp
xác định đối tượng cần tra cứu. Nếu tra cứu một nhóm đối tượng tương tự thì
phương pháp này tốn kém chi phí tìm kiếm dựa trên các liên kết tại nút lá. Độ chính
xác phụ thuộc vào điều kiện đánh giá độ tương tự giữa các đối tượng dữ liệu.
Suh-Yin Lee và cộng sự đã xây dựng tập tin chữ ký nhị phân dựa trên chuỗi
tốn kém nhiều chi phí cho việc nhận diện các đối tượng cơ sở trên mỗi hình ảnh. Vì
tập các đối tượng cơ sở có thể thay đổi theo tập dữ liệu hình ảnh nên ứng với mỗi
tập ảnh khác nhau phải xây dựng lại các đối tượng cơ sở để từ đó tạo chữ ký cho
mỗi hình ảnh.
Trong giai đoạn từ năm 2000 đến 2012, nhiều công trình đã sử dụng chữ ký
nhị phân để mô tả đặc trưng hình ảnh và ứng dụng các cấu trúc dữ liệu khác nhau
cho bài toán tìm kiếm ảnh nhưng vẫn chưa tập trung nghiên cứu cải tiến cấu trúc dữ
liệu nhằm tra cứu nhanh các hình ảnh tương tự theo nội dung, tiêu biểu như sau:
Vishal Chitkara và cộng sự đã công bố tài liệu kỹ thuật về tìm kiếm ảnh theo
đề xuất phương pháp tạo chữ ký nhị phân cho ảnh màu và đưa ra độ đo tương tự
giữa các chữ ký nhị phân nhằm phục vụ cho bài toán tìm kiếm ảnh. Công trình đã
đánh giá độ chính xác về thực nghiệm trên các tập dữ liệu ảnh lớn để minh chứng
tính khả thi của phương pháp. Chữ ký nhị phân được tạo ra dựa trên tỉ lệ phần trăm
theo tập màu ưu thế của hình ảnh. Độ đo tương tự là tổng bình phương độ lệch của
vị trí bit ‘1’ theo từng nhóm bit giữa hai chữ ký nhị phân. Nếu hai hình ảnh có cùng
tỉ lệ màu chiếm ưu thế giống nhau nhưng vị trí phân bố màu sắc khác nhau thì
phương pháp này có kết quả không chính xác.
Essam A. El-Kwae và cộng sự đã đưa ra phương pháp tìm kiếm ảnh dựa trên
trữ các chuỗi đối tượng tại nút lá, các nút còn lại lưu trữ chữ ký để tra cứu đối tượng
ảnh. Trong công trình này, tác giả đã phân tích cơ sở lý thuyết đồng thời mô tả thực
nghiệm tìm kiếm trên cơ sở dữ liệu ảnh lớn. Tuy nhiên, công trình này vẫn chưa cải
tiến cấu trúc dữ liệu nhằm giảm chi phí tìm kiếm ảnh trên tập tin chữ ký.
7
Václav Snášel đã ứng dụng chữ ký mờ và cấu trúc cây S-Tree cho bài toán
tìm kiếm ảnh tương tự. Thực nghiệm đã so sánh với các phương pháp khác cho thấy
này, phép xóa một phần tử trên cây S-Tree có thể tốn kém nhiều chi phí tái tạo lại
toàn bộ cây và chữ ký nhị phân chưa mô tả được đặc tính của hình ảnh.
Aaron Davidson và cộng sự đã sử dụng cây S-Tree lưu trữ chữ ký nhị phân
kết hợp xử lý song song để tìm kiếm ảnh theo nội dung nhằm tăng tốc độ tìm kiếm
cải thiện đáng kể nhưng độ chính xác vẫn còn hạn chế vì chữ ký nhị phân được tạo
ra từ tỉ lệ màu ưu thế và cấu trúc dữ liệu là cây S-Tree chưa được cải tiến.
Nascimento và Chitkara đã tiếp cận kỹ thuật tìm kiếm ảnh dựa trên chữ ký
nhị phân. Thực nghiệm đã cho thấy tính hiệu quả về thời gian trên các tập dữ liệu
lệ màu ưu thế. Độ đo tương tự giữa hai chữ ký nhị phân được đánh giá dựa trên vị
trí của bit ‘1’. Tuy nhiên, công trình này vẫn chưa đưa ra cấu trúc dữ liệu cho bài
toán tra cứu ảnh mà chủ yếu dựa vào việc truy xuất trên tập tin chữ ký. Một cải tiến
của công trình này là ứng dụng cấu trúc dữ liệu cây S-Tree lưu trữ chữ ký nhị phân
pháp này đã giảm bộ nhớ lưu trữ cũng như tăng tốc độ tra cứu hình ảnh. Cả hai
công trình này đều sử dụng tỉ lệ màu sắc để tạo chữ ký nhị phân dẫn đến kết quả có
thể thiếu chính xác khi hình ảnh có màu sắc phân bố rải rác. Độ đo tương tự được
dựa trên vị trí bit ‘1’ nên có thể đánh giá sai về sự phân bố về vị trí màu sắc của
hình ảnh. Các phép toán trên cấu trúc dữ liệu cây S-Tree được sử dụng trong công
trình này chủ yếu thực hiện qua phép toán đệ quy và tốn kém nhiều chi phí đi ngược
từ nút con đến nút cha. Cây S-Tree phân phối dữ liệu về nút lá dựa trên sự phân cấp
giữa các nút cha và nút con. Do đó, nếu cây S-Tree phân thành nhiều cấp thì việc
truy vấn có thể đi theo nhiều nhánh con và kết quả của quá trình tra cứu bị sai lệch
so với yêu cầu người dùng.
Yannis Manolopoulos đã mô tả về chữ ký nhị phân cho các đối tượng dữ liệu
và ứng dụng cấu trúc S-Tree cho bài toán tìm kiếm dữ liệu đa phương tiện, đặc biệt
8
pháp tách nút bậc hai, bậc ba và gom cụm theo phân cấp. Thao tác truy xuất các
phần tử trên cây được thực hiện từ nút gốc đến nút lá dẫn đến việc tách nút theo
hướng ngược lại (từ nút lá đến nút gốc) tốn kém nhiều chi phí xác định phần tử cha
của một nút trong cây. Vì vậy, các thao tác khác của cây như tổ hợp, chèn phần tử,
xóa phần tử,… vẫn tốn kém nhiều chi phí truy tìm phần tử trên cây.
Imran Ahmad và William I. Grosky sử dụng chữ ký nhị phân để làm chỉ mục
không mô tả màu sắc và cấu trúc ảnh mà dựa trên các đối tượng cơ sở theo vị trí và
hình dạng. Do đó, nếu áp dụng phương pháp này cho ảnh màu thì độ chính xác vẫn
có nhiều hạn chế. Hơn nữa, chi phí và độ chính xác của phương pháp phụ thuộc
nhiều vào bài toán nhận diện đối tượng cơ sở trong một tập ảnh cho trước.
B.G. Prasad và cộng sự đã công bố công trình tìm kiếm ảnh sử dụng chỉ mục
thấy tính hiệu quả về độ chính xác khi sử dụng chữ ký nhị phân để làm chỉ mục mô
tả các đặc trưng màu sắc và đối tượng đặc trưng cho bài toán tìm kiếm ảnh tương tự.
Tuy nhiên, công trình này chưa nêu rõ cấu trúc dữ liệu lưu trữ chữ ký nhị phân
nhằm giải quyết vấn đề tốc độ tra cứu ảnh.
J. Landre và F. Truchetet đã công bố công trình tìm kiếm ảnh dựa trên cấu
được sử dụng để mô tả đặc trưng cấu trúc, hình dạng và màu sắc của hình ảnh.
Công trình này thực hiện bài toán tìm kiếm ảnh dựa trên đối sánh trực tiếp trên tập
chữ ký nhị phân bằng độ đo Hamming và vẫn chưa tập trung nghiên cứu cấu trúc dữ
liệu lưu trữ nhằm tra cứu nhanh các hình ảnh tương tự theo nội dung.
Abdelhamid Abdesselam và cộng sự đã tìm kiếm ảnh theo nội dung dựa trên
chuỗi bit nhị phân mô tả đối tượng đặc trưng trên ảnh. Công trình này đã đề xuất độ
đo tương tự dựa trên độ khác biệt của chuỗi bit. Thực nghiệm của công trình cũng
công trình này vẫn chưa tập trung nghiên cứu hoặc ứng dụng cấu trúc dữ liệu lưu
trữ chữ ký nhị phân nhằm giải quyết bài toán tăng tốc độ tìm kiếm ảnh tương tự.
Năm 2013, Timothy Chappell và Shlomo Geva tiếp cận tìm kiếm ảnh tương tự
9
kiếm hình ảnh khi ứng dụng độ đo Hamming để đánh giá độ tương tự giữa các chữ
ký nhị phân. Công trình này chưa áp dụng cấu trúc dữ liệu để lưu trữ các chữ ký nhị
phân nhằm phục vụ bài toán tìm kiếm ảnh.
Năm 2014, Guangxin Ren và cộng sự đã đề xuất phương pháp tìm kiếm ảnh
tương tự dựa trên chuỗi nhị phân mô tả đặc trưng SIFT để tạo chỉ mục cho hình ảnh
[94]. Phương pháp tra cứu hình ảnh dựa trên việc đối sánh giữa hai chữ ký nhị phân
trên một tập tin dạng văn bản và vẫn chưa cải tiến cấu trúc dữ liệu lưu trữ.
Năm 2014, Junjie Cai và cộng sự đã sử dụng chuỗi nhị phân để tạo chỉ mục
cho đặc trưng thị giác của hình ảnh. Phương pháp này đã tăng tốc độ tìm kiếm ảnh
cứu các phân đoạn chữ ký nhị phân để tìm kiếm hình ảnh. Cấu trúc bảng này chỉ
dùng để lưu trữ và không có các thao tác trên bảng khi dữ liệu thay đổi. Phương
pháp này không thực hiện qua độ đo tương tự mà chỉ đối sánh chữ ký nhị phân.
Năm 2015, Li Liu và cộng sự đã sử dụng phương pháp chữ ký ảnh dựa trên
chuỗi nhị phân và dùng độ đo EMD để đối sánh hình ảnh. Công trình này đã chứng
minh tính hiệu quả về độ chính xác ứng với chữ ký ảnh có kích thước thay đổi trên
trúc dữ liệu lưu trữ chữ ký nhị phân vẫn chưa được nghiên cứu nhằm phục vụ cho
bài toán tìm kiếm ảnh tương tự.
Vào các năm 2012, 2013, 2014, 2015, Wengang Zhou và cộng sự đã công bố
công trình tìm kiếm ảnh tương tự dựa trên chữ ký nhị phân mô tả đặc trưng SIFT
của hình ảnh. Thực nghiệm đã chứng minh tính hiệu quả về mặt thời gian và độ
trình này đều lưu trữ chữ ký nhị phân dưới dạng tập tin chỉ mục nhị phân, vẫn chưa
tập trung nghiên cứu cấu trúc dữ liệu và độ đo tương tự cho chữ ký nhị phân.
Vào các năm 2012, 2013, 2014, 2015 đã có nhiều công trình liên quan đến tìm
Năm 2012, 2013, 2014, nhiều công trình liên quan đến chữ ký ảnh đã được
công bố và kết quả thực nghiệm cho thấy tính hiệu quả của phương pháp về độ
10
Tải về để xem bản đầy đủ
130 trang
20220
Free
Bạn đang xem 20 trang mẫu của tài liệu "Luận án Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- luan_an_tim_kiem_anh_dua_tren_do_thi_chu_ky_nhi_phan.pdf
