Luận văn Nghiên cứu xây dựng hệ thống tìm kiếm video dựa trên nội dung
1
LỜI CAM ĐOAN
Tôi xin cam đoan kết quả đạt được trong Luận văn là sản phẩm của riêng
cá nhân tôi, không sao chép lại của người khác. Những điều được trình bày
trong nội dung Luận văn, hoặc là của cá nhân hoặc là được tổng hợp từ nhiều
nguồn tài liệu. Tất cả các tài liệu tham khảo đều có xuất xứ rõ ràng và được trích
dẫn đúng quy cách. Tôi xin hoàn toàn chịu trách nhiệm và chịu mọi hình thức kỷ
luật theo quy định cho lời cam đoan của mình.
Hꢀ Nꢁi, 05/2016
Lê Văn Hꢂo
2
MỤC LỤC
LỜI CAM ĐOAN.................................................................................................. 1
MỤC LỤC............................................................................................................. 2
BẢNG CHỮ CÁI VIẾT TẮT............................................................................... 4
MỞ ĐẦU............................................................................................................... 8
CHƯƠNG 1: GIꢀI THIꢁU................................................................................. 10
1.1. Giới thiệu về công cụ tìm kiếm................................................................ 10
1.3. Kiến trúc của công cụ tìm kiếm................................................................ 11
1.3.1. Quá trình đánh chỉ mục...................................................................... 11
1.3.2. Quá trình truy vấn.............................................................................. 13
1.5.1. Tổng quan đề tài ................................................................................ 14
1.5.2. Các vấn đề cꢂn giải quyết .................................................................. 14
1.6.1. ꢃ nghꢄa khoa học............................................................................... 14
1.6.2. ꢃ nghꢄa thꢅc tiꢆn................................................................................ 15
1.7. Kết luận..................................................................................................... 15
DꢇA TRÊN NỘI DUNG.................................................................................... 16
2.1. Phát biểu bài toán ..................................................................................... 16
2.3. Hướng nghiên cứu của tác giả.................................................................. 18
2.4.1. Khái niệm........................................................................................... 19
2.4.2. Phương pháp tiếp cận......................................................................... 19
2.5. Bài toán trꢈch xuất văn bản....................................................................... 20
2.6.1. Khái niệm........................................................................................... 29
2.6.2. Phương pháp tiếp cận......................................................................... 29
2.6.3. Kiến trúc của Elasticsearch................................................................ 30
3
2.7. Kết luận..................................................................................................... 32
KHUÔN KHỔ LUẬN VĂN............................................................................... 33
3.1.1. Phát biểu bài toán............................................................................... 33
3.1.2. Giải pháp thꢅc hiện............................................................................ 33
3.2. Bài toán trꢈch xuất văn bản....................................................................... 34
3.3.1. Phát biểu bài toán............................................................................... 45
4.2. Kết quả thꢅc nghiệm, đánh giá................................................................. 51
4.3. Kết luận..................................................................................................... 54
4.3.1. Kết quả đạt được................................................................................ 54
4
BẢNG CHỮ CÁI VIẾT TẮT
STT Từ viết tắt
Ý nghĩa
1
2
3
4
5
6
7
8
ASR
FPS
Automatic Speech Recognition – Nhận dạng tiếng nꢊi tꢅ động
Frame Per Second – Số khung hình trên một giây
File Transfer Protocol – Giao thức truyền tệp tin
General Public License – Giấy phép công cộng
Optical Character Recognition – Nhận dạng kí tꢅ quang học
Portable Document Format – Định dạng tài liệu di động.
Near Duplicate Detection – Phát hiện gꢂn trùng lặp
Tagged Image File Format – Định dạng tệp tin trên máy tꢈnh
để lưu trữ các hình ảnh.
FTP
GNU
OCR
PDF
NDD
TIFF
9
UTF-8
Unicode Transformation Format - Định dạng chuyển đổi
Unicode.
5
DANH MỤC CÁC BẢNG BIỂU
Bảng 3.1. Kết quả Bigram tập dữ liệu......................................................................44
Bảng 4.1. Thông số phꢂn cứng.................................................................................50
Bảng 4.2. Danh sách công cụ phꢂn mềm .................................................................50
Bảng 4.7. Kết quả quá trình sửa lỗi chꢈnh tả............................................................54
6
DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ
Hình 1.1. Quá trình đánh chỉ mục....................................................................... 12
Hình 2.4. Kiến trúc của Tesseract – OCR........................................................... 22
Hình 2.5. Văn bản gốc......................................................................................... 23
Hình 3.3. Ảnh màu .............................................................................................. 35
Hình 3.4. Ảnh đa cấp xám................................................................................... 35
Hình 3.8. Quá trình xử lý trùng lặp văn bản ....................................................... 37
Hình 3.9. Hệ số Jaccard của tài liệu d1 và d2....................................................... 38
Hình 3.15. Mô tả quá trình lập chỉ mục tài liệu .................................................. 46
Hình 3.16. Kiểm tra khởi động Elasticsearch ..................................................... 46
Elasticsearch gán tꢅ động.................................................................................... 47
8
MỞ ĐẦU
Cùng với sꢅ phát triển của công nghệ thông tin, tốc độ internet đang cải
thiện đáng kể. Số lượng video bài giảng, diꢆn thuyết… phục vụ học tập cho mọi
lứa tuổi đang được tải lên và chia sẻ trên internet nhanh chóng. Mỗi ngày, hàng
triệu video như vậy trên thế giới được đăng tải lên các ứng dụng internet như
Youtube, Facebook, Yahoo. Đối với lượng video đang tăng trưởng từng ngày
này, cơ chế tổ chức lưu trữ phục vụ cho việc tra cứu, tìm kiếm là một thách thức.
Giáo dục trꢅc tuyến hay E-Learning không còn là khái niệm mới lạ và đang
phát triển mạnh mẽ. Số lượng video bài giảng, diꢆn thuyết cũng vì thế ngày càng
được tăng trưởng. Nhu cꢂu tìm kiếm của người học càng yêu cꢂu khắt khe hơn:
cả về độ chính xác và thời gian tìm kiếm. Tuy nhiên, các chức năng tìm kiếm bài
giảng cho của các hệ thống hiện tại thông thường chỉ cho phép người dùng tìm
kiếm với tên bài giảng, tên học phꢂn, hoặc tên giảng viên... Các chức năng này
thường cho kết quả cꢊ độ chính xác không cao, và các kết quả trả về có nhiều
nội dung không liên quan đến mục đꢈch tìm kiếm thꢅc sꢅ của người dùng. Do
đꢊ, cꢂn có một hệ thống mà có thể “hiểu” được nội dung của từng video bài
giảng để phục vụ cho việc tìm kiếm của người dùng.
Những công cụ tìm kiếm phổ biến hiện nay - như Google, Yahoo, Bing…,
là những hệ thống tìm kiếm dꢅa trên “từ khꢊa”, và tìm kiếm trên dữ liệu văn bản
(text). Chính vì thế, nếu video không có bất kỳ siêu dữ liệu (metadata) ví dụ như
ngày, tác giả, từ khóa, hoặc mô tả thì không thể tìm kiếm được bꢉng cách sử
dụng các công cụ nêu trên. Siêu dữ liệu thường được thêm bꢉng tay, quá trình
này sẽ rất tốn thời gian. Hơn nữa, ngay cả khi một đoạn video có thể được tìm
thấy bꢉng siêu dữ liệu của nó, công cụ tìm kiếm thông thường không có khả
năng tìm kiếm một đoạn bài giảng, slide cụ thể trong video mà người dùng quan
tâm.
Mục tiêu chính của của Luận văn là tập trung nghiên cứu xây dựng mꢁt hệ
thống tìm kiếm các bài giảng, thuyết trình, trình diễn bằng slide dưới dạng
video. Hệ thống sẽ cho phép người dùng chỉ cꢂn nhập vào một phꢂn nội dung
của bài giảng, kết quả trả về sẽ là những video bài giảng cꢊ liên quan đến chuỗi
truy vấn. Ngoài ra, với giải pháp này cũng cho phép các hệ thống tìm kiếm có
thể truy vấn dữ liệu video mà không cꢂn có siêu dữ liệu. Xuất phát từ quan điểm
nêu trên, ngoài phꢂn mở đꢂu và kết luận, luận văn được chia làm 4 chương được
tóm tắt như sau:
9
- Chương 1: Giới thiệu về công cụ tìm kiếm trên mạng internet, các khái
niệm và kiến trúc của công cụ tìm kiếm. Các vấn đề cꢂn giải quyết trong luận
văn và ꢍ nghꢄa khoa học, thꢅc tiꢆn của luận văn.
- Chương 2: Trình bày về các bài toán cꢂn giải quyết trong khuôn khổ tìm
kiếm video bài giảng dạng slide. Một số khái niệm, mô hình các bài toán con
cꢂn giải quyết. Các phương pháp tiếp cận để giải quyết vấn đề.
- Chương 3: Là chương quan trọng nhất của Luận văn. Nội dung chính của
chương này là tập trung trình bày giải pháp thꢅc hiện của tác giả, các kꢄ thuật áp
dụng để trích xuất văn bản, xử lꢍ văn bản và đánh chỉ mục tìm kiếm cho video
bài giảng.
- Chương 4: Là phꢂn trình bày các kết quả thꢅc nghiệm và đánh giá. Ở mỗi
bài toán tác giả đều có những thꢅc nghiệm để kiểm chứng và đánh giá về độ
chính xác.
Tác giả xin bày tỏ lòng biết ơn chân thành tới PGS.TS. Nguyꢆn Trí Thành,
thꢂy đꢌ luôn ân cꢂn, chỉ bảo, động viên, giúp đỡ tác giả trong suốt quá trình thꢅc
hiện Luận văn. Tác giả xin chân thành cảm ơn gia đình, bạn bè, đồng nghiệp đꢌ
luôn tin tưởng, động viên và giúp đỡ về nhiều mặt trong thời gian qua. Tác giả
xin chân thành cảm ơn các thꢂy, cô giáo trong khoa Công nghệ Thông tin và
Truyền thông, trường Đại học Hồng Đức đꢌ động viên và tạo điều kiện giúp đỡ
tác giả hoàn thành tốt nhất luận văn này.
10
CHƯƠNG 1: GIỚI THIỆU
1.1. Giới thiệu về công cụ tìm kiếm
tra cứu và bấm vào “tìm với google”. Một danh sách kết quả liên quan đến nội
dung tìm kiếm được liệt kê trên màn hình cho phép người dꢋng lꢅa chọn các nội
dung phù hợp với yêu cꢂu. Những công cụ cho phép người dùng tìm kiếm các
thông tin trên mạng như Google, Bing, Yahoo… như vậy gọi là các công cụ tìm
kiếm (web search engine).
Thuật ngữ “web search engine” được định nghꢄa: “Một công cụ tìm kiếm là
các ứng dụng thꢅc tế của các kꢄ thuật truy hồi thông tin trên miền dữ liệu văn
bản qui mô lớn”[5].
Để hiểu được lợi ích của các công cụ tìm kiếm chúng ta sẽ cꢂn nắm rõ một
số khái niệm liên quan:
- Thông tin (information): Là những hiểu biết được về một thꢅc thể nào đꢊ.
Ví dụ như nội dung của luận này là thông tin.
- Dữ liệu (data): Là cái để biểu diꢆn thông tin dưới các dạng ký hiệu, chữ
viết, chữ số, hình ảnh, âm thanh hoặc dạng tương tꢅ. Ví dụ: quyển sách là dữ
liệu.
- Truy hồi thông tin (information retrieval): Là các giải pháp để thu thập,
mô hình hóa, biểu diꢆn, tổ chức, lưu trữ dữ liệu nhꢉm phục vụ quá trình tìm
kiếm, truy cập thông tin mà người dꢋng quan tâm được thuận tiện, nhanh chóng
và chính xác nhất có thể.[4]
1.2. Lịch sử phát triển của công cụ tìm kiếm
Năm 1990, Archie là công cụ tìm kiếm đꢂu tiên được phát triển bởi Alan
Emtage, Bill Heelan and J. Peter Deutsch, hai sinh viên chuyên ngành khoa học
máy tính của trường McGill University tại Montreal (Canada). Chương trình cho
phép lập chỉ mục danh sách các tệp tin tải về qua FTP.
Năm 1991, một công cụ tương tꢅ Archie là Gopher của tác giả Mark
McCahill tại University of Minnesota, có chức năng tìm kiếm theo tên tệp tin và
tiêu đề được lưu trữ trong hệ thống Gopher đꢌ lập chỉ mục.
Năm 1993, đánh dấu những bước tiến mới về công cụ tìm kiếm như World
Wide Web Wanderer bởi Matthew Gray, đây được xem là một web robot đꢂu
tiên đo lường được dung lượng của trang web. Hay công cụ Aliweb cho phép
người dùng cập nhật các trang web vào bộ chỉ mục (index).
11
Năm 1994, với sꢅ ra đời của WebCrawler công cụ tìm kiếm đꢂu tiên chỉ
mục toàn trang web và cho phép người dùng tìm kiếm và thu thập với bất kỳ từ
nào một cách tꢅ động.
Năm 1995, công cụ tìm kiếm yahoo được tạo bởi David Filo và Jerry Yang.
Sử dụng danh bạ web thay vì đánh chỉ mục toàn văn bản.
Năm 1996-nay, với sꢅ phát triển mạnh mẽ của internet các công cụ tìm
kiếm phát triển mạnh mẽ hơn, tối ưu hơn nhiều so với các công cụ trước đây.
Năm 1998, Google được phát triển bởi Larry và Sergey đưa ra khái niệm về
PageRank (thứ hạng của một trang web), đánh dấu sꢅ phát triển vượt bậc và
hiện đang là công cụ tìm kiếm có thị phꢂn lớn nhất hiện nay.
1.3. Kiến trúc của công cụ tìm kiếm
Trong phꢂn này tác giả sẽ mô tả kiến trúc cơ bản của một công cụ tìm
kiếm. Các thành phꢂn và các mối quan hệ giữa các thành phꢂn có trong nó.
Trước tiên, thuật ngữ kiến trúc được hiểu là bản thiết kế để đảm bảo rꢉng
hệ thống sẽ đáp ứng các yêu cꢂu hoặc mục tiêu của ứng dụng.
Hai mục tiêu chính của công cụ tìm kiếm đꢊ là:
- Hiệu quả (chất lượng): chúng ta mong muốn lấy được thông tin liên quan
nhất có thể khi truy vấn.
- Tốc độ: chúng ta mong muốn quá trình xử lý truy vấn từ người dùng càng
nhanh càng tốt.
Kiến trúc thông thường của công cụ tìm kiếm hiện nay được xác định bởi
hai yêu cꢂu nêu trên. Bởi vì chúng ta muốn một hệ thống có tốc độ cao, công cụ
tìm kiếm sẽ sử dụng cấu trúc dữ liệu được tối ưu hꢊa để truy hồi thông tin nhanh
chóng. Bởi vì chúng ta muốn kết quả có chất lượng cao, công cụ tìm kiếm sẽ xử
lꢍ văn bản và lưu trữ văn bản thống kê cẩn thận để giúp cải thiện sꢅ liên quan
của kết quả.
Các thành phꢂn của công cụ tìm kiếm hỗ trợ cho hai chức năng chꢈnh đꢊ là
quá trình đánh chỉ mục, và quá trình truy vấn.
1.3.1. Quá trình đánh chỉ mục
Quá trình đánh chỉ mục tạo nên những cấu trúc mà cho phép việc tìm kiếm,
và quá trình truy vấn sử dụng những cấu trúc này và truy vấn của người dꢋng để
xây dꢅng một danh sách xếp hạng của tài liệu. Hình1.1 thể hiện ở mức cao các
thành phꢂn của quá trình đánh chỉ mục.
12
Hình 1.1. Quá trình đánh chỉ mục
Các thành phꢂn chính bao gồm việc thu thập văn bản, chuyển đổi văn bản
và tạo chỉ mục.
Nhiệm vụ của việc thu thập văn bản là để xác định và làm tài liệu được sẵn
sàng cho việc tìm kiếm sau này. Trong các công cụ tìm kiếm hiện nay, công việc
này thông thường được thu thập bꢉng crawling hoặc quá trình quét tꢅ động các
trang web, hoặc các nguồn thông tin khác nhau. Ngoài ra, để cꢊ được tài liệu
phục vụ cho quá trình tiếp theo là truy vấn thì quá trình thu thập văn bản sẽ tạo
ra một kho lưu trữ tài liệu. Kho lưu trữ tài liệu bao gồm văn bản và siêu dữ liệu
cho tất cả tài liệu. Siêu dữ liệu là thông tin về tài liệu mà không bao gồm phꢂn
nội dung của tài liệu. Ví dụ như kiểu của tài liệu (email, trang web, video….),
cấu trúc của tài liệu, và các đặc điểm của tài liệu như (dung lượng, độ dài…).
Chuyển đổi văn bản là quá trình biến đổi tài liệu vào các chỉ mục thuật ngữ.
Chỉ mục thuật ngữ là các phꢂn của tài liệu mà được lưu trữ trong chỉ mục và
được sử dụng trong việc tìm kiếm. Thuật ngữ chỉ đơn giản là một từ, nhưng
không phải tất cả các từ có thể được sử dụng để tìm kiếm.
Thành phꢂn tạo chỉ mục là kết quả của quá trình chuyển đổi văn bản và tạo
ra các chỉ mục hoặc cấu trúc dữ liệu để cho phép việc tìm kiếm nhanh hơn. Với
số lượng lớn các tài liệu trong nhiều ứng dụng tìm kiếm, tạo chỉ mục phải có
hiệu quả cả về thời gian và không gian. Các chỉ mục này phải có khả năng được
cập nhật một cách hiệu quả khi có các tài liệu mới. Thông thường cꢊ hai phương
pháp để đánh chỉ mục là:
- Ánh xạ từ tài liệu đến thuật ngữ.
- Ánh xạ từ thuật ngữ đến tài liệu (chỉ mục ngược: inverted index).
Quá trình lập chỉ mục cho tài liệu là một trong những phꢂn quan trọng nhất
của công cụ tìm kiếm.
13
1.3.2. Quá trình truy vấn
Phꢂn còn lại của công cụ tìm kiếm là quá trình truy vấn. Quá trình truy vấn
thông thường bao gồm ba thành phꢂn chꢈnh là tương tác người dùng, xếp hạng
và đánh giá.
Thành phꢂn thứ nhất, tương tác người dùng cung cấp các giao diện tương
tác giữa người dùng và công cụ tìm kiếm. Nhiệm vụ của phꢂn này gồm: thứ nhất
là tiếp nhận câu truy vấn từ người dùng và chuyển đổi vào trong chỉ mục thuật
ngữ, thứ hai là nhận danh sách thứ hạng đꢌ được sắp xếp từ công cụ tìm kiếm và
trình bày kết quả theo thứ tꢅ cho người dùng.
Thành phꢂn xếp thứ hạng là trung tâm của một công cụ tìm kiếm. Nó sẽ
chuyển đổi truy vấn từ giao diện người dùng và tạo ra một danh sách tài liệu đꢌ
được sắp xếp bꢉng điểm số dꢅa vào một mô hình truy hồi thông tin. Việc xếp
thứ hạng phải đảm bảo cả về thời gian và hiệu quả. Cꢊ nghꢄa là, cꢊ thể nhiều
truy vấn cꢂn được xử lý trong thời gian ngắn và chất lượng của bảng xếp hạng
sẽ quyết định đến kết quả của công cụ tìm kiếm đꢊ cꢊ tốt hay không. Về tốc độ
xử lý truy vấn phụ thuộc vào việc đánh chỉ mục, hiệu quả của xử lý truy vấn sẽ
phụ thuộc và mô hình truy hồi thông tin.
Nhiệm vụ của thành phꢂn đánh giá đꢊ là đo và điều khiển hiệu quả và tốc
độ của công cụ tìm kiếm. Một phꢂn quan trọng của đánh giá đꢊ là ghi lại và
phân tích hành vi của người dùng bꢉng cách sử dụng dữ liệu nhật ký (log data).
Kết quả của việc đánh giá đꢊ là để điều chỉnh và cải thiện thành phꢂn xếp hạng.
Việc đánh giá chủ yếu là các hoạt động bên ngoài, không nꢉm trong công cụ tìm
kiếm trꢅc tuyến, nhưng nꢊ là một phꢂn quan trọng của bất kỳ ứng dụng tìm kiếm
nào.
1.4. Công cụ tìm kiếm video trên mạng internet
Sꢅ phát triển của hạ tꢂng công nghệ là nền tảng cho sꢅ phát triển nhanh
chóng của internet. Dữ liệu trên mạng truyền đi không còn gói gọn trong các văn
bản (text) bình thường nữa mà rất đa dạng về chủng loại như âm thanh, hình
ảnh, video… và đang ngày càng tăng trưởng với tốc độ lớn.
Công cụ tìm kiếm video cho phép người dùng thuận tiện trong quá trình
tìm kiếm phục vụ nhiều mục đꢈch khác nhau như giải trí, giáo trục và truyền
thông. Nếu chia theo lꢄnh vꢅc thì video cũng rất đa dạng như video truyền hình,
video quảng cáo, video bài giảng, học thuyết… Trong nội dung của luận văn này
tác giả chỉ đề cập đến thể loại video bài giảng dạng slide, cách tiếp cận và hướng
giải quyết để xây dꢅng một công cụ tìm kiếm video bài giảng dạng slide. Việc
tìm kiếm yêu cꢂu bꢉng cách duyệt qua tập các video kết quả.
14
Video là một dạng băng từ dùng cho việc ghi lại các chuyển động hình ảnh
và âm thanh. Video là phương tiện truyền liên tục (hoặc tuyến tính): nếu tạm
dừng, chỉ có một khung hình duy nhất vẫn còn, âm thanh bị mất. Việc lưu trữ và
chuyển đổi video là thách thức lớn hơn nhiều so với dữ liệu kiểu văn bản. Các
đặc trưng của văn bản (kí tꢅ, từ) thì có thể được xác định, mã hóa và giới hạn
được. Nhưng đối với các đặc trưng của video (cạnh, màu, chuyển động, độ cao
của âm thanh…) thì việc xác định, trích xuất và lấy mẫu khꢊ hơn. Hơn nữa đối
với văn bản thì người dùng có thể truy vấn một cách dꢆ dàng bꢉng cách gõ trꢅc
tiếp lên bàn phꢈm, còn đối với tìm kiếm video thì truy vấn đꢂu vào là văn bản và
kết quả ra lại là video.
1.5. Tꢃng quan của đề tꢂi vꢂ các vấn đề cꢄn giꢅi quyết
1.5.1. Tꢃng quan đề tꢂi
Trong đề tài này, tác giả hướng tới xây dꢅng một hệ thống tìm kiếm các
video bài giảng, thuyết trình, trình diꢆn bꢉng silde dưới dạng video… Cho phép
tìm thấy những video bꢉng văn bản xuất hiện trong đꢊ. Với giải pháp này, đơn
giản bꢉng cách nhập từ khóa tìm kiếm, người dùng có thể tìm kiếm các video
bài giảng và những cảnh trong đꢊ mà thuật ngữ xuất hiện. Giải pháp này cũng
cho phép người dùng tìm kiếm các video không cꢂn có siêu dữ liệu.
1.5.2. Các vấn đề cꢄn giꢅi quyết
Vấn đề cꢂn giải quyết ở trong đề tài này là giải pháp xử lꢍ video đꢂu vào.
Phân tꢈch và đánh chỉ mục cho video. Đꢂu tiên, các đoạn video tꢄnh trong một
thời gian nhất định được xác định là các slide và trích xuất từ video. Tiếp theo,
các dữ liệu văn bản chứa trong hình ảnh của slide được trꢈch xuất bꢉng cách sử
dụng kꢄ thuật nhận dạng kꢈ tꢅ quang học. Các văn bản trích xuất sẽ được xử lꢍ
trꢋng lặp, sửa lỗi chꢈnh tả và được đánh chỉ mục tương ứng với video gốc lưu trữ
trong cơ sở dữ liệu.
Sau đꢊ người dùng có thể tìm kiếm các video bài giảng thông qua một
giao diện trình duyệt web. Đꢂu vào, người dꢋng chỉ cꢂn gõ bất kỳ từ khꢊa nào
cꢊ liên quan đến nội dung video thì đꢂu ra sẽ là danh sách kết quả liên quan
được liệt kê.
1.6. Ý nghĩa khoa hꢆc vꢂ thꢇc tiꢀn của đề tꢂi nghiên cꢈu
1.6.1. Ý nghĩa khoa hꢆc
- Đề tài đꢌ tổng quát được các phương pháp khoa học để giải quyết vấn đề
lập chỉ mục video bài giảng, phục vụ quá trình truy hồi thông tin.
- Đề tài cung cấp các cơ sở khoa học, định hướng cho các nghiên cứu về xử
lꢍ lập chỉ mục cho video bài giảng.
15
- Từ kết quả nghiên cứu của đề tài, gꢊp phꢂn làm cơ sở thꢅc tiꢆn và lꢍ luận
để phát triển hệ thống tìm kiếm video dꢅa trên nội dung.
1.6.2. Ý nghĩa thꢇc tiꢀn
- Hướng tiếp cận mới cho các máy tìm kiếm, truy hồi thông tin video dꢅa
trên nội dung.
- Gꢊp phꢂn nâng cao chất lượng của các máy tìm kiếm. Kết quả trả về cꢊ
độ liên quan cao hơn so với phương pháp tìm kiếm dꢅa trên từ khꢊa hiện nay.
1.7. Kết luận
Trong chương này, luận văn đꢌ giới thiệu khái quát một số khái niệm, lịch
sử và kiến trúc của một công cụ tìm kiếm nói chung. Ngoài ra, luận văn cũng
giới thiệu tổng quan các vấn đề cꢂn giải quyết của đề tài. ꢃ nghꢄa khoa học và ꢍ
nghꢄa thꢅc tiꢆn của đề tài nghiên cứu xây dꢅng hệ thống tìm kiếm video dꢅa trên
nội dung.
Chương tiếp theo, luận văn sẽ trình bày chi tiết các tiếp cận để giải quyết
từng vấn đề trong bài toán tìm kiếm video bài giảng dạng slide dꢅa trên nội
dung.
16
CHƯƠNG 2: BÀI TOÁN TÌM KIẾM VIDEO BÀI GIẢNG
DỰA TRÊN NỘI DUNG
2.1. Phát biểu bài toán
Trong khuôn khổ luận văn này, tác giả chỉ đề cập đến các video bài giảng,
thuyết trình dưới dạng slide và bài toán liên quan đến quá trình xây dꢅng công
cụ tìm kiếm những video dạng nói trên. Ngoài ra, còn rất nhiều chủng loại video
khác nữa, và nội dung nghiên cứu các video khác là nꢉm ngoài khuôn khổ trong
luận văn. Trọng tâm của luận văn là nghiên cứu cách thức xử lý và lập chỉ mục
cho video đꢂu vào.
Tác giả sẽ xây dꢅng công cụ tìm kiếm cho phép nhận nội dung truy vấn là
chuỗi văn bản và kết quả trả về là các video bài giảng mà nội dung có liên quan
đến chuỗi văn bản người dùng truy vấn.
Như đꢌ trình bày ở chương 1, công việc cꢂn giải quyết đối với bài toán này
gồm hai việc. Thứ nhất, trꢈch xuất được nội dung từ video đꢂu vào để lập chỉ
mục. Thứ hai, lập chỉ mục cho video và xử lꢍ truy vấn tìm kiếm từ người dꢋng.
Bài toán tìm kiếm video dꢅa trên nội dung được chia thành hai bài toán con
được mô tả như sau:
Bꢂi toán 1: Xử lꢍ video đꢂu vào, trꢈch xuất văn bản từ video.
Đꢂu vào:
- Tập videos bài giảng dạng slide.
Đꢂu ra:
- Văn bản trꢈch xuất nội dung từ video đꢂu vào.
Bꢂi toán 2: Lập chỉ mục và tìm kiếm video dꢅa trên nội dung bài giảng.
Đꢂu vào:
- Truy vấn từ người dꢋng.
Đꢂu ra:
- Danh sách kết quả videos cꢊ nội dung liên quan đến truy vấn.
Trong bài toán thứ nhất, vì đặc tꢈnh của video là cꢊ cả hình ảnh và âm
thanh nên sẽ cꢊ hai cách phương pháp tiếp cận chꢈnh để trꢈch xuất văn bản từ
video là:
- Phân tách video thành các khung hình để lꢅa chọn khung hình đại diện
chꢈnh, sau đꢊ sử dụng công nghệ OCR để trꢈch xuất văn bản từ các khung hình
đꢊ.
- Sử dụng công nghệ nhận dạng giọng nꢊi tꢅ động, để chuyển đổi phꢂn âm
thanh của video thành văn bản.
17
Kiến trúc chung của một hệ thống tìm kiếm video dꢅa vào nội dung được
miêu tả trong hình 2.1.
Hình 2.1. Kiến trúc tổng quan hệ thống tìm kiếm video dꢅa trên nội dung
Hình 2.1 cho thấy quá trình lập chỉ mục cho video được trải qua ba bước là
phân đoạn video, trꢈch xuất nội dung từ video và lập chỉ mục cho video.
2.2. Các nghiên cꢈu về tìm kiếm video dꢇa trên nội dung
Liška et al và cộng sꢅ đꢌ đề xuất một hệ thống tꢅ động cho việc lập chỉ
mục video bài giảng [8]. Họ sử dụng toàn bộ khung hình phân đoạn được từ
video và sử dụng công cụ OCR để trꢈch xuất văn bản trên tập khung hình đꢊ.
Văn bản sau khi thu thập được tiến hành lập chỉ mục và cho phép tìm kiếm. Giải
pháp này hiệu quả kém do không loại bỏ các tệp văn bản trꢋng lặp. Thời gian xử
lꢍ video mất nhiều thời gian do số lượng lớn các khung hình.
Hunter et al đề xuất một hệ thống lập chỉ mục cho các bài thuyết trình đa
phương tiện[7]. Đꢂu tiên, mọi người sẽ phải chuẩn bị một tệp tin thuyết trình
định dạng PDF và gửi lại sau khi đꢌ trình bày. Sau đꢊ tệp tin sẽ được đồng bộ
với video thuyết trình. Công việc OCR sẽ được thꢅc hiện trên tệp tin PDF mà
không cꢂn quan tâm đến video thuyết trình.
18
Yang et al sử dụng công cụ nhận dạng giọng nꢊi tꢅ động ASR để trꢈch xuất
nội dung video thành văn bản[8]. Các kết quả cho thấy độ chꢈnh xác của nhận
dạng giọng nꢊi thấp hơn rất nhiều so với công nghệ OCR.
Lienhart et al đề xuất một phương pháp phát hiện văn bản trong video và
hình ảnh[8]. Họ xây dꢅng một mạng noron nhiều tꢂng để huấn luyện phát hiện
văn bản. Thuật toán của họ xử lꢍ với tất cả các khung hình phân đoạn được và
cách tiếp cận này kém hiệu quả về thời gian xử lꢍ.
2.3. Hướng nghiên cꢈu của tác giꢅ
Dꢅa vào các phương pháp tiếp cận nghiên cứu đꢌ nêu trong phꢂn 2.2, tác
giả lꢅa chọn phương pháp tiếp cận để trꢈch xuất văn bản từ video bꢉng công
nghệ OCR thay vì sử dụng ASR.
Công cụ tìm kiếm video mà tác giả mong muốn xây dꢅng được hình thành
từ cách giải quyết các bài toán cụ thể sau:
- Phân đoạn video.
- Trꢈch xuất văn bản đại diện:
+ Nhận dạng kí tꢅ quang học.
+ Xử lý trùng lặp văn bản.
+ Sửa lỗi chính tả văn bản.
- Đánh chỉ mục và tìm kiếm.
Kiến trúc của công cụ tìm kiếm video dꢅa vào nội dung mà tác giả đề xuất
được mô tả trong hình 2.2.
Hình 2.2. Kiến trúc hệ thống tìm kiếm video tác giả đề xuất
Tải về để xem bản đầy đủ
59 trang
16900
Free
Bạn đang xem 20 trang mẫu của tài liệu "Luận văn Nghiên cứu xây dựng hệ thống tìm kiếm video dựa trên nội dung", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- luan_van_nghien_cuu_xay_dung_he_thong_tim_kiem_video_dua_tre.pdf
