Đồ án Xây dựng ứng dụng phát hiện khuôn mặt trong ảnh sử dụng OpenCV

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG

-------o0o-------

ISO 9001:2015

XÂY DỰNG ỨNG DỤNG

PHÁT HIỆN KHUÔN MẶT TRONG ẢNH SỬ

DỤNG OPENCV

ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY

Ngành: Công nghệ Thông tin

HẢI PHÒNG - 2019

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG

-------o0o-------

XÂY DỰNG ỨNG DỤNG

PHÁT HIỆN KHUÔN MẶT TRONG ẢNH SỬ

DỤNG OPENCV

ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY

Ngành: Công nghệ Thông tin

Sinh viên thực hiện

Mã sinh viên

: Cao Tiến Đạt

: 1512111009

Giáo viên hướng dẫn

: TS. Ngô Trường Giang.

HẢI PHÒNG - 2019

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG

-------o0o-------

NHIỆM VỤ THIẾT KẾ TỐT NGHIỆP

Sinh viên: Cao Tiến Đạt

Lớp: CT1901C

Mã sinh viên:

1512111009

Ngành: Công nghệ Thông tin

Tên đề tài: “Xây dựng ứng dụng phát hiện khuôn mặt trong ảnh sử dụng OpenCV”

NHIỆM VỤ ĐỀ TÀI

1. Nội dung và các yêu cầu cần giải quyết trong nhiệm vụ đề tài tốt nghiệp

a. Nội dung:

-

Tìm hiểu tổng quan về phát hiện khuôn mặt trong ảnh

Tìm hiểu phương pháp phát hiện khuôn mặt dựa trên đặc trưng

Haarlike

-

Tìm hiểu một số hàm cơ bản trong thư viện OpenCV sử dụng cho

phát hiện khuôn mặt trong ảnh.

b. Các yêu cầu cần giải quyết

-

Trình bày tổng quan về phát hiện khuôn mặt trong ảnh

Hiểu và trình bày phương pháp phát hiện khuôn mặt dựa trên đặc trưng.

Xây dựng ứng dụng phát hiện khuôn mặt trong ảnh sử dụng OpenCV.

2. Các số liệu cần thiết để thiết kế, tính toán

3. Địa điểm thực tập

CÁN BỘ HƯỚNG DẪN ĐỀ TÀI TỐT NGHIỆP

Người hướng dẫn thứ nhất:

Họ và tên: Ngô Trường Giang

Học hàm, học vị: Tiến sĩ.

Cơ quan công tác: Khoa Công nghệ Thông tin

Nội dung hướng dẫn:

-

Tìm hiểu tổng quan về phát hiện khuôn mặt trong ảnh

Tìm hiểu phương pháp phát hiện khuôn mặt dựa trên đặc trưng

Tìm hiểu một số hàm cơ bản trong thư viện OpenCV sử dụng cho phát hiện

khuôn mặt trong ảnh.

Người hướng dẫn thứ hai:

Họ và tên: …………………………………………………………………………………......

Học hàm, học vị………………………………………………………………………………

Cơ quan công tác: ……………………………………………………………………………

Nội dung hướng dẫn: ……………………..................................................................

…………………………………………………………………………………………………..

Đề tài tốt nghiệp được giao ngày 01 tháng 7 năm 2019

Yêu cầu phải hoàn thành trước ngày 21 tháng 9 năm 2019

Đã nhận nhiệm vụ: Đ.T.T.N

Sinh viên

Đã nhận nhiệm vụ: Đ.T.T.N

Cán bộ hướng dẫn Đ.T.T.N

Cao Tiến Đạt

Ngô Trường Giang

Hải Phòng, ngày ............tháng.........năm 2019

HIỆU TRƯỞNG

GS.TS.NGUT Trần Hữu Nghị

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập – Tự do – Hạnh phúc

PHIẾU NHẬN XÉT CỦA CÁN BỘ HƯỚNG DẪN TỐT NGHIỆP

Họ và tên: Ngô Trường Giang

Cơ quan công tác: Khoa Công nghệ Thông tin

Họ tên sinh viên: Cao Tiến Đạt Ngành: Công nghệ Thông tin Nội dung hướng

dẫn:

- Tìm hiểu tổng quan về phát hiện khuôn mặt trong ảnh

- Tìm hiểu phương pháp phát hiện khuôn mặt dựa trên đặc trưng

- Tìm hiểu một số hàm cơ bản trong thư viện OpenCV sử dụng cho phát hiện khuôn

mặt trong ảnh.

1. Tinh thần thái độ của sinh viên trong quá trình làm đề tài tốt nghiệp:

-

Sinh viên chủ động tìm đọc các tài liệu liên quan tới đề tài

Chấp hành nghiêm túc kế hoạch, tiến độ đề ra.

2. Đánh giá chất lượng của đồ án (so với nội dung yêu cầu đã đề ra trong nhiệm

vụ đề tài tốt nghiệp trên các mặt lý luận, thực tiễn, tính toán sốliệu..):

-

Về mặt lý thuyết: Đồ án trình bày các vấn đề cơ bản về Phát hiện khuôn mặt trong

ảnh, đặc trưng Haar-like, các hàm cơ bản trong OpenCV ứng dụng trong phát hiện

khuôn mặt trong ảnh.

-

Về mặt thực nghiệm: Đồ án đã cài đặt được chương trình phát hiện khuôn mặt trong

ảnh sử dụng các hàm của OpenCV, va mới dừng lại ở phát hiện khuôn mặt nhìn thẳng

(độ nghiêng, xoay ít).

-

Về hình thức: Báo cáo trình bày sáng sủa, bố cục hợp lý.

Đồ án đáp ứng được yêu cầu đề ra.

3. Ý kiến của cán bộ hướng dẫn:

Đạt

Không đạt

Điểm:……………………………………...

Ngày 25 tháng 9 năm 2019

Cán bộ hướng dẫn

TS. Ngô Trường Giang

QC20-B18

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập - Tự do - Hạnh phúc

PHIẾU NHẬN XÉT CỦA CÁN BỘ CHẤM PHẢN BIỆN

Họ và tên giảng viên: TS. Đỗ Văn Chiểu.

Đơn vị công tác: Khoa Công nghệ Thông tin – Trường Đại học Dân lập Hải Phòng

Họ và tên sinh viên: Cao Tiến Đạt Ngành: Công nghệ Thông tin

Đề tài tốt nghiệp:

“Xây dựng ứng dụng phát hiện khuôn mặt trong ảnh sử dụng OpenCV”

1. Phần nhận xét của giảng viên chấm phản biện

.................................................................................................................................

2. Những mặt còn hạn chế

.................................................................................................................................

3. Ý kiến của giảng viên chấm phản biện

Được bảo vệ

Không được bảo vệ

Điꢀm:……………………………

Hải Phòng, ngày …… tháng 10 năm 2019

Cán bộ chấm phản biện

(Ký và ghi rõ họ tên)

Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV

LỜI CẢM ƠN

Em xin chân thành cảm ơn các thầy, các cô khoa Công nghệ Thông

tin Truờng Ðại học quản lí và công nghệ đã tình dạy dỗ, truyền đạt cho

chúng em nhiều kiến thức quý báu.

Em xin tỏ lòng biết ơn sâu sắc đến thầy TS.Ngô Truờng Giang,

nguời đã tận tình giúp đỡ và truyền đạt nhiều kinh nghiệm để đề tài có

thể được thực hiện và hoàn thành.

Xin chân thành cảm ơn các bạn trong khoa Công Nghệ Thông Tin,

Ðai Học Quản lí và công nghệ đã giúp đỡ mình rất nhiều trong quá trình

thực hiện đề tài.

Em xin trân trọng cảm ơn!

Hải Phòng, tháng 9 nǎm 2019.

Sinh viên

Cao Tiến Đạt

Cao Tiến Đạt _ CT1901C

1

Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV

MỤC LỤC

PHẦN MỞ ĐẦ U .............................................................................................. 5

CHƯƠNG 1: Tổng quan về phát hiện khuôn mặt . ................................. 6

1.1 Giới thiệu phát hiện khuôn mặt ............................................................ 6

1.2 Các hướng tiếp cận trong phát hiện khuôn mặt .................................... 7

1.2.1 Hướng tiếp cận dựa trên tri thức ................................................... 8

1.2.2 Hướng tiếp cận dựa trên đặc trưng không đổi. ........................... 11

1.2.3 Hướng tiếp cận dựa trên so lớp mẫ u ........................................... 15

1.2.4 Hướng tiếp cận dựa trên máy họ c ............................................... 18

1.2.5 Hướng tiếp cận tổng hợp ............................................................. 23

1.3 Khó khăn và thách thức trong bài toán phát hiện khuôn mặt ............. 24

1.4 Một số lĩnh vực ứng dụng phát hiện khuôn mặ t ................................. 25

CHƯƠNG 2: Phát hiện khuôn mặt sử dụng đặc trưng Haar .............. 26

2.1 Đặc trưng của Haar ............................................................................. 26

2.1.1 Đối tượng nhận dạng ................................................................... 26

2.1.2 Đặc trưng ..................................................................................... 27

2.2 Bộ phân lớp AdaBoos t ........................................................................ 30

2.2.1 Giới thiệu ..................................................................................... 30

2.2.2 Các hướng tiếp cận dò tìm khuôn mặt nhanh ............................. 30

2.2.3 Thuật toán AdaBoost .................................................................. 31

2.2.4 Bộ phân lớp AdaBoos t ................................................................ 36

2.3 Dò tìm khuôn mặt ............................................................................... 39

2.4 Nhận xét .............................................................................................. 40

2.4.1 Ưu điểm ....................................................................................... 40

2.4.2 Nhược điểm ................................................................................. 41

CHƯƠNG 3: Thực nghiệm phát hiện khuôn mặ t ................................. 42

3.1 Mô tả bài toán ..................................................................................... 42

Phân tích và lựa chọn công cụ ................................................................. 42

3.2 Phát hiện khuôn mặt sử dụng hàm OpenCV ....................................... 43

3.2.1 OpenCV là gì ............................................................................... 43

3.2.2 Cấu trúc OpenCV ........................................................................ 44

Cao Tiến Đạt _ CT1901C

2

Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV

3.2.3 Phát hiện khuôn mặt với các hàm trong OpenCV ...................... 45

3.3 Một số kết quả chương trìn h ............................................................... 49

KẾT LUẬ N .................................................................................................... 51

Cao Tiến Đạt _ CT1901C

3

Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV

DANH MỤC HÌNH

Hình 1 -1: Các bước chính trong một hệ thống nhận dạng mặt người .............. 6

Hình 2 -1........................................................................................................... 27

Hình 2 -2: 4 đặt trưng Ha ar-like cơ bả n ........................................................... 27

Hình 2 -3: Đặc trưng đường(line feature )........................................................ 28

Hình 2 -4: Đặc trưng xung quanh tâm(center -surround features) ................... 28

Hình 2 -5: Các đặc trưng mở rộng của các đặc trưng Haar -like cơ sở ............ 28

Hình 2 -6: Công thức tính Intergral Image ...................................................... 29

Hình 2 -7: Ví dụ cách tính nhanh các giá trị mức xám của vùng D trên ảnh .. 30

Hình 2 -8: Ví dụ minh họa cho thuật toán AdaBoost ...................................... 36

Hình 2 -9: Minh họa bộ đồ tìm phân tầng ........................................................ 37

Hình 3 -1: Hệ thống phát hiện khuôn mặt người ............................................. 42

Hình 3 -2: Cấu trúc cơ bản của OpenC V ......................................................... 44

Hình 3 -3: Trong thư mục của Opencv đã có các bộ huấn luyện có sẵn. ........ 45

Hình 3 -4: Chuyển về ảnh xám ........................................................................ 46

Hình 3 -5: Tầm nhìn của máy tính khi các đặc trưng Haar chạ y ..................... 47

Hình 3 -6........................................................................................................... 47

Hình 3 -7: Các đặc trưng Haar đánh dấu những nơi có thể là khuôn mặt ....... 48

Hình 3 -8: Bức ảnh đã được xác định khuôn mặt ............................................ 49

Hình 3 -9: Bức ảnh cần nhận diện khuôn mặt .................................................. 49

Hình 3 -10: Giao diện chương trìn h ................................................................. 50

Hình 3-11: Nhập đường dẫn tới ảnh cần nhận diện........................................ 50

Hình 3 -12: Kết quả .......................................................................................... 50

Hình 3 -13: Bức ảnh có nhiều khuôn mặt ........................................................ 51

Hình 3 -14: Kết quả ( khuôn mặt nghiêng chưa nhận dạng được)................... 51

Cao Tiến Đạt _ CT1901C

4

Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV

PHẦN MỞ ĐẦU

Công nghệ thông tin đang được ứng dụng trong mọi lĩnh vực của cuộc

sống. Với một hệ thống máy tính, chúng ta có thể làm được rất nhiều việc, tiết

kiện thời gian và công sức. Điển hình như công việc nhận dạng mặt người.

Ngày xưa, muốn tìm kiếm một kẻ tình nghi trong siêu thị hay sân bay, các

nhân viên an ninh phải tìm kiếm trên từng màn hình camera theo dõi. Ngày

nay, công việc đấy đã được làm tự động nhờ các hệ thống nhận dạng mặt

người. Phát hiện mặt người trong ảnh là một phần quan trọng của hệ thống

nhận dạng mặt người đó, giải quyết tốt việc phát hiện mặt người sẽ giúp tiết

kiệm thời gian và nâng cao độ chính xác của việc nhận dạng khuôn mặt.

Phát hiện mặt người cũng là một bài toán nhận dạng đơn giản, hệ thống

chỉ cần phân loại đối tượng đưa vào có phải mặt người hay không phải mặt

người. Ở mức độ cao hơn, sau khi đã phát hiện được khuôn mặt, các khuôn

mặt đó sẽ được so sánh với các khuôn mặt có trong dữ liệu để nhận dạng xem

khuôn mặt đấy là của ai (thường áp dụng trong nhận dạng khuôn mặt của

người nổi tiếng hoặc của tội phạm đang bị truy nã).

Với mục tiêu chính là tìm hiểu đặc trưng haar-like, mô hình Cascade of

Classifiers, đồng thời áp dụng vào bài toán phát hiện mặt người trong ảnh.

Nội dung đồ án bao gồm:

Chương 1: Tổng quan về phát hiện khuôn mặt.

Chương 2: Phát hiện khuôn mặt sử dụng đặc trưng Haar.

Chương 3: Thực nghiệm phát hiện khuôn mặt.

Phần kết luận.

Tài liệu tham khảo.

Cao Tiến Đạt _ CT1901C

5

Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV

CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN KHUÔN MẶT.

1.1 Giới thiệu phát hiện khuôn mặt

Trong những năm gần đây, có rất nhiều công trình nghiên cứu về bài

toán xác định khuôn mặt người từ ảnh đen trắng, xám đến ảnh màu. Ban đầu

chỉ là những bài toán đơn giản, mỗi ảnh chỉ có một khuôn mặt nhìn thẳng và

đầu luôn phải ở tư thế thẳng đứng trong ảnh đen trắng, không đáp ứng được

nhu cầu ngày càng cao trong cuộc sống, khoa học ngày nay. Vì thế đã có

nhứng cải tiến nghiên cứu về bài toán phát hiện khuôn mặt người trong những

môi trường phức tạp hơn, có nhiều khuôn mặt người trong ảnh hơn, và có

nhiều tư thế thay đổi trong ảnh.

Xác định khuôn mặt người là một kỹ thuật để xác định vị trí và kích

thước khuôn mặt người trong các ảnh bất kỳ. Kỹ thuật này nhận biết về các

đặc trưng của khuôn mặt và bỏ qua những thứ khác.

Tổng quan kiến trúc của một hệ thống nhận dạng mặt người

Một hệ thống nhận dạng mặt người thông thường bao gồm bốn bước xử

lý sau: phát hiện khuôn mặt (face detection), phân đoạn khuôn mặt (face

alignment hay segmentation), rút trích đặc trưng (feature extraction), và phân

lớp khuôn mặt (face classification).

Hình 1-1: Các bước chính trong một hệ thống nhận dạng mặt người

Cao Tiến Đạt _ CT1901C

6

Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV

Phát hiện khuôn mặt dò tìm và định vị những vị trí khuông mặt xuất hiện

trong ảnh hoặc trên các frame video. Phân đoạn khuôn mặt sẽ xác định vị trí

mắt mũi, miệng, là các thành phần khác của khuôn mặt và chuyển kết quả này

cho bước rút trích đặc trưng. Từ những thông tin về các thành phần trên

khuôn mặt, chúng ta có thể dễ dàng tính được véc-tơ đặc trưng trong bước rút

trích đặc trưng. Những véc-tơ đặc trưng này sẽ là dữ liệu đầu vào cho một mô

hình đã được huấn luyện trước để phân loại khuôn mặt. Bên cạnh những bước

chính nêu trên, chúng ta còn có thể áp dụng thêm một số bước khác như tiền

xử lý, hậu xử lý nhằm làm tăng độ chính xác cho hệ thống. Do một số thông

số như: tư thế khuôn mặt, độ sáng, điều kiện ánh sáng, v.v , phát hiện khuôn

mặt được đánh giá là bước khó khăn và quan trọng nhất so với các bước còn

lại của hệ thống. Trong luận văn này, em tập trung chủ yếu vào bước phát

hiện khuôn mặt.

1.2 Các hướng tiếp cận trong phát hiện khuôn mặt

Có nhiều nghiên cứu tìm ra phương pháp xác định khuôn mặt người, từ

ảnh xám đến ngày nay là ảnh màu. Dựa vào tính chất của các phương pháp

này thành bốn hướng tiếp cận chính:

 Hướng tiếp cận dựa trên tri thức: Mã hóa các hiểu biết của con

người về các loại khuôn mặt người thành các luật. Thông thường

các luật mô tả quan hệ của các đặc trưng.

 Hướng tiếp cận dựa trên đặc trưng không thay đổi: Mục tiêu

các thuật toán đi tìm các đặc trưng mô tả cấu trúc khuôn mặt

người mà các đặc trưng này sẽ không thay đổi khi tư thế khuôn

mặt, vị trí đặt thiếu bị thu hình hoặc điều kiện ánh sáng thay đổi.

 Hướng tiếp cận dưa trên so khớp mẫu: Dùng các mẫu chuẩn

của khuôn mặt người(các mẫu này được chọn lựa và lưu trữ) để

mô tả cho khuôn mặt người hay các đặc trưng khuôn mặt(các mẫu

Cao Tiến Đạt _ CT1901C

7

Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV

này phải chọn làm sao cho tách biệt nhau theo tiêu chuẩn mà các

tác giả định ra để so sánh).

 Hướng tiếp cận dựa trên diện mạo: Trái ngược hẳn so khớp

mẫu, các mô hình học ở đây được học từ 1 tập ảnh huấn luyện cho

trước. Sau đó hệ thống sẽ xác định khuôn mặt người. Một số tác

giả còn gọi hướng tiếp cận này là hướng tiếp cận theo phương

pháp học.

1.2.1 Hướng tiếp cận dựa trên tri thức

Trong hướng tiếp cận này, các luật sẽ phụ thuộc rất hơn vào tri thức của

những tác giả nghiên cứu về bài toán xác định khuôn mặt người. Đây là

hướng tiếp cận top-down. Dễ dàng xây dựng các luật cơ bản để mô tả các đặc

trưng của khuôn mặt và các quan hệ tương ứng, Ví dụ, một khuôn mặt thường

có hai đôi mắt đối xứng nhau qua trục thẳng đứng ở giữa khuôn mặt và có

một mũi, một miệng. Các quan hệ của các đặc trưng có thể được mô tả như

quan hệ về khoảng cách và vị trí. Thông thường các tác giả sẽ trích đặc trưng

của khuôn mặt trước tiên để có thể được các ứng viên, sau đó các ứng viên

này sẽ được xác định thông qua các luật để biết ứng viên nào là khuôn mặt và

ứng viên nào không phải là khuôn mặt,

Một vấn đề khá phức tạp khi dùng hướng tiếp cận này là làm sao chuyển

từ tri thức con người sang các luật một cách hiệu quả. Nếu các luật này quá

chi tiết những khuôn mặt(chặt chẽ) thì khi xác định có thể xác định thiếu các

khuôn mặt có trong ảnh, vì những khuôn mặt này không thể thỏa mãn tất cả

các luật đưa ra, Nhưng các luật tổng quát có thể chúng ta sẽ xác định lầm một

vùng nào đó không phải là khuôn mặt mà lại xác định là khuôn mặt. Và cũng

khó khăn khi cân mở rộng yêu cầu của bài toán để xác định các khuôn mặt có

nhiều tư thế khác nhau.

Cao Tiến Đạt _ CT1901C

8

Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV

Hình 1-2: (a) Ảnh ban đầu có độ phân giải n = 1; (b), (c), và (d) Ảnh có độ

phân giải n = 4, 8, 16.

Yang và Huang dùng phương thức theo hướng tiếp cận này để xác định

các khuôn mặt. Hệ thống của hai tác giả này bao gồm ba mức luật. Ở mức cao

nhất, dùng một khung cửa số quét trên ảnh và thông qua một tập luật để tìm

các ứng viên có thể là khuôn mặt. Ở mức kế tiếp, hai ông dùng một tập luật để

mô tả tổng quát hình dáng khuôn mặt. Ở mức còn lại dùng một tập luật khác

để xem xét ở mức chi tiết các đặc trưng khuôn mặt, Một hệ thống đa độ phân

giải có thứ tự được dùng để xác định, (Hình 1.1). Các luật ở mức cao nhất để

tìm ứng viên như: “Vùng trung tâm khuôn mặt ( phần tối hơn trong hình 1.2)

có bốn phần với một mức độ đều cơ bản”, “phần xung quanh bên trên của một

khuôn mặt( phần sáng hơn trong hình 1.2) có một mức độ đều cơ bản”. và

“mức độ khác nhau giữa các giá trị xám trung bình của phần trung tâm và

phần bao bên trên là đáng kể”. Ở mức hai, xem xét biểu đồ của các ứng viên

để loại bớt ứng viên không phải là khuôn mặt, đồng thời dò ra cạnh bao xung

quanh ứng viên. Ở mức cuối cùng, những ứng viên nào còn lại sẽ được xem

xét các đặc trưng của khuôn mặt về mắt và miện. Hai ông đã dùng một chiến

lược “ từ thô đến mịn” hay “Làm rõ dần” để giảm số lượng tính toán trong xử

lý, Mặc dù tỷ lệ chính xác chưa cao, nhưng đây là tiền để cho nhiều nghiên

cứu sau này.

Cao Tiến Đạt _ CT1901C

9

Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV

Hình 1-3: Một loại tri thức của người nghiên cứu phân tích trên khuôn mặt.

Kotropoulos và Pitas đưa ra một phương pháp dùng trên độ phân giải

thấp. Hai ông dùng phương pháp chiếu để xác định các đặc trưng khuôn mặt.

Kanade đã thành công với phương pháp chiếu để xác định biên của khuôn

mặt. Với I(x,y) là giá trị xám của một điểm trong ảnh có kích thước m x n iwr

tại vị trí (x,y), các hàm để chiếu ảnh theo phương ngang và thẳng đứng được

định nghĩa như sau:

HI(x)ny1 I(x, y) và VI(y)mx1 I(x, y)

(1-1)

Hình 1-4: Phương pháp chiếu

(a) Ảnh chỉ có một khuôn mặt và hình nền đơn giản;

(b) Ảnh chỉ có một khuôn mặt và hình nền phức tạp;

(c) Ảnh có nhiều khuôn mặt

Cao Tiến Đạt _ CT1901C

10

Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV

Dựa trên biển đồ chiếu hình ngang, có hau cực tiểu cục bộ khi hai ông

xét quá trình thay đổi độ dốc HI, đó chính là cạnh bên trái và phải của hai bên

đầu. Tương tự với hình chiếu dọc VI, các cực tiểu cục bộ cũng cho ta biết vị

trí miệng, đỉnh mũi, và hai mắt. Các đặc trưng này đủ để xác định khuôn mặt.

Hình 1.4.a là một ví dụ của cách xác định trên. Cách xách định này có tỷ lệ

xác định chính xác 86,5% cho trường hợp chỉ có một khuôn mặt thẳng trong

ảnh và hình nền không phức tạp. Nếu hình nền phức tạp thì rất khó tìm, như là

hình 1.4.b. Nếu ảnh có nhiều khuôn mặt thì sẽ không xác định được, hình

1.4.c.

Hình 1-5: Chiếu từng phần ứng viên để xác định khuôn mặt.

Mateos và Chicote dùng kết cấu để xác định ứng viên trong ảnh màu.

Sau đó phân tích hình dáng, kích thước, thành phần khuôn mặt để xác định

khuôn mặt, hai ông trích các ứng viên của từng thành phần khuôn mặt, sau đó

chiếu từng phần này để xác thực đó có phải là thành phần khuôn mặt hay

không. Tỷ lệ chính xác hơn 87%.

Berbar kết hợp mô hình màu da người và xác định cạnh để tùn ứng viên

khuôn mặt người. Sau đó kết hợp các đặc trưng và phương pháp chiếu các

ứng viên khuôn mặt xuống hệ trục tọa độ để xác định ứng viên nào thực sự là

khuôn mặt.

1.2.2 Hướng tiếp cận dựa trên đặc trưng không đổi.

Đây là hướng tiếp cận thiểu kiểu bottom-up. Các tác giả cố gắng tìm các

đặc trưng không thay đổi của khuôn mặt người để xác định khuôn mặt người.

Dựa trên nhận xét thực tế: con người dễ dàng nhận biết các khuôn mặt trong

Cao Tiến Đạt _ CT1901C

11

Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV

các tư thế khác nhau và điều kiện ánh sáng khác nhau. Do đó khuôn mặt phải

có các thuộc tính hay đặc trưng không thay đổi. Theo nhiều nghiên cứu thì

ban đầu phải xác định các đặc trưng khuôn mặt rồi chỉ có khuôn mặt trong

ảnh hay không. Các đặc trưng như: lông mày, mắt, mũi, miệng, và đường viền

của tóc được trích bằng phương pháp xác định cạnh. Trên cơ sở các đặc trưng

này, xây dựng một mô hình thông kê để mô tả quan hệ của các đặc trưng này

và xác định sự tồn tại cùa khuôn mặt trong ảnh. Một vấn đề của các thuật toán

theo hướng tiếp cận đặc trưng cần phải điều chỉnh cho phù hợp điều kiện ánh

sáng, nhiễu, và bị che khuất. Đôi khi bóng của khuôn mặt sẽ tạo theo cạnh

mới, mà cạnh này lại rõ hơn cạnh thực sự của khuôn mặt, vì thế nếu dùng

cạnh để xác định sẽ gặp khó khăn.

1.2.2.1 Các đặc trưng khuôn mặt

Sirohey đưa một phương pháp xác định khuôn mặt từ một ảnh có

hìnhnền phức tạp. Phương pháp dựa trên cạnh (dùng phương pháp Candy

vàheuristics để loại bỏ các cạnh để còn lại duy nhất một đường bao xung

quanhkhuôn mặt. Một hình ellipse dùng để bao khuôn mặt, tách biệt vùng đầu

vàhình nền. Tỷ lệ chính xác của thuật toán là 80%. Cũng dùng phương pháp

cạnh như Sirohey, Chetverikov và Lerch dùng một phưong pháp dựa trên blob

và streak (hình dạng giọt nước và sọc xen kẽ), để xác định theo hướng các

cạnh. Hai ông dùng hai blob tối và ba blob sáng để mô tả hai mắt, hai bên gò

má, và mũi.

Mô hình này dùng các treak để mô tả hình dáng ngoài của khuôn mặt,

lông mày, và môi. Dùng ảnh có độ phân giải thấp theo biến đổi laplace để xác

định khuôn mặt thông qua blob. Graf đưa ra một phương pháp xác định đặc

trưng rồi xác định khuôn mặt trong ảnh xám. Dùng bộ lọc để làm nổi các

biên, các phép toán hình thái học(morphology) được dùng để làm nổi bật các

vùng có cường độ cao và hình dáng chắc chắn (như mắt). Thông qua

histogram để tìm các đỉnh nổi bật để xác định các ngưỡng chuyển ảnh xám

Cao Tiến Đạt _ CT1901C

12

Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV

thành hai ảnh nhị phân. Các thành phần dính nhau đều xuất hiện trong hai ảnh

nhị phân thì được xem là vùng của ứng viên khuôn mặt rồi phân loại xem có

phải là khuôn mặt không. Phương pháp được kiểm tra trên các ảnh chỉ có đầu

và vai của người. Tuy nhiên còn có một vấn đề ở đây là làm sao để sử dụng

các phép toán morphology và làm sao xác định khuôn mặt trên các vùng ứng

viên.

1.2.2.2 Đặc trưng kết cấu

Khuôn mặt con người có những kết cấu riêng biệt mà có thể dùng để

phân loại so với các đối tượng khác. Augusteijn và Skufca cho rằng hình dạng

của khuôn mặt dùng làm kết cấu phân loại, gọi là kết cấu giống khuôn mặt

(face-like texture). Có ba loại đặc trưng được xem xét: màu da, tóc, và những

thứ khác. Hai ông dùng mạng nơ-ron về mối tương quan cascade cho phân

loại có giám sát các kết cấu và một ánh xạ đặc trưng tự tổ chức Kohonen để

gom nhóm các lớp kết cấu khác nhau. Hai tác giả đề xuất dùng phương pháp

bầu cử khi không quyết định được kết cấu đưa vào là kết cấu của da hay kết

cấu của tóc. Dai và Nakano dùng mô hình SGLD để xác định khuôn mặt

người. Thông tin màu sắc được kết hợp với mô hình kết cấu khuôn mặt. Hai

tác giả xây dựng thuật giải xác định khuôn mặt trong không gian màu, với các

phần tựa màu cam để xác định các vùng có thể là khuôn mặt người.

Một thuận lợi của phương pháp này là có thể xác định khuôn mặt không

chỉ chụp thẳng và có thể có râu và có kính. Mark và Andrew dùng phân bố

màu da và thuật toán DoG (Difference of Gauss) để tìm các ứng viên, rồi xác

thực bằng một hệ thống học kết cấu của khuôn mặt. Manian và Ross dùng

biến đổi wavelet để xây dựng tập dữ liệu kết cấu của khuôn mặt trong ảnh

xám thông qua nhiều độ phân giải khác nhau kết hợp xác suất thông kê để xác

định khuôn mặt người. Mỗi mẫu sẽ có chín đặc trưng. Tỷ lệ chính xác là 87%,

tỷ lệ xác định sai là 18%.

Cao Tiến Đạt _ CT1901C

13