Luận văn Nghiên cứu học sâu trong nhận dạng khuôn mặt ứng dụng cho bài toán điểm danh tự động học sinh

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

---------------------------------------

Nguyễn Công Hòa

NGHIÊN CỨU HỌC SÂU TRONG NHẬN DẠNG KHUÔN MẶT

ỨNG DỤNG CHO BÀI TOÁN ĐIỂM DANH TỰ ĐỘNG HỌC SINH

LUẬN VĂN THẠC SĨ KỸ THUẬT

(Theo định hướng ứng dụng)

HÀ NỘI - 2020

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

---------------------------------------

Nguyễn Công Hòa

NGHIÊN CỨU HỌC SÂU TRONG NHẬN DẠNG KHUÔN MẶT

ỨNG DỤNG CHO BÀI TOÁN ĐIỂM DANH TỰ ĐỘNG HỌC SINH

CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH

MÃ SỐ:

8.48.01.01

ĐỀ CƯƠNG LUẬN VĂN THẠC SĨ KỸ THUẬT

(Theo định hướng ứng dụng)

NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. PHAN THỊ HÀ

HÀ NỘI - 2020

i

LỜI CAM ĐOAN

Tôi cam đoan đây là công trình nghiên cứu của riêng tôi được TS. Phan Thị

Hà - giảng viên khoa Công nghệ thông tin 1 trường Học viện công nghệ bưu chính

viễn thông hướng dẫn khoa học. Nguồn tài liệu của các tác giả, cơ quan, tổ chức nếu

sử dụng thì tôi đều ghi rõ trong phần tài liệu tham khảo.

Tôi xin hoàn toàn chịu trách nhiệm về nội dung luận văn của mình.

Hà nội, ngày tháng năm 2020.

Học viên Cao học.

Nguyễn Công Hòa.

ii

LỜI CẢM ƠN

Lời đầu tiên, tôi xin bày tỏ sự biết ơn chân thành và sâu sắc nhất tới TS.

Phan Thị Hà - Giáo viên hướng dẫn khoa học, người đã tận tình hướng dẫn, hỗ trợ

và giúp đỡ tôi trong quá trình nghiên cứu và hoàn thiện luận văn của mình.

Tôi xin gửi lời cảm ơn chân thành tới các thầy, các cô là giảng viên khoa

Công nghệ thông tin 1 của trường Học viện công nghệ bưu chính viễn thông đã tận

tình truyền đạt kiến thức và hướng dẫn cho tôi trong suốt quá trình học tập tại

trường.

Tôi xin gửi lời cảm ơn tới những người thân trong gia đình tôi đã chăm lo cho

tôi, động viên tôi, cảm ơn cơ quan nơi tôi đang công tác - trường THPT Thanh Oai

B, huyện Thanh Oai, Hà Nội đã hết sức tạo điều kiện để tôi hoàn thành khóa học

này.

Trong quá trình hoàn thành luận văn do thời gian và khả năng kiến thức còn

hạn chế nên khó tránh khỏi những sai sót. Kính mong nhận được sự cảm thông,

góp ý của các thầy các cô.

Tôi xin chân thành cảm ơn.

Hà nội, ngày

tháng

năm 2020.

Người viết

Nguyễn Công Hòa

iii

MỤC LỤC

L Ờ I CAM ĐOAN ......................................................................................................i

L Ờ I C Ả M ƠN ...........................................................................................................i i

M Ụ C L Ụ C................................................................................................................iii

DANH M Ụ C CÁC THU Ậ T NG Ữ VI Ế T T Ắ T .....................................................v i

DANH M Ụ C CÁC HÌNH V Ẽ ................................................................................v ii

M Ở ĐẦ U ................................................................................................................... 1

Chương 1. TỔ NG QUAN V Ề BÀI TOÁN ĐIỂ M DANH T Ự ĐỘ NG................. 3

1.1. T ổ ng quan v ề x ử lý ả n h ................................................................................... 3

1.1.1. M ộ t s ố khái ni ệ m .................................................................................. 3

1.1.2. Các v ấ n đề c ủ a x ử lý ả nh...................................................................... 3

1.1.3. Ứ ng d ụ ng c ủ a x ử lý ả nh trong th ự c t ế .................................................. 4

1.2. Bài toán nh ậ n d ạ ng khuôn m ặ t ........................................................................ 5

1.2.1. Khái ni ệ m. ............................................................................................ 5

1.2.2. M ộ t s ố tr ở ng ạ i c ủ a công ngh ệ nh ậ n d ạ ng khuôn m ặ t.......................... 6

1.2.3. T ầ m quan tr ọ ng c ủ a bài toán nh ậ n d ạ ng khuôn m ặ t............................. 7

1.2.4. Các ứ ng d ụ ng đặ c tr ư ng c ủ a bài toán nh ậ n d ạ ng khuôn m ặ t................ 7

1.2.5. Xây d ự ng h ệ th ố ng nh ậ n d ạ ng khuôn m ặ t............................................ 8

1.2.6. M ộ t s ố p hương pháp nh ậ n d ạ ng khuôn m ặ t ......................................... 9

1.3. Vai trò và t ầ m quan tr ọ ng c ủa bài toán điể m danh t ự độ ng h ọ c sinh t ạ i

trườ ng THPT Thanh Oai B, Huy ệ n Thanh Oai, Hà N ộ i. ....................................... 9

1.4. K ế t lu ậ n c hương ............................................................................................ 10

Chương 2. TÌM HI Ể U V Ề H Ọ C SÂU VÀ MÔ HÌNH M ẠNG NƠRON TÍCH

CH Ậ P....................................................................................................................... 11

2.1. T ổ ng quan v ề H ọ c máy (Machine learning).................................................. 11

2.2. Các thu ậ t toán H ọ c máy................................................................................. 12

2.2.1. H ọ c có giám sát (supervised learning)............................................... 12

2.2.2. H ọ c không giám sát (unsupervised learning) .................................... 12

2.2.3. H ọ c bán giám sát (Semi-Supervised Learning).................................. 12

iv

2.2.4. H ọ c c ủ ng c ố (Reinforcement learning ).............................................. 12

2.3. Tìm hi ể u v ề H ọ c sâu (Deep learning)............................................................ 12

2.3.1. H ọ c sâu là gì? ..................................................................................... 12

2.3.2. L ị ch s ử H ọ c sâ u .................................................................................. 13

2.3.3. T ổ ng quan v ề m ạ ng nơr on nhân t ạ o ................................................... 14

2.3.4. Ứ ng d ụ ng c ủ a H ọ c sâu ....................................................................... 21

2.4. Tìm hi ể u v ề CNN [2]..................................................................................... 24

2.5. C ấ u trúc c ủ a CNN.......................................................................................... 25

2.5.1. L ớ p tích ch ậ p (Convolution) .............................................................. 25

2.5.2. L ớ p phi tuy ế n Relu............................................................................. 27

2.5.3. L ớ p Poolin g ........................................................................................ 27

2.5.4. L ớ p Fully-connected (FC ).................................................................. 28

2.6. Hu ấ n luy ệ n mô hình CN N ............................................................................. 29

2.7. Tìm hi ể u v ề Multi-task Cascaded Convolutional Networks.......................... 31

2.7.1. Multi-task Cascaded Convolutional Networks là gì ?......................... 31

2.7.2. MTCNN Workflo w ............................................................................ 31

2.7.3. Lý do l ự a ch ọ n MTCNN để detect khuôn m ặ t ................................... 37

2.8. Tìm hi ể u v ề mô hình ResNe t ......................................................................... 38

2.8.1. Gi ớ i thi ệ u v ề mô hình ResNe t ............................................................ 38

2.8.2. Điể m n ổ i b ậ t c ủ a mô hình ResNet...................................................... 38

2.8.3. Ki ế n trúc ResNet ................................................................................ 39

2.8.4. Mô hình ResNet.................................................................................. 39

2.9. K ế t lu ậ n c hương ............................................................................................ 43

Chương 3. NHẬ N D Ạ NG KHUÔN M Ặ T Ứ NG D Ụ NG CHO BÀI TOÁN

ĐIỂ M DANH T Ự ĐỘ NG ...................................................................................... 44

3.1. Xây d ự ng h ệ th ố ng nh ậ n d ạ ng khuôn m ặ t ..................................................... 44

3.1.1. Công ngh ệ s ử d ụ ng............................................................................. 44

3.1.2. Xây d ự ng h ệ th ố ng nh ậ n d ạ ng khuôn m ặ t.......................................... 48

3.1.3. Xây d ự ng d ữ li ệ u hu ấ n luy ệ n ............................................................. 49

v

3.1.4. Hu ấ n luy ệ n mô hình nh ậ n d ạ ng khuôn m ặ t ....................................... 52

3.2. L ậ p trình nhúng cho thi ế t b ị điể m danh ........................................................ 55

3.2.1. Máy tính nhúng raspberry Pi 4:.......................................................... 56

3.2.2. Cài đặ t h ệ điề u hàn h ........................................................................... 57

3.2.3. Xây d ự ng giao di ệ n cho thi ế t b ị ......................................................... 58

3.2.4. X ử lý nâng cao ................................................................................... 60

3.3. Xây d ự ng cơ sở d ữ li ệ u ................................................................................. 63

3.4.

............................................................................. 64

Demo và đ ánh giá k ế t qu ả

3.5. K ế t lu ậ n c hương ............................................................................................ 65

K Ế T LU Ậ N ............................................................................................................. 66

DANH M Ụ C CÁC TÀI LI Ệ U THAM KH Ả O .................................................... 67

vi

DANH MỤC CÁC THUẬT NGỮ VIẾT TẮT

Từ viết tắt

Tiếng Anh

Tiếng Việt

Trí tuệ nhân tạo

Artificial Intelligence

AI

ANN

CNN

Conv

DL

Artificial neural network

Convolutional Neural Network

Convolution

Mạng nơron nhân tạo

Mạng nơron tích chập

Tích chập

Deep Learning

Học sâu

ML

Machine Learning

Học máy

Multi-task Cascaded Convolutional Mạng chuyển đổi xếp tầng đa

MTCNN

Networks

tác vụ

MLP

NMS

RNN

ResNet

KNN

SGD

Multi layer perceptron

Non-Maximum Suppression

Recurrent Neural Network

Residual Network

Mạng nơron đa lớp

Mạng nơron tái phát

Mạng dư

K-nearest neighbor

K-láng giềng

Stochastic Gradient Descent

vii

DANH MỤC CÁC HÌNH VẼ

Hình 1.1. Quy trình x ử lý ảnh [1 ]................................................................................3

Hình 1.2 . Các bước cơ bản trong một hệ thống xử lý ảnh [1] ....................................3

Hình 1.3. N ề n ả nh ph ức tạp .........................................................................................6

Hình 1.4. Hệ th ố ng nh ận dạng khuôn m ặt ...................................................................8

Hình 2.1 . Mối quan hệ giữa DL, ML và AI [11] ......................................................13

Hình 2.2. Các giai đoạ n phát tri ển Học sâu [3 ].........................................................14

Hình 2.3. Mô hình m ạng nơron [12] .........................................................................14

Hình 2.4. Kiến trúc 3 ph ần c ủ a AN N ........................................................................15

Hình 2.5. Tế bào nơron nhân t ạ o ...............................................................................16

Hình 2.6. Một số hàm truy ền p hổ biến ......................................................................17

Hình 2.7. Huấn luyện mạng ANN sử dụng lan truyền ngược ...................................18

Hình 2.8. Quá tr ình học của nơron ............................................................................19

Hình 2.9. Mô hình tính toán của một nơron ..............................................................19

Hình 2.10. Tô màu ảnh đen trắng dựa trên Học sâu .................................................23

Hình 2.11. Cấu trúc cơ bản của mạng Nơron Tích chập (Lecun, 1989 )...................25

Hình 2.12. Phép tính Convolution [4].......................................................................26

Hình 2.13: Mô t ả hàm MaxPooling v ới c ử a s ổ 2x2 mà b ước trượt bằng 2 ...............28

Hình 2.14: Cấu trúc MTCNN....................................................................................32

Hình 2.15: Kim t ự tháp hình ả nh...............................................................................32

Hình 2.16: Kernel tìm ki ếm khuôn m ặt .....................................................................33

Hình 2.17: P-Net .......................................................................................................33

Hình 2.18: R-Ne t ......................................................................................................35

Hình 2.19: O-Net ......................................................................................................36

Hình 2.20: Ví dụ MTCNN ........................................................................................37

Hình 2.21: So sánh độ chính xá c ...............................................................................39

Hình 2.22: Một k hối xây dựng c ủa ResNet...............................................................39

Hình 2.23: Kiến trúc chi ti ết của ResNet ...................................................................40

Hình 2.24: Mô hình ResNet-101 ...............................................................................40

viii

Hình 2.25: Code ResNet Model ................................................................................41

Hình 2.26: Code ResNet Model ...............................................................................41

Hình 3.1 : Các bước thực hiện nhận dạng khuôn mặt sử dụng Resnet -101...............48

Hình 3.2 : Bộ dữ liệu xây dựn g ..................................................................................52

Hình 3.3 : Mô tả phương pháp tính độ lỗi ..................................................................53

Hình 3.4 : Mô tả phương pháp tính độ lỗi dựa trên điểm neo ....................................54

Hình 3.5 : Biểu đồ mô tả kết quả huấn luyện .............................................................55

Hình 3.6: Máy tính nhúng Raspberry pi cùng màn hình...........................................56

Hình 3.7 : Các thành phần cơ bản cần thiết cho thiết bị ............................................57

Hình 3.8 : Thuật toán xử lý ảnh trước khi cải tiến .....................................................61

Hình 3.9 : Thuật toán xử lý ảnh sau khi cải tiến. .......................................................62

Hình 3.10: Datab ase hệ thống điểm danh .................................................................64

1

MỞ ĐẦU

Đảng, Nhà Nước ta xác định “Giáo dục và đào tạo là quốc sách hàng đầu” và

để thực hiện tốt mục tiêu, nhiệm vụ chiến lược này, việc ưu tiên ứng dụng công

nghệ thông tin trong quản lý và trong việc hỗ trợ các hoạt động dạy - học là một vấn

đề rất cấp bách, đã được thể hiện qua rất nhiều văn bản chỉ đạo của Đảng, Nhà

Nước và của Bộ giáo dục và đào tạo.

Việc quản lý học sinh trong các nhà trường phổ thông hiện nay hoàn toàn

dựa theo hình thức thủ công, hiện tượng học sinh bỏ cả buổi học, bỏ tiết, ngồi học

không đúng lớp mình học, học sinh không phải của nhà trường ... gây ra cho công

tác kiểm diện và quản lý học sinh gặp nhiều khó khăn. Hơn nữa, phụ huynh cũng

muốn giám sát xem con mình có mặt ở trường, ở lớp hay không? hiện đang là một

nhu cầu rất lớn.

Học sâu đã và đang rất phát triển, được ứng dụng rộng rãi trong các bài toán

nhận dạng như: nhận dạng hình ảnh, nhận dạng giọng nói, xử lý ngôn ngữ tự nhiên

… và thu được những thành tựu to lớn với độ chính xác ngày càng cao. Trong đó

nhận dạng khuôn mặt để xác định danh tính, giao dịch, kiểm soát an ninh … ngày

càng trở nên phổ biến.

Xuất phát từ thực tế trên, đề tài “nghiên cứu Học sâu trong nhận dạng

khuôn mặt ứng dụng cho bài toán điểm danh tự động học sinh” với hy vọng có thể

ứng dụng thành công mô hình Học sâu hiện đại trong việc xây dựng hệ thống

điểm danh tự động dựa vào nhận dạng khuôn mặt, đặc biệt là ứng dụng cụ thể vào

điểm danh tự động học sinh trong mỗi lớp học của trường THPT Thanh Oai B,

huyện Thanh Oai, Hà Nội.

Mục tiêu của luận văn là nghiên cứu học sâu trong nhận dạng khuôn mặt

ứng dụng cho bài toán điểm danh tự động đối với quá trình quản lý học sinh trong

các nhà trường phổ thông hiện nay nhằm nâng cao chất lượng quản lý học sinh

trong công tác giáo dục đào tạo của nhà trường.

Đối tượng nghiên cứu của luận văn: Mô hình mạng nơron tích chập và bài

toán điểm danh tự động.

2

Phạm vi nghiên cứu của luận văn: Xây dựng hệ thống điểm danh tự động đối

với học sinh trong lớp học tại trường THPT Thanh Oai B, huyện Thanh Oai, Hà

Nội.

Nội dung của luận văn được trình bày trong ba chương với nội dung chính

như sau:

Chương 1: Tổng quan về bài toán điểm danh tự động

Nội dung chính của chương 1 là tìm hiểu khái quát về xử lý ảnh và bài

toán nhận dạng khuôn mặt.

Chương 2: Tìm hiểu về học sâu và mô hình mạng nơron tích chập

Nội dung chính của chương 2 là tìm hiểu tổng quan về học máy, Học sâu,

mô hình mạng nơron tích chập (CNN) cũng như cách hoạt động, cấu trúc

và việc huấn luyện của mô hình mạng nơron tích chập.

Chương 3: Nhận dạng khuôn mặt ứng dụng cho bài toán điểm danh tự

động

Nội dung chính của chương 3 là trình bày chi tiết các bước xây dựng

hệ thống điểm danh tự động dựa trên nhận dạng khuôn mặt.

3

Chương 1. TỔNG QUAN VỀ BÀI TOÁN ĐIỂM DANH

TỰ ĐỘNG

Chương này tập trung vào những khái niệm về xử lý hình ảnh, giới thiệu về

bài toán nhận dạng khuôn mặt bao gồm các ứng dụng, tầm quan trọng và những khó

khăn trở ngại hiện nay khi áp dụng bài toán về nhận dạng khuôn mặt, và cuối cùng

những phương pháp nhận dạng khuôn mặt hiện nay. Chương này cũng chỉ ra vai trò

và tầm quan trọng của bài toán điểm danh tự động học sinh tại trường THPT Thanh

Oai B, Huyện Thanh Oai, Hà Nội.

1.1. Tổng quan về xử lý ảnh

1.1.1. Một số khái niệm.

Xử lý ảnh là từ một ảnh đầu vào qua quá trình xử lý (thông qua các thuật

toán) ta thu được một ảnh đã được xử lý hoặc một kết luận.

Ảnh được xử lý

Xử lý ảnh

Ảnh

Kết luận

Hình 1.1. Quy trình xử lý ảnh [1]

Thông thường các ảnh tự nhiên, ảnh chụp có các tín hiệu ảnh đặc trưng bởi 2

đại lượng là biên độ và dải tần số. Nó chính là các đối tượng của xử lý ảnh.

Hệ quyết

định

Thu

nhận ảnh

Tiền

xử lý

Trích chọn

đặc trưng

Hậu

xử lý

Đối sách rút

ra kết luận

Lưu trữ

Hình 1.2. Các bước cơ bản trong một hệ thống xử lý ảnh [1]

1.1.2. Các vấn đề của xử lý ảnh

a) Điều chỉnh mức xám của ảnh

4

Có 2 hướng chính là tăng số mức xám hoặc giảm số mức xám với mục đích

chính là tăng cường độ mịn cho ảnh hoặc in ảnh màu ra máy in đen trắng.

b, Trích chọn đặc điểm

Tùy theo mục đích nhận dạng trong quá trình xử lý ảnh mà các đối tượng

được trích trọn. Một số đặc điểm của ảnh như đặc điểm biến đổi (dựa vào lọc vùng),

đặc điểm không gian (điểm uốn, phân bố xác suất, biên độ, mức xám …) hay đặc

điểm biên và đường biên.

c, Nhận dạng:

Hệ thống nhận dạng tự động bao gồm ba khâu tương ứng với ba giai đoạn

chủ yếu sau đây:

1. Thu nhận dữ liệu và tiền xử lý.

2. Biểu diễn dữ liệu.

3. Nhận dạng, ra quyết định.

Bốn cách tiếp cận khác nhau trong lý thuyết nhận dạng là:

1. Đối sánh mẫu dựa trên các đặc trưng được trích chọn.

2. Phân loại thống kê.

3. Đối sánh cấu trúc.

4. Phân loại dựa trên mạng nơron nhân tạo.

d, Nén ảnh

Để giảm thiểu không gian lưu trữ ta cần nén ảnh. Có bốn kỹ thuật nén sau

đây:

 Nén ảnh thống kê: Ví dụ *.TIF là mã nén theo kỹ thuật này.

 Nén ảnh không gian: Ví dụ *.PCX là mã nén theo kỹ thuật này.

 Nén ảnh sử dụng phép biến đổi: *.JPG là mã nén theo kỹ thuật này.

 Nén ảnh Fractal: Kỹ thuật nén sẽ tính toán để chỉ cần lưu trữ phần gốc

ảnh và quy luật sinh ra ảnh theo nguyên lý Fractal

1.1.3. Ứng dụng của xử lý ảnh trong thực tế.

 Xử lý và phục hồi hình ảnh: Ứng dụng này tương tự như photoshop: từ

một hình ảnh được chụp từ máy ảnh, ta có thể chỉnh sửa, xử lý để làm ảnh đẹp hơn

5

hoặc phù hợp nhu cầu người dung như: làm mờ, lấy biên, chỉnh độ nét, chỉnh độ

phân giải, phục hồi và nhận dạng ảnh….

 Lĩnh vực y tế: Các ứng dụng phổ biến của DIP trong lĩnh vực y tế là:

Gamma ray imaging, PET scan, X Ray Imaging, Medical CT, UV imaging

 UV imaging: Lĩnh vực này liên quan nhiều đến thám hiểm, do thám. Cách

hoạt động như sau: để phân tích thiệt hại của một trận động đất mà con người không

thể tới được. Mặt đất nơi đó sẽ được quét bởi vệ tinh hoặc một máy bay sau đó

truyền dữ liệu, hình ảnh về máy chủ để phân tích. Sẽ rất nhanh chóng so với việc

chờ đợi con người tới đó. Một trận động đất có thể diện tích rất rộng mà con người

không thể nào phân tích hết được.

 Truyền và mã hóa: Ngày nay con người sử dụng internet để truyền nhận

các ảnh, video một cách nhanh chóng. Hình ảnh khi ta chụp sẽ được mã hóa và

truyền theo internet. Rất nhanh sau vài giây là người bạn có thể nhận được một bức

ảnh.

 Thị giác máy tính và robot: Hiện tại công nghệ robot đang phát triển

nhanh chóng, và càng ngày càng giống con người hơn. Thị giác của máy tính cũng

là một phần quan trọng. Làm thế nào để robot có thể nhìn mọi thứ, tránh vật cản,

nhận dạng các vật..? Đó chính là nhờ một hệ thống quá trình xử lý ảnh phức tạp.

 Phát hiện vật cản: Phát hiện vật cản cũng là một lĩnh vực mới và được

thực hiện bởi xử lý ảnh: tính toán khoảng cách từ robot tới vật cản bằng cách xác

định được các đối tượng khác nhau trong hình ảnh sau đó xử lý và tính toán chúng.

 Công nghệ nhận dạng: Xử lý ảnh dùng để xác định, nhận dạng các đối

tượng, các mối nguy hiểm, nhận dạng vân tay, khuôn mặt, hoặc các loại bệnh trong

lĩnh vực y tế.

1.2. Bài toán nhận dạng khuôn mặt

1.2.1. Khái niệm.

Nhận dạng khuôn mặt là một loại phần mềm sinh trắc học ánh xạ các đặc

điểm khuôn mặt của một cá nhân về mặt toán học và lưu trữ dữ liệu dưới dạng dấu

khuôn mặt (faceprint). Công nghệ AI nhận dạng khuôn mặt là phần mềm sử dụng

6

các thuật toán Học sâu để so sánh ảnh chụp trực tiếp hoặc hình ảnh kỹ thuật số với

ảnh được lưu trữ trong cơ sở dữ liệu để xác minh danh tính của một cá nhân.

1.2.2. Một số trở ngại của công nghệ nhận dạng khuôn mặt

 Góc chụp khuôn mặt: Chụp thẳng, chụp nghiêng, chụp hất lên … Làm cho

các thành phần trên khuôn mặt như mắt, mũi, miệng có thể bị khuất một phần hoặc

thậm chí khuất hết, đều là những khó khăn rất lớn trong bài toán nhận dạng mặt

người.

 Một số thành phần xuất hiện thêm hoặc không xuất hiện trên khuôn mặt

như: đeo kính, đeo khẩu trang, trang điểm, mọc râu … làm cho việc nhận dạng

khuôn mặt thiếu chính xác.

 Khi con người thể hiện sự biểu cảm như: cười, khóc, nhăn mặt … cũng

ảnh hưởng đến kết quả nhận dạng.

 Ngoài ra một số tác nhân khác cũng gây ảnh hưởng đến kết quả như: Ảnh

quá sáng, quá mờ, chất lượng ảnh …

 Nền ảnh phức tạp: Nền của ảnh phức tạp là một trong những khó khăn nhất

trong bài toán nhận dạng khuôn mặt người trong ảnh, khuôn mặt người sẽ dễ bị

nhầm lẫn với nhiều khung cảnh phức tạp xung quanh và ảnh hưởng rất nhiều đến

quá trình phân tích và rút trích các đặc trưng của khuôn mặt trong ảnh, có thể dẫn

đến không nhận ra khuôn mặt hoặc là nhận nhầm các khung cảnh xung quanh thành

khuôn mặt người.

Hình 1.3. Nền ảnh phức tạp



da

: Màu sắc của da mặt cũng đóng vai trò quan trọng

mặt

Màu sắc của

trong nhận dạng khuôn mặt. Nếu màu sắc của da người quá tối hoặc gần với màu

sắc của khung cảnh môi trường thì thuật toán sẽ gặp khó khăn trong việc nhận dạng

các đặc trưng và có thể không tìm ra được khuôn mặt người.

7

1.2.3. Tầm quan trọng của bài toán nhận dạng khuôn mặt

Sinh trắc học được sử dụng để kiểm tra - xác thực danh tính con người thông

qua một tập hợp các dữ liệu để nhận biết và kiểm chứng các đặc điểm cá biệt của

người đó thông qua 2 bước “nhận dạng – Bạn là ai?” và “xác thực – Bạn thực sự là

người bạn nói bạn là?”.

Hiện này có các công nghệ sinh trắc học khác như: dấu vân tay, nhận dạng

giọng nói, nhận dạng mống mắt, số hóa tổng thể lòng bàn tay và đo lường hành vi.

Đây là các công nghệ sinh trắc tiên tiến được sử dụng để đảm bảo tính bảo mật cá

nhân. Tuy nhiên các công nghệ trên cũng có những bất cập ví dụ công nghệ nhận

dạng giọng nói có nhược điểm là tiếng ồn; công nghệ nhận dạng chữ ký cũng gây

nhiều phiền phức cho người sử dụng vì khó duy trì được chữ ký giống nhau ngay

trong cùng một thời điểm, công nghệ nhận dạng mống mắt lại bị tác động bởi nhiều

yếu tố khác như độ rộng của mắt, lông mi, kính đeo và khó triển khai phổ biến trên

diện rộng do độ phức tạp của các thiết bị.

Công nghệ nhận dạng khuôn mặt từ khi được phát minh vào năm 1970 đến

nay đã có những bước tiến vượt bậc. Và ngày nay, nhận dạng khuôn mặt được xem

là công nghệ đo sinh trắc học của con người tự nhiên nhất. Công nghệ nhận dạng

khuôn mặt sẽ dễ triển khai và không giới hạn ứng dụng cũng như phạm vi triển khai

của nó. Không có sự tương tác vật lý nào được yêu cầu bởi người dùng cuối. Hơn

nữa, việc phát hiện khuôn mặt và các quy trình đối sánh khuôn mặt để xác

minh/nhận dạng rất nhanh. Đây cũng là ưu điểm nổi trội của nhận dạng mặt người

mà các công nghệ nhận dạng khác khó có thể có được.

1.2.4. Các ứng dụng đặc trưng của bài toán nhận dạng khuôn mặt

 Ứng dụng trong giám sát an ninh: các giải pháp kiểm soát an ninh (kiểm

soát ra vào), nhận dạng khách lạ, khách VIP và đối tượng trong danh sách đen, tình

nghi xuất hiện trong khu vực giám sát…

 Ứng dụng trong các ngành bán lẻ, dịch vụ: theo dõi lượng khách vào ra ,

nhận dạng khách hàng thân thiết, khách VIP và đối tượng xấu…

8

 Ứng dụng trong doanh nghiệp, công sở: chấm công khuôn mặt, bảo mật

máy tính, quản lý ra/vào, phát hiện hành vi (cầm dao, đeo mặt nạ, đeo khẩu trang,

đeo kính đen, để râu ở những nơi quan trọng.

 Ứng dụng trong chính phủ: giám sát giao thông thông minh , phát hiện các

hành vi vi phạm giao thông.

 Ứng dụng trong trường học: điểm danh khuôn mặt, đăng ký, kiểm soát an

ninh các khu vực cần theo dõi… là các giải pháp nhận dạng khuôn mặt cho trường

học.

 Ứng dụng trong lĩnh vực Y tế - sức khỏe: Theo dõi việc sử dụng thuốc của

bệnh nhân chính xác hơn, Phát hiện các bệnh di truyền như hội chứng DiGeorge với

tỷ lệ thành công cao, hỗ trợ các thủ tục quản lý bệnh án.

 Ứng dụng trong các thiết bị IOT: thiết bị kiểm soát ra vào bằng khuôn

mặt, thiết bị đọc giấy tờ tuỳ thân…

 Phân tích cảm xúc: Nhận biết cảm xúc trên khuôn mặt người.

1.2.5. Xây dựng hệ thống nhận dạng khuôn mặt.

Một hệ thống nhận dạng khuôn mặt có thể khái quát chung gồm có 3 bước

cơ bản sau:

Phát hiện

khuôn mặt

Trích rút

đặc trưng

Nhận dạng

khuôn mặt

Ảnh tĩnh

Hình 1.4. Hệ thống nhận dạng khuôn mặt

- Phát hiện khuôn mặt: Hệ thống nhận vào một ảnh tĩnh (từ bức hình hay

một đoạn video), sau đó có thể xử lý ảnh cho chất lượng tốt hơn, như chỉnh lại độ

sáng, giảm độ nhiễu ...

- Trích rút đặc trưng: Chính là việc phân tích và rút ra đặc điểm của khuôn

mặt trong ảnh vì mỗi khuôn mặt có đặc điểm khác nhau (trừ các trường hợp sinh đôi

cùng trứng).

- So sánh: Hệ thống sẽ so sánh các đặc điểm được trích rút với cơ sở dữ

liệu khuôn mặt và sẽ quyết định kết quả so sánh có phù hợp hay không.

9

1.2.6. Một số phương pháp nhận dạng khuôn mặt

Dựa vào các tiêu chí mà người ta chia ra thành nhiều phương pháp nhận dạng

khuôn mặt nhưng phổ biến hiện nay là các loại sau:

+ Phương pháp tiếp cận toàn cục.

+ Phương pháp tiếp cận dựa trên các đặc điểm cục bộ.

+ Phương pháp lai.

Khi làm việc trong điều kiện không có kiểm soát thì phương pháp tiếp cận

dựa trên các đặc điểm cục bộ (trích chọn đặc trưng) tỏ ra thích hợp hơn hai phương

pháp kia. Đó chính là các hệ thống phát hiện khuôn mặt người dựa trên tính năng

(feature based).

Người ta cũng có thể chia thành hai hướng nhận dạng như làm với dữ liệu

video (từ camera) hoặc làm với dữ liệu ảnh.

1.3. Vai trò và tầm quan trọng của bài toán điểm danh tự động học sinh

tại trường THPT Thanh Oai B, Huyện Thanh Oai, Hà Nội.

Điểm danh là công việc được tiến hành hàng ngày và thường xuyên trong các

buổi học tại các nhà trường phổ thông hiện nay trong đó có trường THPT Thanh

Oai B, huyện Thanh Oai, Hà Nội.

 Thực trạng:

+ Học sinh thường đến lớp muộn, nghỉ học hoặc bỏ học cả buổi hoặc bỏ

tiết học.

+ Hình thức điểm danh thủ công: Giáo viên đầu tiết học đếm sĩ số lớp

ghi tên những học sinh vắng tiết học đó vào Sổ đầu bài.

+ Cuối tuần, cuối tháng, cuối học kỳ, cuối năm học giáo viên chủ nhiệm

phải tổng hợp ngày nghỉ của học sinh để xếp thi đua và xét lên lớp cho học sinh.

Công việc này rất mất thời gian, thiếu khách quan, thiếu chính xác.

 Giải pháp:

Cần có một hệ thống điểm danh tự động, mỗi phòng lắp một thiết bị điểm

danh tại mỗi cửa phòng hoc. Giáo vụ, Ban giám hiệu có thể theo dõi kết quả điểm

10

danh học sinh vào bất kể thời gian nào trong buổi học. Cuối tháng, cuối kỳ tổng hợp

và gửi danh sách cho giáo viên chủ nhiệm.

1.4. Kết luận chương

Trong chương 1, luận văn đã trình bày khái quát về xử lý ảnh và đặc biệt đã

trình bày tương đối chi tiết về nhận dạng khuôn mặt ứng dụng cho bài toán của luận

văn “Điểm danh tự động học sinh”. Trong chương tiếp theo, luận văn sẽ trình

bày sơ lược về Học máy và hướng người đọc đến phần quan trọng là Học sâu.