Luận văn Hệ thống điểm danh tự động học sinh Trung học phổ thông qua camera trong lớp học

BỘ GIÁO DỤC VÀ ĐÀO TẠO  
TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH  
Nguyễn Thị Sen  
HỆ THỐNG ĐIỂM DANH TỰ ĐỘNG  
HỌC SINH TRUNG HỌC PHỔ THÔNG  
QUA CAMERA TRONG LỚP HỌC  
LUẬN VĂN THẠC SĨ MÁY TÍNH  
Thành phố Hồ Chí Minh - 2018  
BỘ GIÁO DỤC VÀ ĐÀO TẠO  
TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH  
Nguyễn Thị Sen  
HỆ THỐNG ĐIỂM DANH TỰ ĐỘNG  
HỌC SINH TRUNG HỌC PHỔ THÔNG  
QUA CAMERA TRONG LỚP HỌC  
Chuyên ngành : Khoa học máy tính  
Mã số  
: 8480101  
LUẬN VĂN THẠC SĨ MÁY TÍNH  
NGƯỜI HƯỚNG DẪN KHOA HỌC:  
PGS.TS. PHẠM THẾ BẢO  
Thành phố Hồ Chí Minh - 2018  
LỜI CAM ĐOAN  
Tôi xin cam đoan đây là công trình nghiên cứu của bản thân tôi dưới sự  
hướng dẫn khoa học của PGS.TS. Phạm Thế Bảo. Các thông tin và số liệu của  
luận văn có nguồn gốc rõ ràng, cụ thể, các trích dẫn theo đúng quy định.  
Kết quả nghiên cứu của luận văn hoàn toàn trung thực, khách quan và  
chưa từng được sử dụng hay công bố trong bất kỳ công trình nghiên cứu nào  
khác.  
Thành phố Hồ Chí Minh tháng 9 năm 2018  
Học viên  
Nguyễn Thị Sen  
LỜI CẢM ƠN  
Lời đầu tiên, tôi xin bày tỏ lòng biết ơn chân thành và sâu sắc nhất đến  
Thầy PGS.TS. Phạm Thế Bảo - giảng viên hướng dẫn luận văn. Trong quá trình  
tìm hiểu và nghiên cứu đề tài, tôi đã gặp rất nhiều khó khăn nhưng nhờ Thầy  
luôn động viên, hết lòng hướng dẫn và giúp đỡ nên tôi đã hoàn thành luận văn  
này.  
Tôi cũng xin gửi lời cảm ơn chân thành đến quý Thầy/Cô – Trường Đại  
học Sư phạm Thành phố Hồ Chí Minh đã tận tâm dạy dỗ và truyền đạt những  
kiến thức quý báu trong quá trình học tập. Đồng thời, tôi cũng xin cảm ơn  
thầy/cô Khoa Công nghệ Thông tin và Phòng Sau Đại học đã hỗ trợ và tạo điều  
kiện cho tôi trong thời gian qua.  
Cuối cùng, tôi xin bày tỏ lòng biết ơn đến gia đình, trường THPT Vũng  
Tàu – nơi tôi đang công tác, đã luôn động viên và giúp đỡ tôi trong suốt quá  
trình học tập cũng như thực hiện luận văn.  
Thành phố Hồ Chí Minh tháng 9 năm 2018  
Học viên thực hiện  
Nguyễn Thị Sen  
MỤC LỤC  
Trang  
Trang phụ bìa  
Lời cam đoan  
Lời cảm ơn  
Mục lục  
Danh mục thuật ngữ và viết tắt  
Danh mục các bảng  
Danh mục hình vẽ, biểu đồ  
DANH MỤC THUẬT NGỮ VÀ VIẾT TẮT  
Trung học phổ thông  
THPT  
TP  
Thành Phố  
CNN  
Convolution Neural Network  
You Only Look Once  
YOLO  
YOLO v1  
YOLO v2  
YOLO v3  
EFK  
You Only Look Once version 1  
You Only Look Once version 2  
You Only Look Once version 3  
Extended Kalman Filter  
UKF  
Unscented Kalman Filter  
DL  
Deep Learning  
ANN  
Artificial Neural Network  
DBN  
Deep Belief Network  
CNN  
Convolutional Neural Network  
Recurrent Neural Network  
Regions with Convolutional Neural Network  
Rectified Linear Unit  
RNN  
R-CNN  
RELU  
IOU  
Intersection Over Union  
DCF  
Discriminatively Correlation Filters  
Spatially Regularized Discriminatively Correlation Filters  
Kernelized Correlation Filter  
Tracking-Learning-Detection  
Minimum Output Sum of Squared Error  
Histogram of Oriented Gradients  
Discrete Fourier Transform  
Red, Green and Blue  
SRDCF  
KCF  
TLD  
MOSSE  
HOG  
DFT  
RGB  
DANH MỤC HÌNH VẼ, BIỂU ĐỒ  
1
Chương 1. GIỚI THIỆU  
Chương 1 luận văn sẽ trình bày tổng quan bài toán “Hệ thống điểm  
danh tự động học sinh THPT qua camera trong lớp học”.  
1.1. Đặt vấn đề  
Ngày nay công nghệ thông tin phát triển không ngừng, điều này đồng  
nghĩa với sự phát triển song hành các thiết bị phần cứng lẫn phần mềm đáp ứng  
nhu cầu con người ngày càng cao và phức tạp. Trong đó phải kể đến sự phát  
triển của các thiết bị thu nhận hình ảnh từ thế giới thực, chẳng hạn như các hệ  
thống giám sát bằng camera và hệ thống giám sát này xuất hiện khắp nơi: nhà  
riêng, đường phố, siêu thị, cửa hàng, cơ quan, trường học,… [1]-[3].  
Thông qua thiết bị thu nhận hình ảnh này nhu cầu khai thác của con người  
ở mỗi lĩnh vực khác nhau sẽ có nhu cầu khác nhau, có rất nhiều bài toán được  
đặt ra đòi hỏi phải xử lí các hình ảnh thu nhận được từ hệ thống giám sát [3].  
Chẳng hạn như: Các hệ thống giám sát của một ngân hàng nhằm phát hiện các  
hành vi khả nghi của tội phạm; Hệ thống giám sát ngoài đường phố nhằm phát  
hiện tội phạm, những người vi phạm luật giao thông; Hệ thống giám sát tại siêu  
thị, cửa hàng để chống trộm cắp,… Mỗi bài toán sẽ cần những thuật toán –  
phương pháp xử lý khác nhau để đạt hiệu quả tốt cho từng môi trường khác  
nhau.  
Hiện nay tại các trường học đã và đang sử dụng hệ thống giám sát thông  
qua camera gắn cố định trong phòng học nhằm quản lí nền nếp và hỗ trợ điểm  
danh cả học sinh lẫn giáo viên trong quá trình diễn ra tiết học tránh tình trạng  
học sinh trốn tiết học. Cụ thể, tôi đã khảo sát một số trường THPT tại Thành  
phố Vũng Tàu có sử dụng camera giám sát trong lớp học cũng với mục đích  
tương tự.  
   
2
Sau khi các trường đầu tư một khoản kinh phí rất lớn để trang bị các thiết  
bị cần thiết thì việc quản lí và khai thác các thiết bị cũng gặp rất nhiều khó  
khăn. Nhân viên hoặc giáo viên được phân công trong nhiệm vụ trực giám sát  
camera phải thường xuyên thay đổi kích thước hiển thị màn hình để kiểm tra sĩ  
số học sinh khi bắt đầu mỗi tiết học và trực cả buổi học để làm công việc này,  
một công việc đòi hỏi mất rất nhiều thời gian và kinh phí lẫn sức khỏe.  
Hiện nay, trên thị trường có nhiều loại thiết bị hỗ trợ điểm danh như: quét  
vân tay, hay quẹt thẻ từ … [4] , [5]. Tuy nhiên, các giải pháp trên rất khó để  
ứng dụng trong trường học; đặc biệt là ở trường THPT với đặc thù của học sinh  
chưa tự giác (quẹt thẻ giùm), tạo ùn tắc (khi quét vân tay) hay dễ hư hỏng.  
Từ bài toán thực tế của các trường THPT thành phố Vũng Tàu tôi nghiên  
cứu “Hệ thống điểm danh tự động học sinh THPT qua camera trong lớp học”  
để có thể áp dụng mang lại hiệu quả cao với trang thiết bị đã có sẵn của các  
trường.  
1.2. Mục tiêu của luận văn  
+ Nghiên cứu mạng Nơ-ron tích chập (Convolution Neural Network -  
CNN), mà cụ thể là YOLO v2 (You Only Look Once - YOLO) ứng dụng trong  
bài toán.  
+ Nghiên cứu bài toán theo vết đối tượng.  
+ Xây dựng các thuật giải với dữ liệu tại một trường THPT.  
1.3. Nội dung thực hiện  
Để có thể giải quyết được bài toán điểm danh học sinh trong trường THPT  
thông qua camera được lắp đặt tại lớp, chúng tôi cần giải quyết các bài toán:  
Xác định đầu học sinh trong các frame ảnh, để xác định đối tượng  
người – mà cụ thể là học sinh trong lớp thì có nhiều phương pháp như: xác định  
người, xác định khuôn mặt, … Nhưng vì camera được lắp đặt trong phòng học  
thường cao hơn đầu của học sinh nhiều nên việc xác định khuôn mặt sẽ rất khó,  
   
3
không những vậy việc xác định người bằng các phương pháp cũng rất khó. Từ  
đây chúng tôi đề xuất xác định vị trí trong ảnh có vùng đầu của học sinh để làm  
tiền đề cho bài toán điểm danh.  
Trong quá trình dữ liệu lấy từ camera sẽ có những học sinh luôn  
di chuyển vì thế chúng tôi sẽ bắt đầu xác định vị trí đầu của học sinh khi giáo  
viên bắt đầu vào lớp và học sinh đứng lên chào giáo viên. Trong khoảng thời  
gian này vẫn sẽ có những học sinh chuyển động đầu và thân thể; nhưng không  
đáng kể; và vì có chuyển động nên có thể đường biên đầu học sinh này chồng  
lắp đầu học sinh khác. Để giả quyết vấn đề này chúng tôi sẽ xác định vị trí đầu  
học sinh trong nhiều frame của một đoạn video dữ liệu từ camera rồi tổng hợp  
để có kết quả tốt nhất về vị trí đầu của học sinh trong lớp học.  
Vì học sinh có thể di chuyển đầu trong quá trình xác định đầu nên  
chúng tôi cần tìm được tâm vùng đầu của từng học sinh trong lớp ở video, nếu  
chúng ta xác định đầu trong tất cả các frame của video thì sẽ mất nhiều thời  
gian nên rất khó để áp dụng vào thực tế, nên chúng tôi sẽ đề xuất dùng phương  
pháp theo vết chuyển động của đối tượng đầu học sinh để tìm được các vùng  
tâm của từng học sinh.  
Từ dữ liệu này, chúng tôi sẽ tìm vị trí trung bình của vùng đầu  
từng học sinh của lớp học. Sau đó chúng tôi sẽ chiếu vị trí trung bình này xuống  
sơ đồ lớp học để có thể điểm danh tất cả học sinh của lớp.  
1.4. Những khó khăn thách thức  
Trong quá trình khảo sát và thu thập dữ liệu tại một số trường THPT tại  
TP Vũng Tàu tôi nhận thấy có những khó khăn thách thức:  
Chất lượng hình ảnh phụ thuộc cơ sở vật chất của trường vì phụ  
thuộc vào kinh phí và thời điểm lắp đặt camera.  
 
4
Các yếu tố ảnh hưởng đến chất lượng video: ánh sáng, thời tiết…  
gây nhiễu làm hình ảnh không rõ nét. Các thành phần khác trong phòng học  
làm che khuất các đối tượng muốn theo dõi như quạt, rèm cửa,…  
Vị trí đặt camera giám sát cũng ảnh hưởng một phần không nhỏ  
đến dữ liệu muốn thu thập.  
1.5. Các hướng tiếp cận  
Để giải quyết bài toán điểm danh học sinh trong lớp học thông qua camera  
được lắp đặt trong lớp học, chúng ta cần giải quyết từng bài toán đó là: phát  
hiện đầu, theo vết chuyển động đầu, tìm vị trí trung bình đầu, chiếu vị trí trung  
bình vào sơ đồ lớp học.  
a. Phát hiện chuyển động của đối tượng đầu học sinh trong lớp học  
Phát hiện đối tượng đầu học sinh trong lớp học là bài toán xác định đối  
tượng trong video và cần xác minh sự hiện diện của các đối tượng trong chuỗi  
ảnh và cũng có thể định vị chính xác. Các hệ thống theo dõi đối tượng thường  
bắt đầu bằng quá trình phát hiện đối tượng, ngoài ra phát hiện đối tượng được  
lặp lại trong chuỗi ảnh sẽ cần thiết cho việc hỗ trợ và xác minh cho quá trình  
theo vết đối tượng.  
Một số cách tiếp cận phát hiện đối tượng:  
Phát hiện đối tượng dựa trên đặc trưng  
Tùy vào đặc trưng được chọn, ta có các cách tiếp cận khác nhau như: dựa  
trên hình dáng, dựa trên màu sắc [6], [7]. Trong đó, cách tiếp cận dựa trên màu  
sắc được xem là thông dụng nhất vì đặc trưng màu sắc thì dễ dàng lấy được và  
chi phí tính toán thấp.  
 
5
Phát hiện đối tượng dựa trên mẫu  
Nếu như có một mẫu mô tả đối tượng, thì việc phát hiện đối tượng trở  
thành quá trình so khớp các đặc trưng giữa mẫu và chuỗi ảnh dưới sự phân tích,  
xác định xem mẫu có xuất hiện trong hình hay không, nếu có khoanh vùng khu  
vực tương ứng. Có hai kiểu so khớp mẫu, so khớp mẫu cố định và so khớp mẫu  
biến dạng [8].  
Phát hiện đối tượng với việc so khớp chính xác thường tốn nhiều chi phí  
và chất lượng so khớp phụ thuộc vào chi tiết và mức độ chính xác của mẫu đối  
tượng.  
Phát hiện đối tượng chuyển động  
Phát hiện đối tượng chuyển động từ hệ thống giám sát được quan tâm rất  
nhiều bởi hầu hết các hệ thống này giám sát thông qua video và được ứng dụng  
trong rất nhiều lĩnh vực, có rất nhiều kỹ thuật phát hiện chuyển động của đối  
tượng được sử dụng.  
Đối với vấn đề phát hiện đối tượng chuyển động có thể dùng biện pháp  
trừ nền. Bước đầu xây dựng mô hình nền, mô hình nền này có thể được học qua  
nhiều frame ảnh nếu nền bị thay đổi, ngược lại ta có thể chọn một nền có sẵn  
nếu nền không bị thay đổi. Sau đó, ta sẽ dùng mô hình nền này để so sánh với  
frame ảnh hiện tại và kết quả là ta sẽ nhận biết được đâu là vùng phần nền, đâu  
là các phần chuyển động.  
Ngoài ra, cũng có nhiều kỹ thuật tiếp cận để phát hiện chuyển động trong  
hình ảnh video liên tục. Có thể so sánh khung hình hiện tại với hình nền chúng  
ta chụp từ ban đầu khi bật camera hoặc từ khung hình trước. Đối với kỹ thuật  
trừ nền thì giảm được việc xử lý. Tuy nhiên, cách tiếp cận có một bất lợi lớn,  
ví dụ nếu có một đối tượng đang di chuyển ở frame đầu tiên nhưng sau đó nó  
đã biến mất. Với kỹ thuật Yolo v2 thì xử lý phức tạp hơn, xử lý nhiều hơn  
nhưng lại thích nghi với mọi môi trường, kể cả môi trường ít thay đổi hoặc thay  
đổi nhiều. Nhược điểm là nếu đối tượng có kích thước nhỏ, bị che khuất thì hệ  
6
thống không phát hiện ra nhưng đối với bài toán cụ thể vẫn đáp ứng được vì ở  
đây đối tượng là học sinh trong lớp học nên có vị trí ngồi với khoảng cách cố  
định ít thay đổi. Chính vì vậy, đề xuất giải pháp sử dụng Yolo v2 để phát hiện  
đối tượng đầu học sinh.  
b. Theo vết đối tượng đầu học sinh trong lớp.  
Với bài toán cụ thể, phát hiện và theo dõi đối tượng học sinh trong thời  
gian thực (real-time object tracking) cũng là vấn đề mà lĩnh vực thị giác máy  
tính (computer vision) rất quan tâm trong thời gian qua. Mức độ khó khăn của  
vấn đề này phụ thuộc nhiều vào đối tượng được phát hiện và theo vết như thế  
nào. Hiện nay, có rất nhiều phương pháp theo vết chuyển động, cụ thể như:  
So khớp mẫu  
So khớp mẫu là phương pháp nhằm phân loại đối tượng dựa vào mức độ  
tương tự giữa những đối tượng xem xét với mẫu cho trước. Trong trường hợp  
được ứng dụng để giải quyết yêu cầu rất cụ thể như cho trước một mẫu và một  
hình bất kì đa mức xám lớn hơn mẫu, xác định xem đối tượng mẫu có xuất hiện  
trong hình hay không, nếu có thì khoanh vùng khu vực tương ứng đó, nếu không  
thì báo là không tồn tại đối tượng.  
Ưu điểm của phương pháp này là không chịu ảnh hưởng bởi nhiễu và hiệu  
ứng chiếu sáng, có thể theo vết chuyển động được các đối tượng biến dạng  
nhưng độ phức tạp tính toán cao, chất lượng so khớp phụ thuộc vào chi tiết và  
độ chính xác của mẫu đối tượng.  
Mean shift  
Dorin Comaniciu [9] đã giới thiệu phương pháp theo vết Mean shift. Đây  
là một phương pháp theo vết tối ưu hóa tối thiểu cục bộ. Mean shift là một  
phương pháp đơn giản và hiệu quả cho theo vết thời gian thực, thích hợp các  
video có đối tượng thay đổi do máy quay chuyển động, có ảnh nền lộn xộn  
nhưng nó chỉ tối ưu hoá cục bộ chứ không toàn cục. Khi màu nền và màu đối  
tượng giống nhau, phương pháp này sẽ không thể theo vết đối tượng được.  
7
Lọc Kalman  
Lọc Kalman đã được biết như là một phương pháp cổ điển, nổi tiếng được  
phát minh từ năm 1960 bởi R.E.Kalman. Nó là một thuật toán theo vết tối ưu  
nhất trong trường hợp hệ là tuyến tính và nhiễu có phân phối Gauss với nguyên  
lý “dự đoán – hiệu chỉnh” [10] sử dụng thuật toán hồi quy để ước lượng biến  
trạng thái của hệ thống. Nhưng trong thực tế không phải luôn đảm bảo các yêu  
cầu ràng buộc của bộ lọc Kalman mà nó hoàn toàn có thể được biểu diễn bởi  
các phương trình phi tuyến, đồng thời nhiễu là phi Gauss. Để giải quyết vấn đề  
này nhiều phương pháp được đưa ra nhằm cải tiến bộ lọc Kalman truyền thống  
như: EKF (Extended Kalman Filter), UKF (Unscented Kalman Filter)... Mục  
đích của các bộ lọc này nhằm tuyến tính hóa các hệ thống phi tuyến bằng  
phương pháp khai triển Taylor các hàm phi tuyến thành chuỗi các hàm số sơ  
cấp tuyến tính. Các giải pháp này thường gặp phải các nhược điểm như khối  
lượng tính toán đòi hỏi quá lớn với các hệ thống phức tạp và nhiễu đo đạc bị  
phân cực lớn.  
Lọc tương quan  
Ma et al. [11] đề xuất các bộ lọc mức độ tương quan trên mỗi lớp tích chập  
và suy luận phân cấp đáp ứng tối đa trên mỗi lớp để xác định vị trí mục tiêu. Ý  
tưởng chính của thuật toán lọc tương quan sẽ học một bộ lọc trong suốt quá  
trình theo dõi, sao cho bộ lọc khi tích chập với ảnh bao biên đối tượng thì kết  
quả sẽ có thông tin tập trung xung quanh tâm của đối tượng.  
Mỗi phương pháp có điểm mạnh và điểm yếu riêng, tuy nhiên phương  
pháp lọc tương quan có thể khắc phục được những nhược điểm của các phương  
pháp khác như: theo vết các đối tượng tốt trong trường hợp phi tuyến và không  
phải nhiễu Gauss.  
8
1.6. Hướng giải quyết  
Từ các nhận xét trên chúng tôi đề xuất phương pháp giải quyết cho từng  
bài toán:  
(a) Bài toán 1 – xác định vùng đầu học sinh, chúng tôi sử dụng mô  
hình học chuyên sâu (Deep Learning – DL) để huấn luyện và xác định các vùng  
trong ảnh là đầu của học sinh vì DL cho phép “thấy” được nhiều chi tiết nhỏ  
qua quá trình học rất hiệu quả.  
(b) Bài toán 2 – theo vết chuyển động các vùng đầu học sinh, vì vùng  
đầu học sinh (người Việt Nam) có màu đồng nhất (học sinh phổ thông không  
được nhuộm tóc khi đi học – theo nội quy) nên phương pháp theo vết chuyển  
động theo bộ lọc tương quan (trong xác suất thống kê) sẽ có ưu thế hơn so với  
các phương pháp khác.  
(c) Bài toán 3 – tìm vị trí trung bình tâm các vùng đầu, chúng tôi dùng  
phương pháp tính tâm trung bình để tìm tâm của các vị trí đầu của một học sinh.  
(d) Bài toán 4 – điểm danh học sinh theo sơ đồ, chúng tôi dùng  
phương pháp chiếu với độ đo Euclide được dùng để điểm danh học sinh theo  
sơ đồ lớp.  
1.7. Bố cục luận văn  
Bố cục luận văn được chia thành 4 chương:  
Chương 1 trình bày một số vấn đề từ thực tế làm phát sinh vấn đề cần  
nghiên cứu. Trong đó cũng sẽ giới thiệu những mục tiêu, nội dung nghiên cứu,  
các giải pháp giải quyết vấn đề, những khó khăn thách thức khi giải quyết bài  
toán và cuối cùng là bố cục trình bày của luận văn.  
Chương 2 trình bày những vấn đề lý thuyết nghiên cứu trong đề tài: mạng  
nơ-ron nhân tạo, mạng nơ-ron tích chập, lọc theo mức độ tương quan.  
Chương 3 trình bày thuật giải sử dụng để giải quyết từng bài toán.  
   
9
Chương 4 trình bày kết quả nghiên cứu và hướng phát triển của đề tài  
trong tương lai.  
Tải về để xem bản đầy đủ
pdf 77 trang yennguyen 18040 Free
Bạn đang xem 20 trang mẫu của tài liệu "Luận văn Hệ thống điểm danh tự động học sinh Trung học phổ thông qua camera trong lớp học", để tải tài liệu gốc về máy hãy click vào nút Download ở trên

File đính kèm:

  • pdfluan_van_he_thong_diem_danh_tu_dong_hoc_sinh_trung_hoc_pho_t.pdf