Luận văn Nhận dạng và phân loại hoa quả trong ảnh màu

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN ĐẮC THÀNH

NHẬN DẠNG VÀ PHÂN LOẠI HOA QUẢ TRONG ẢNH MÀU

LUẬN VĂN THẠC SĨ KỸ THUẬT PHẦN MỀM

Hà Nội – 2017

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN ĐẮC THÀNH

NHẬN DẠNG VÀ PHÂN LOẠI HOA QUẢ TRONG ẢNH MÀU

Ngành: Công nghệ thông tin

Chuyên ngành: Kỹ thuật phần mềm

Mã số: 60480103

LUẬN VĂN THẠC SĨ KỸ THUẬT PHẦN MỀM

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS. TS. LÊ THANH HÀ

NGƯỜI ĐỒNG HƯỚNG DẪN KHOA HỌC: TS. TRẦN QUỐC LONG

Hà Nội – 2017

1

Lời cam đoan

Tôi xin cam đoan đây là công trình nghiên cứu khoa học của riêng tôi và được sự

hướng dẫn khoa học của PGS. TS. Lê Thanh Hà và TS. Trần Quốc Long. Các nội dung

nghiên cứu, kết quả trong đề tài này là trung thực và chưa công bố dưới bất kỳ hình thức

nào trước đây. Những số liệu trong các bảng biểu phục vụ cho việc phân tích, nhận xét,

đánh giá được chính tác giả thu thập từ các nguồn khác nhau có ghi rõ trong phần tài

liệu tham khảo.

Ngoài ra, trong luận văn còn sử dụng một số nhận xét, đánh giá cũng như số liệu

của các tác giả khác, cơ quan tổ chức khác đều có trích dẫn và chú thích nguồn gốc. Nếu

phát hiện có bất kỳ sự gian lận nào tôi xin hoàn toàn chịu trách nhiệm về nội dung luận

văn của mình.

Học viên Cao học

Nguyễn Đắc Thành

2

Lời cảm ơn

Trước tiên, tôi xin bày tỏ sự biết ơn chân thành và sâu sắc nhất tới PGS. TS. Lê

Thanh Hà – Giáo viên hướng dẫn trực tiếp và TS. Trần Quốc Long – Giáo viên đồng

hướng dẫn của tôi, những người đã hết lòng hỗ trợ và giúp đỡ tôi trong quá trình nghiên

cứu và hoàn thiện luận văn thạc sĩ của mình. Đồng thời tôi cũng gửi lời cám ơn chân

thành đến Trần Tuấn Linh, thành viên nhóm đề tài, đã hỗ trợ tôi rất nhiều trong thời gian

xây dựng cơ sở dữ liệu cũng như phát triển và cài đặt giải pháp cho bài toán trong luận

văn này.

Tôi cũng xin gửi lời cảm ơn chân thành tới các thầy, các cô là giảng viên của

trường Đại học Công nghệ đã tận tình dạy dỗ và hướng dẫn cho tôi trong suốt quá trình

học tập thạc sĩ tại trường.

Và tôi cũng xin gửi lời cảm ơn tới bố mẹ và những người thân trong gia đình vì đã

nuôi nấng, dạy dỗ, chăm lo cho tôi, động viên tôi hoàn thành thật tốt khóa học thạc sĩ này.

Mặc dù đã hết sức cố gắng hoàn thành luận văn nhưng chắc chắn sẽ không tránh

khỏi những sai sót. Kính mong nhận được sự cảm thông, chỉ bảo tận tình của các quý

thầy cô và các bạn.

Tôi xin chân thành cảm ơn!

3

Mục lục

L ời cam đoan ..................................................................................................................1

L ờ i c ảm ơn ......................................................................................................................2

Danh m ụ c hình v ẽ ..........................................................................................................5

Danh m ụ c b ả ng bi ể u......................................................................................................6

Danh m ụ c t ừ vi ế t t ắ t ......................................................................................................7

M Ở ĐẦ U.........................................................................................................................8

1. Tính c ấ p thi ế t c ủa đề tài lu ận văn ..........................................................................8

2. M ụ c tiêu c ủ a lu ận văn ...........................................................................................8

2.1. Cơ sở d ữ li ệ u ả nh hoa qu ả ..............................................................................8

2.2. B ộ hu ấ n luy ệ n nh ậ n d ạ ng hoa qu ả ..................................................................9

2.3. Ứ ng d ụ ng nh ậ n d ạ ng hoa qu ả .........................................................................9

3. C ấ u trúc c ủ a lu ận vă n ............................................................................................9

Chương 1. Gi ớ i thi ệ u t ổ ng qua n ............................................................................11

1.1. Bài toán nh ậ n d ạ ng và phân lo ạ i hoa qu ả ........................................................11

1.2. Các hướ ng ti ế p c ậ n và gi ả i quy ế t bài toá n .......................................................12

1.2.1. Phương pháp Họ c máy truy ề n th ố ng.........................................................13

1.2.2. Phương pháp Họ c sâu ...............................................................................15

Chương 2. M ạng nơ -ron tích ch ậ p ........................................................................19

2.1. Ki ế n trúc M ạ ng nơ -ron tích ch ậ p ........................................................................19

2.2. H ọ c chuy ể n giao và tinh ch ỉ nh mô hình hu ấ n luy ệ n...........................................22

2.3. M ạ ng hu ấ n luy ệ n AlexNet ..................................................................................25

2.3.1. Ki ế n trúc m ạ ng AlexNet ...........................................................................26

2.3.2. Ứ ng d ụ ng m ạ ng AlexNet vào bài toán Nh ậ n d ạ ng, phân lo ạ i hoa qu ả .....27

Chương 3. H ệ th ố ng ph ầ n m ề m nh ậ n d ạ ng hoa qu ả ...........................................29

3.1. T ổ ng quan h ệ th ố ng.............................................................................................29

3.2. Mô đun quản lý cơ sở d ữ li ệ u..............................................................................32

3.3. B ộ hu ấ n luy ệ n mô hình .......................................................................................33

3.3.1. Môi trườ ng hu ấ n luy ệ n..............................................................................37

3.3.2. C ấ u hình m ạ ng hu ấ n luy ệ n AlexNe t .........................................................38

3.3.3. M ộ t s ố hình ả nh v ề đặc trưng do mạ ng AlexNet tính toá n .......................39

3.4. Các mô đun phía Serve r ......................................................................................41

3.5. Ứ ng d ụ ng phía Clien t ..........................................................................................45

5

Danh mục hình vẽ

Hình 1.1: Các khó khăn trong bài toán nhậ n d ạ ng v ậ t th ể trong ả n h ............................12

Hình 1.2: S ự đa dạ ng v ề ch ủ ng lo ạ i c ủ a m ộ t lo ạ i hoa qu ả ............................................12

Hình 1.3: Các thông tin v ề hình h ọc đượ c tính toán b ở i các thu ậ t toán X ử lý ả n h .......13

Hình 1.4: Mô hình ho ạt độ ng chung c ủa các phương pháp Họ c máy [2] .....................14

Hình 1.5: M ố i quan h ệ c ủ a H ọ c sâu v ới các lĩnh vự c liên quan....................................16

Hình 1.6: M ức độ tr ừu tượng tăng dầ n qua các t ầ ng h ọ c c ủ a H ọ c sâu [11]..................16

Hình 1.7: B ứ c ả nh qu ả t ạ hai đầ u sinh ra b ở i mô hình d ự đoán Họ c sâ u ......................17

Hình 2.1: Ki ến trúc cơ bả n c ủ a m ộ t m ạ ng tích ch ậ p .....................................................19

Hình 2.2: Ví d ụ b ộ l ọ c tích ch ập đượ c s ử d ụ ng trên ma tr ận điể m ả nh ........................20

Hình 2.3: Trườ ng h ợ p thêm/không thêm vi ề n tr ắ ng vào ả nh khi tích ch ậ p ..................21

Hình 2.4: Phương thứ c Avarage Pooling và Max Pooling............................................22

Hình 2.5: K ế t qu ả th ự c nghi ệ m theo s ố lượ ng l ớ p m ạng CNN đượ c chuy ể n giao [16]24

Hình 2.6: K ế t qu ả hu ấ n luy ệ n sau khi tinh ch ỉ nh m ạ ng AlexNet [17 ]..........................25

Hình 2.7: Ki ế n trúc m ạ ng AlexNet [20]........................................................................26

Hình 2.8: Ki ế n trúc m ạ ng AlexNet ở d ạ ng ph ẳ ng.........................................................27

Hình 3.1: Ki ế n trúc Client-Server n t ầ ng.......................................................................30

Hình 3.2: Lu ồ ng ho ạt độ ng chính c ủ a h ệ th ố ng ............................................................32

Hình 3.3: Bi ểu đồ ca s ử d ụ ng c ủ a B ộ hu ấ n luy ệ n mô hìn h ...........................................34

Hình 3.4: Các framework H ọ c sâu n ổ i ti ế ng trên th ế gi ớ i.............................................37

Hình 3.5: Cách th ức framework Caffe định nghĩa mộ t l ớ p trong m ạ ng CN N ..............39

Hình 3.6: Các đặc trưng tiêu biể u c ủ a l ớ p tích ch ập đầ u tiên [25]................................40

Hình 3.7: K ế t qu ả ảnh đầ u ra qua các l ớ p tích ch ậ p......................................................41

Hình 3.8: Bi ểu đồ ca s ử d ụ ng c ủ a Server ......................................................................41

Hình 3.9: Bi ểu đồ ca s ử d ụ ng c ủ a Client.......................................................................46

Hình 4.1: M ộ t s ố ảnh đã lọ c n ề n trong b ộ CSDL 20 lo ạ i qu ả .......................................49

Hình 4.2: Ả nh hoa qu ả g ố c và các ả nh đượ c sinh t ự độ ng............................................52

Hình 4.3: K ế t qu ả nh ậ n d ạ ng t ố t v ớ i lo ạ i qu ả có đặc trưng riêng biệ t ..........................53

Hình 4.4: K ế t qu ả nh ậ n d ạng chưa tố t v ớ i lo ạ i qu ả không có đặc trưng riêng biệ t.......53

Hình 4.5: K ế t qu ả nh ậ n d ạ ng v ớ i lo ạ i qu ả không đượ c hu ấ n luy ệ n ..............................54

6

Danh mục bảng biểu

B ảng 4.1: So sánh sơ bộ k ế t qu ả hu ấ n luy ệ n c ủa 2 phương pháp .................................51

B ả ng 4.2: Ảnh hưở ng c ủ a b ộ ả nh sinh t ự độ ng v ớ i ch ất lượ ng mô hình nh ậ n d ạ ng.....52

7

Danh mục từ viết tắt

STT

Từ viết tắt

CSDL

CNN

Ý nghĩa

1

2

3

4

Cơ sở dữ liệu

Convolutional Neural Network – Mạng nơ ron tích chập

Rectified Linear Unit – Tinh chỉnh đơn vị tuyến tính

Graphics Processing Unit – Bộ vi xử lý đồ họa

ReLU

GPU

8

MỞ ĐẦU

1.

Tính cấp thiết của đề tài luận văn

Hiện nay, ở nước ta nói riêng và ở các nước đang phát triển có nền nông nghiệp

là một trong các ngành sản xuất chủ yếu, quá trình thu hoạch, phân loại và đánh giá chất

lượng các loại sản phẩm nông nghiệp, đặc biệt là các loại hoa quả, chủ yếu còn phải

thực hiện bằng các phương pháp thủ công. Đây là công việc không quá khó, nhưng tiêu

tốn nhiều thời gian, công sức của con người và là rào cản đối với mở rộng phát triển quy

mô sản xuất nông nghiệp. Do đó, nhiều phương pháp tự động hóa công việc thu hoạch,

nhận dạng và đánh giá chất lượng hoa quả đã được nghiên cứu và đưa vào ứng dụng

thực tế, trong đó sử dụng chủ yếu các phương pháp Xử lý ảnh đơn thuần. Tuy nhiên, các

phương pháp này vẫn chưa thực sự thỏa mãn yêu cầu về khả năng nhận dạng một số

lượng lớn các loại hoa quả với độ chính xác cao do bị hạn chế bởi các đặc trưng của bài

toán nhận dạng hoa quả: số lượng chủng loại lớn với nhiều loại hoa quả hết sức tương

tự nhau, sự biến thiên về hình dạng, màu sắc, chi tiết trong từng loại quả cũng rất khó

dự đoán trước…

Trong thời gian gần đây, nhờ có sự phát triển mạnh mẽ về khả năng tính toán của

các thế hệ máy tính hiện đại cũng như sự bùng nổ về dữ liệu thông qua mạng lưới Internet

trải rộng, ta đã chứng kiến nhiều sự đột phá trong lĩnh vực Học máy, đặc biệt là trong

lĩnh vực Thị giác máy tính. Sự quay lại và phát triển vượt bậc của các phương pháp Học

sâu đã giúp Thị giác máy tính đạt được những thành tựu đáng kể trong lĩnh vực Nhận

dạng ảnh, trong đó có bài toán nhận dạng hoa quả. Đề tài nghiên cứu “Nhận dạng và

phần loại hoa quả trong ảnh màu” đã được đưa ra với hy vọng có thể ứng dụng thành

công các mô hình học sâu hiện đại để xây dựng một hệ thống nhận dạng hoa quả tự

động, đặc biệt là đối với các loại hoa quả phổ biến tại nước ta.

2.

Mục tiêu của luận văn

Do thời gian hạn chế trong thời gian thực hiện nghiên cứu, luận văn trước hết tập

trung nghiên cứu, tìm hiểu và so sánh các phương pháp Học máy truyền thống với

phương pháp Học sâu, đồng thời thực hiện cài đặt một mô hình huấn luyện về nhận dạng

ảnh trong Học sâu với số lượng hoa quả được hạn chế, và sử dụng chúng làm bộ nhận

dạng cơ sở cho ứng dụng hỗ trợ nhận dạng hoa quả trên điện thoại thông minh.

2.1. Cơ sở dữ liệu ảnh hoa quả

Bộ cơ sở dữ liệu ảnh là một trong các thành phần quan trọng hàng đầu trong các

phương pháp Học máy nói chung, được sử dụng để phục vụ cho quá trình tính toán tham

số và huấn luyện, tinh chỉnh các mô hình. Thông thường, bộ dữ liệu càng lớn và càng

được chọn lọc tỉ mỉ cẩn thận thì độ chính xác của mô hình càng được cải thiện, nhưng

9

trong phạm vi luận văn này kích thước CSDL sẽ được hạn chế, cả về số lượng loại hoa

quả sẽ nhận dạng cũng như số lượng ảnh chụp cho mỗi loại hoa quả đó. Cụ thể:

- Số lượng hoa quả sẽ nhận dạng: 40 loại hoa quả phổ biến ở nước ta như nho,

táo, chuối, thanh long…

- Số lượng ảnh gốc cho mỗi loại quả: 500-1000 ảnh, bao gồm các ảnh chụp hoa

quả ở các góc độ khác nhau với nền tùy ý, có thể lấy từ nguồn trên mạng hoặc

tự chụp bằng thiết bị camera cá nhân.

Sau khi đã thu thập đủ số lượng ảnh gốc cho các loại hoa quả, ta sẽ sử dụng các

thuật toán chỉnh sửa ảnh, như làm nghiêng ảnh, chèn thêm nhiễu hoặc ghép ảnh với nền

khác, để tạo thêm ảnh mới nhằm tăng cường kích thước cơ sở dữ liệu.

2.2. Bộ huấn luyện nhận dạng hoa quả

Để đưa ra đánh giá tổng quát và so sánh độ chính xác tương đối giữa các phương

pháp Học máy truyền thống với phương pháp Học sâu, luận văn thực hiện cài đặt một

mạng huấn luyện nơ-ron nhân tạo truyền thống và một mạng huấn luyện nơ-ron tích

chập trong Học sâu, sau khi thực hiện huấn luyện trên cùng bộ cơ sở dữ liệu ảnh và so

sánh kết quả.

Đối với phương pháp Học máy truyền thống: nghiên cứu, tìm hiểu các phương

pháp đã được trình bày trong các bài báo, công trình khoa học và thống kê ra các đặc

trưng thường được sử dụng và cho kết quả huấn luyện tốt nhất. Các đặc trưng này thể

hiện thông tin của hoa quả về màu sắc, hình dạng và kết cấu, và được đưa vào bộ tính

toán, trích chọn đặc trưng của mạng nơ-ron nhân tạo.

Đối với mạng nơ-ron tích chập thuộc nhóm Học sâu: tìm hiểu và chọn một trong

các mô hình huấn luyện phổ biến trong lĩnh vực Nhận dạng ảnh trên thế giới để thực

hiện cài đặt và so sánh kết quả với bộ nhận dạng truyền thống.

2.3. Ứng dụng nhận dạng hoa quả

Một trong các mục tiêu của luận văn là xây dựng thành công một ứng dụng đơn

giản trên điện thoại thông minh nhằm hỗ trợ người dùng nhận dạng hoa quả. Nguyên

nhân chọn điện thoại thông minh làm nền tảng cho ứng dụng vì sự phổ biến cũng như

tính cơ động của thiết bị, điều này giúp cho ứng dụng dễ dàng được phổ biến hơn từ đó

hỗ trợ việc thu thập ảnh chụp cho cơ sở dữ liệu từ các cộng tác viên sử dụng ứng dụng.

Hệ thống nhận dạng hoa quả - Fruit Recognition System - ngoài ứng dụng client

trên điện thoại thông minh còn có một máy chủ server để thực hiện tất cả các bước huấn

luyện và nạp mô hình nhận dạng, các bước tính toán nhận dạng loại hoa quả dựa trên

ảnh chụp nhận được từ ứng dụng client. Việc đặt mọi tính toán xử lý trên máy chủ nhằm

mục đích quản lý tập trung, tăng hiệu năng tính toán cũng như đơn giản hóa ứng dụng

client trên điện thoại thông minh, giúp ứng dụng không bị hạn chế bởi các nền tảng, môi

trường khác nhau.

3.

Cấu trúc của luận văn

10

Dựa trên mục tiêu cụ thể đã trình bày trong phần trước, luận văn được tổ chức

thành năm chương với các nội dung cụ thể như sau:

Chương 1: Trong chương tổng quan này, ta sẽ có ra cái nhìn tổng quan về các

hướng tiếp cận và giải pháp đã được ứng dụng trong bài toán nhận dạng phân loại hoa

quả, từ các phương pháp thuần tính toán xử lý ảnh tương đối thô sơ cho tới các phương

pháp Học máy truyền thống và cuối cùng là các phương pháp Học sâu - một nhánh đặc

biệt trong Học máy.

Chương 2: Chương này sẽ đi sâu hơn vào một mạng huấn luyện trong Học sâu

thường được sử dụng trong lĩnh vực Nhận dạng ảnh - mạng nơ-ron tích chập, và tìm

hiểu chìa khóa giải quyết bài toán nhận dạng ảnh với bộ dữ liệu huấn luyện có kích

thước tương đối nhỏ.

Chương 3: Trong chương tiếp theo, ta sẽ đi vào phần mô tả tổng quan Hệ thống

nhận dạng hoa quả tự động, với các mô đun chính như máy chủ, máy trạm, bộ huấn

luyện và nhận dạng … Ngoài ra, cách thức thu thập, chỉnh sửa cơ sở dữ liệu ảnh và cách

cài đặt triển khai môi trường huấn luyện cho mô hình mạng nơ-ron tích chập đã chọn

trong chương 2 cũng sẽ được trình bày cụ thể tại đây.

Chương 4: Chương 4 tập trung trình bày về kết quả thực nghiệm, bao gồm kết

quả so sánh độ chính xác giữa các phương pháp Học máy truyền thống với phương pháp

Học sâu, cùng với các đánh giá về độ hiệu quả của bộ tạo dữ liệu ảnh nhiễu cũng như

các ảnh chụp thực tế khi được sử dụng trong thực tế. Dựa trên các kết quả thực nghiệm

này, ta sẽ đưa ra một số phân tích và kết luận về điểm mạnh và điểm hạn chế của mô

hình huấn luyện Học sâu đã chọn.

Chương 5: Cuối cùng, chương 5 sẽ tổng kết các nội dung đã trình bày trong luận

văn, từ đó đề xuất các phương hướng nghiên cứu tiếp theo để tiếp tục cải thiện chất

lượng nhận dạng của hệ thống.

11

Chương 1. Giới thiệu tổng quan

1.1. Bài toán nhận dạng và phân loại hoa quả

Nhận dạng vật thể trong ảnh được coi là bài toán cơ bản nhất trong lĩnh vực Thị

giác máy tính, là nền tảng cho rất nhiều bài toán mở rộng khác như bài toán phân lớp,

định vị, tách biệt vật thể.... Tuy bài toán cơ bản này đã tồn tại hàng thế kỷ nhưng con

người vẫn chưa thể giải quyết nó một cách triệt để, do tồn tại rất nhiều khó khăn để máy

tính có thể hiểu được các thông tin trong một bức ảnh. Trong đó, những khó khăn tiêu

biểu [3] phải kể đến:

- Sự đa dạng trong điểm nhìn – Viewpoint: Cùng một vật thể nhưng có thể có rất

nhiều vị trí và góc nhìn khác nhau, dẫn đến các hình ảnh thu được về vật thể đó sẽ không

giống nhau. Việc huấn luyện để máy tính có thể hiểu được điều này thực sự là một thách

thức khó khăn.

- Sự đa dạng trong kích thước: Các bức ảnh không có cách nào thể hiện trường

thông tin về kích thước của vật thể trong đời thực, và máy tính cũng chỉ có thể tính toán

được tỉ lệ tương đối của vật thể so với bức ảnh bằng cách đếm theo số lượng các điểm

ảnh vật thể đó chiếm trong ảnh.

- Các điều kiện khác nhau của chiếu sáng: Ánh sáng có ảnh hưởng mạnh mẽ đến

thông tin thể hiện trong một bức ảnh, đặc biệt là ở mức độ thấp như mức độ điểm ảnh.

- Sự ẩn giấu một phần của vật thể sau các đối tượng khác trong ảnh: Trong các

bức ảnh, vật thể không nhất định phải xuất hiện với đầy đủ hình dạng mà có thể bị che

lấp một phần nào đó bởi nền hoặc các vật thể xung quanh. Sự không đầy đủ về hình

dạng của vật thể sẽ dẫn đến việc thiếu thông tin, đặc trưng và càng làm bài toán nhận

dạng khó khăn hơn.

- Sự lộn xộn phức tạp của nền: Trong nhiều trường hợp, vật thể cần nhận dạng bị

lẫn gần như hoàn toàn vào nền của bức ảnh, sự lẫn lộn về màu sắc, họa tiết giữa vật thể

và nền khiến cho việc nhận dạng trở nên vô cùng khó khăn, kể cả với thị giác con người.

- Sự đa dạng về chủng loại vật thể: Vật thể cần nhận dạng có thể bao gồm nhiều

chủng loại khác nhau, với hình dạng, màu sắc, kết cấu vô cùng khác biệt. Đây chính là

một thách thức nữa với bài toán nhận dạng, đó là làm thế nào để các mô hình nhận dạng

của máy tính có thể nhận biết được các biến thể về chủng loại của vật thể, ví dụ các loại

ghế khác nhau, trong khi vẫn tách biệt được đâu là các vật thể khác loại, ví dụ phân biệt

bàn với ghế...

12

Hình 1.1: Các khó khăn trong bài toán nhận dạng vật thể trong ảnh

Là một trường hợp cụ thể của bài toán nhận dạng và phân lớp, bài toán nhận dạng

hoa quả kế thừa các khó khăn vốn có của bài toán gốc, và kèm theo là các khó khăn

riêng của chính nó, như: số lượng khổng lồ về chủng loại hoa quả theo mùa, vùng miền,

địa hình… với vô số loại hoa quả có hình dáng, màu sắc, kết cấu giống nhau, dải biến

thiên màu sắc theo chu kỳ phát triển của quả từ lúc còn xanh đến lúc chín, hay sự đa

dạng về hình dạng của cùng một loại quả do ảnh hưởng của thời tiết, điều kiện thổ

nhưỡng và chế độ dinh dưỡng…

Hình 1.2: Sự đa dạng về chủng loại của một loại hoa quả

1.2. Các hướng tiếp cận và giải quyết bài toán

Bài toán tự động nhận dạng hoa quả đã xuất hiện từ lâu và đã có rất nhiều bài

báo, công trình khoa học được đưa ra nhằm đề xuất hoặc cải tiến các thuật toán nhận

dạng. Trong đó, xuất hiện sớm nhất là các phương pháp Xử lý ảnh – Image Processing,

13

các phương pháp này tập trung vào phát triển các thuật toán nhằm trích xuất thông tin,

ví dụ các tham số về màu sắc, hình dạng, kết cấu, kích thước…, từ bức ảnh đầu vào để

nhận dạng hoa quả [4, 5]. Do chỉ đơn thuần xử lý trên một vài ảnh đầu vào trong khi sự

biến thiên về màu sắc, hình dạng, kích thước… của hoa quả quá phức tạp, kết quả đạt

được của các phương pháp này không được cao và phạm vi áp dụng trên số lượng loại

hoa quả cũng bị hạn chế.

Hình 1.3: Các thông tin về hình học được tính toán bởi các thuật toán Xử lý ảnh

Bắt đầu từ những năm 2000s, sau khi xuất hiện một bài bài báo khoa học đề xuất

áp dụng phương pháp Học máy - Machine Learning - vào bài toán nhận dạng hoa quả

với độ chính xác cao [6], hướng giải quyết bài toán đã tập trung vào ứng dụng và cải

tiến các thuật toán Học máy, cụ thể là nghiên cứu, thử nghiệm trích chọn các đặc trưng

phù hợp nhất để đưa vào huấn luyện bộ nhận dạng tự động [7-9]. Kết quả thu được tương

đối khả quan, khả năng nhận dạng hoa quả tự động đã được cải thiện với số lượng loại

hoa quả được mở rộng và độ chính xác của nhận dạng cao hơn nhiều so với các phương

pháp thuần Xử lý ảnh ban đầu. Nối tiếp sự phát triển của Học máy, trong những năm

gần đây, nhờ sự phát triển vượt bậc về sức mạnh tính toán của các máy tính cũng như

sự bùng nổ dữ liệu trên Internet, một nhánh đặc biệt trong Học máy là Học sâu - Deep

Learning đã đạt được nhiều thành tựu đáng kể, đặc biệt là trong lĩnh vực Xử lý ảnh và

ngôn ngữ tự nhiên. Học sâu cũng đã được áp dụng rất thành công vào bài toán nhận

dạng hoa quả, trong các thử nghiệm với phạm vi hạn chế về số lượng loại hoa quả cần

nhận dạng, phương pháp này đã đạt được kết quả rất cao. Sau đây ta sẽ tìm hiểu sâu hơn

về hai tiếp cận chính hiện nay để giải quyết bài toán nhận dạng hoa quả nói riêng và

nhận dạng vật thể trong ảnh nói chung: phương pháp Học sâu và các phương pháp Học

máy truyền thống không sử dụng Học sâu.

1.2.1. Phương pháp Học máy truyền thống

Mô hình hoạt động chung của các phương pháp Học máy truyền thống được thể

hiện trong Hình 1.4 dưới đây [2]:

14

Hình 1.4: Mô hình hoạt động chung của các phương pháp Học máy [2]

Từ hình ta có thể thấy Học máy gồm hai giai đoạn chính là Huấn luyện – Training

và Thử nghiệm – Testing, trong mỗi giai đoạn đều sử dụng hai thành phần quan trọng

nhất do người xử lý bài toán thiết kế, đó là Trích chọn đặc trưng – Feature Engineering

(hay còn gọi là Feature Extraction) và Thuật toán phân loại, nhận dạng… - Algorithms.

Hai thành phần này có ảnh hưởng trực tiếp đến kết quả bài toán, vì thế được thiết kế rất

cẩn thận, tốn nhiều thời gian, đòi hỏi người thiết kế phải có kiến thức chuyên môn và

nắm rõ đặc điểm của bài toán cần xử lý.

1.2.1.1. Trích chọn đặc trưng

Trong các bài toán thực tế, ta chỉ có được những dữ liệu thô chưa qua chọn lọc

xử lý, và để có thể đưa các dữ liệu này vào huấn luyện ta cần có những phép biến đổi để

biến các dữ liệu thô thành dữ liệu chuẩn, với khả năng biểu diễn dữ liệu tốt hơn. Các

phép biến đổi bao gồm loại bỏ dữ liệu nhiễu và tính toán để lưu lại các thông tin đặc

trưng, có ý nghĩa từ dữ liệu thô ban đầu. Các thông tin đặc trưng này là khác nhau với

từng loại dữ liệu và bài toán cụ thể, vì thế trong từng trường hợp phép biến đổi này cần

phải được tùy biến một cách thích hợp để cải thiện độ chính xác của mô hình dự đoán.

Quá trình này được gọi là Trích chọn đặc trưng – Feature Engineering, là một thành

phần rất quan trọng trong các phương pháp Học máy truyền thống.

15

-

Đầu vào: Toàn bộ thông tin của dữ liệu, không có quy chuẩn về dạng

thông tin (véc tơ, ma trận…) hay kích thước các chiều thông tin. Đồng thời, do chứa

toàn bộ thông tin, gồm cả thông tin nhiễu và không có giá trị nên kích thước lưu trữ

thường lớn và không có lợi cho tính toán sau này.

-

Đầu ra: Các thông tin hữu ích đã được tính toán, rút ra từ dữ liệu đầu vào,

trong đó không còn các thành phần nhiễu hay vô nghĩa. Kích thước dữ liệu đầu ra đã

được rút gọn rất nhiều so với kích thước dữ liệu đầu vào, giúp cho việc tính toán về sau

trở nên nhanh gọn, thuận tiện hơn rất nhiều.

-

Thông tin biết trước về dữ liệu: Đây là thành phần tùy chọn, không bắt

buộc với mọi bài toán, mà chỉ xuất hiện trong một số trường hợp cụ thể với những thông

tin rõ ràng về đặc trưng hữu ích với mô hình dự đoán. Các thông tin biết trước này giúp

người thiết kế có thể lựa chọn được những đặc trưng tốt nhất và các phương pháp tính

toán phù hợp nhất để ra được mô hình dự đoán với độ chính xác cao.

1.2.1.2. Thuật toán

Sau quá trình trích chọn đặc trưng ở bước trước, ta có được các đặc trưng, được

lưu trữ ở định dạng chuẩn về kiểu dữ liệu, kích thước dữ liệu…, và các thông tin đặc

trưng này có thể được sử dụng cùng với các thông tin biết trước về dữ liệu (nếu có) để

xây dựng ra các mô hình dự đoán phù hợp bằng các thuật toán khác nhau. Các thuật toán

trong Học máy thường được phân loại theo hai cách phổ biến là theo phương thức học

hoặc theo chức năng của thuật toán, ví dụ như:

- Phân nhóm theo phương thức học: Học giám sát và Học không giám sát

(Supervised và Unsupervised Learning)

- Phân nhóm theo chức năng: Các thuật toán hồi quy, phân loại, gom nhóm…

Một đặc điểm nổi bật của các phương pháp Học máy truyền thống là độ chính

xác của mô hình dự đoán phụ thuộc rất nhiều vào chất lượng các đặc trưng được lựa

chọn, các đặc trưng này càng phù hợp với bài toán đưa ra thì kết quả thu được càng tốt.

Đây là điểm mạnh, và cũng là điểm yếu của các phương pháp này, bởi việc trích chọn

đặc trưng chính là sự đóng góp của bản tay con người trong việc cải tiến các mô hình,

nó yêu cầu sự hiểu biết thấu đáo về bài toán cần giải quyết, các thuật toán sử dụng và

các thông số trong mô hình huấn luyện. Các đặc trưng được thiết kế riêng cho từng bài

toán khác biệt, do vậy hiếm khi chúng có thể được tái sử dụng với các bài toán mới mà

cần phải được cải thiện hay thay thế bởi các đặc trưng khác.

1.2.2. Phương pháp Học sâu

Học sâu là một nhánh đặc biệt của ngành Học máy, và bắt đầu trở nên phổ biến

trong thập kỷ gần đây do các nhà khoa học đã có thể tận dụng khả năng tính toán mạnh

mẽ của các máy tính hiện đại cũng như khối lượng dữ liệu khổng lồ (hình ảnh, âm thanh,

văn bản,…) trên Internet. Ta có thể thấy rõ mối quan hệ giữa Học sâu với Học máy cũng

như các lĩnh vực liên quan khác qua hình ảnh mô tả bên dưới (Hình 1.5) [10]:

16

Hình 1.5: Mối quan hệ của Học sâu với các lĩnh vực liên quan

Các mạng huấn luyện theo phương pháp Học sâu còn được gọi với cái tên khác

là mạng nơ-ron sâu (Deep Neural Network) do cách thức hoạt động của chúng. Về cơ

bản, các mạng này bao gồm rất nhiều lớp khác nhau, mỗi lớp sẽ phân tích dữ liệu đầu

vào theo các khía cạnh khác nhau và theo mức độ trừu tượng nâng cao dần (xem Hình

1.6).

Hình 1.6: Mức độ trừu tượng tăng dần qua các tầng học của Học sâu [11]

17

Cụ thể, với một mạng Học sâu cho nhận dạng ảnh, các lớp đầu tiên trong mạng

chỉ làm nhiệm vụ rất đơn giản là tìm kiếm các đường thẳng, đường cong, hoặc đốm màu

trong ảnh đầu vào. Các thông tin này sẽ được sử dụng làm đầu vào cho các lớp tiếp theo,

với nhiệm vụ khó hơn là từ các đường, các cạnh đó tìm ra các thành phần của vật thể

trong ảnh. Cuối cùng, các lớp cao nhất trong mạng huấn luyện sẽ nhận nhiệm vụ phát

hiện ra vật thể trong ảnh.

Với cách thức học thông tin từ ảnh lần lượt qua rất nhiều lớp, nhiều tầng khác

nhau như vậy, các phương pháp này có thể giúp cho máy tính hiểu được những dữ liệu

phức tạp bằng nhiều lớp thông tin đơn giản qua từng bước phân tích. Đó cũng là lý do

chúng được gọi là các phương pháp Học sâu.

Tuy có nhiều điểm ưu việt trong khả năng huấn luyện máy tính cho các bài toán

phức tạp, Học sâu vẫn còn rất nhiều giới hạn khiến nó chưa thể được áp dụng vào giải

quyết mọi vấn đề. Điểm hạn chế lớn nhất của phương pháp này là yêu cầu về kích thước

dữ liệu huấn luyện, mô hình huấn luyện Học sâu đòi hỏi phải có một lượng khổng lồ dữ

liệu đầu vào để có thể thực hiện việc học qua nhiều lớp với một số lượng lớn nơ-ron và

tham số. Đồng thời, việc tính toán trên quy mô dữ liệu và tham số lớn như vậy cũng yêu

cầu đến sức mạnh xử lý của các máy tính server cỡ lớn. Quy trình chọn lọc dữ liệu cũng

như huấn luyện mô hình đều tốn nhiều thời gian và công sức, dẫn đến việc thử nghiệm

các tham số mới cho mô hình là công việc xa xỉ, khó thực hiện. Tuy nhiên, nhờ các

phương pháp Học tập chuyển giao, hiện nay điểm hạn chế lớn nhất này đã không còn là

vấn đề quá nghiêm trọng như trước – điều này sẽ được trình bày cụ thể trong các chương

sau.

Ngoài hạn chế về kích thước dữ liệu đầu vào, Học sâu còn chưa đủ thông minh

để nhận biết và hiểu được các logic phức tạp như con người, các tác vụ do chúng thực

hiện vẫn tương đối máy móc và cần cải thiện để “thông minh” hơn nữa. Trong ví dụ

Hình 1.7, ta có thể nhận thấy sự vô lý trong bức ảnh về quả tạ hai đầu mà mạng Học sâu

tạo ra sau khi được huấn luyện với hàng loạt ảnh mẫu. Bức ảnh có chứa các phần ảnh

về cánh tay con người, là thành phần không phải thuộc về quả tạ. Việc hình ảnh cánh

tay xuất hiện trong phần lớn các ảnh mẫu đã dẫn đến sự nhầm lẫn của mô hình dự đoán

này.

Hình 1.7: Bức ảnh quả tạ hai đầu sinh ra bởi mô hình dự đoán Học sâu

18

Như đã trình bày trong phần mở đầu, mục đích của luận văn là tìm hiểu và ứng

dụng một mô hình Học sâu vào bài toán nhận dạng, phân loại hoa quả, nguyên nhân

chính khiến Học sâu được chọn làm giải pháp là bởi khả năng mạnh mẽ vượt trội của

nó đối với các phương pháp Học máy truyền thống khi áp dụng vào các bài toán nhận

dạng vật thể, trong đó vật thể là các đối tượng rất khó chọn lọc đặc trưng phù hợp, cụ

thể với trường hợp này là các loại hoa quả. Để chứng minh cho nhận định này, luận văn

đã thực hiện phép so sánh độ chính xác của hai mô hình nhận dạng, được huấn luyện

lần lượt bởi hai phương pháp trên với cùng bộ dữ liệu đầu vào. Kết quả cụ thể sẽ được

trình bày trong Chương 4 – Kết quả thực nghiệm và Đánh giá.