Luận án Cải tiến quá trình học của một số mạng nơ-ron ghi nhớ

ĐꢀI HꢁC QUꢂC GIA Hꢃ NꢄI

TRƢỜNG ĐꢀI HꢁC CÔNG NGHꢅ

Nông Thị Hoa

CẢI TIẾN QUÁ TRÌNH HꢁC

CỦA MꢄT Sꢂ MꢀNG NƠ-RON GHI NHỚ

Chuyên ngành: Khoa học máy tính

Mã số: 62.48.01.01

LUẬN ÁN TIẾN SĨ KHOA HꢁC MÁY TÍNH

NGƢỜI HƢỚNG DẪN KHOA HꢁC

PGS.TS. Bùi Thế Duy

Hà Nội – 2015

1

Lời cam đoan

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các kết quả đƣợc

viết chung với các tác giả khác đều đƣợc sự đồng ý của các đồng tác giả trƣớc khi

đƣa vào luận án. Các kết quả nêu trong luận án là trung thực và chƣa từng đƣợc ai

công bố trong các công trình nào khác.

Tác giả

2

Lời cảm ơn

Luận án đƣợc thực hiện tại Trƣờng Đại học Công nghệ, Đại học Quốc gia Hà

Nội, dƣới sự hƣớng dẫn của PGS.TS. Bùi Thế Duy.

Tôi xin bày tỏ lòng biết ơn sâu sắc tới PGS.TS. Bùi Thế Duy và GS.TS. Đặng

Quang Á, các thầy đã có những định hƣớng giúp tôi thành công trong việc nghiên

cứu của mình. Các thầy cũng đã động viên và chỉ bảo giúp tôi vƣợt qua những khó

khăn để tôi hoàn thành đƣợc luận án này. Tôi cũng chân thành cảm ơn TS.Võ Đình

Bảy, TS. Đặng Trung Kiên, Ths. Nguyễn Quốc Đại, những ngƣời đã cho tôi nhiều

kiến thức quý báu về viết bài báo khoa học và trợ giúp xuất bản các bài báo. Những

sự chỉ bảo quý giá của các thầy, đồng nghiệp đã giúp tôi hoàn thành tốt luận án này.

Tôi cũng xin cảm ơn tới các Thầy, Cô thuộc Khoa Công nghệ thông tin,

Trƣờng Đại học Công nghệ, Đại học Quốc gia Hà Nội đã tạo mọi điều kiện thuận

lợi giúp tôi trong quá trình làm nghiên cứu sinh.

Tôi cũng xin cảm ơn ban lãnh đạo trƣờng Đại học Công nghệ thông tin và

truyền thông, Đại học Thái Nguyên đã tạo mọi điều kiện về mặt thời gian và công

tác chuyên môn trong quá trình làm nghiên cứu sinh.

Cuối cùng, tôi xin gửi lời cảm ơn sâu sắc tới gia đình và bạn bè, những ngƣời

đã luôn ủng hộ và hỗ trợ tôi về mọi mặt để tôi yên tâm học tập và đạt đƣợc kết quả

học tập tốt.

3

MỤC LỤC

L ời cam đoan .........................................................................................................................2

L ờ i c ảm ơ n .............................................................................................................................3

M Ụ C L Ụ C .............................................................................................................................4

Danh m ụ c các t ừ vi ế t t ắ t ........................................................................................................8

Danh m ụ c các b ả ng................................................................................................................9

Danh m ụ c các hình v ẽ, đồ th ị ..............................................................................................1 1

Danh m ụ c các thu ậ t toán......................................................................................................13

Danh m ục các đị nh lý ..........................................................................................................13

M Ở ĐẦ U .............................................................................................................................1 4

CHƢƠNG 1. M ẠNG NƠ -RON NHÂN T Ạ O .................................................................17

1.1 Nơ -ron sinh h ọ c..........................................................................................................17

1.2 Nơ -ron nhân t ạ o .........................................................................................................18

1.3 M ạng nơ -ron nhân t ạ o ................................................................................................1 9

1.4 Các lu ậ t h ọ c c ủ a ANN................................................................................................2 2

1.5 Ƣu và nhƣợc điể m c ủ a ANN......................................................................................24

1.6 Ứ ng d ụ ng c ủ a ANN ...................................................................................................24

1.7 K ế t lu ận chƣơn g .........................................................................................................26

CHƢƠNG 2. M Ộ T S Ố M ẠNG NƠ -RON GHI NH Ớ .....................................................27

2.1 Logic m ờ ....................................................................................................................27

2.1.1 Định nghĩa ...........................................................................................................27

2.1.2 Các phép toán v ớ i t ậ p m ờ ....................................................................................27

2.2 Toán h ọ c hình thái......................................................................................................28

2.2.1 Lƣới đầy đủ ..........................................................................................................28

2.2.2 Các thao tác cơ bả n v ới lƣới đầy đủ ....................................................................28

2.3 Mô hình AM...............................................................................................................29

2.3.1 Khái ni ệ m v ề AM ................................................................................................2 9

2.3.2 Ho ạt độ ng c ủ a AM ..............................................................................................2 9

2.3.3 M ộ t s ố đặc điể m c ủ a AM ....................................................................................30

2.4 Mô hình BA M ............................................................................................................31

4

2.4.1 M ạ ng Hopfield.....................................................................................................31

2.4 2 Khái ni ệ m v ề BAM .............................................................................................3 3

2.4.3 Quá trình h ọ c c ủ a BAM ......................................................................................34

2.4.4 Quá trình nh ớ l ạ i c ủ a BAM .................................................................................35

2.4.5 Hàm năng lƣợ ng c ủ a BAM..................................................................................35

2.4.6 Chi ến lƣợ c h ọ c nhi ề u l ầ n dùng s ố l ầ n l ặ p t ố i thi ểu để h ọ c m ộ t c ặ p m ẫ u ............36

2.5 Mô hình FAM ............................................................................................................36

2.5.1 Khái ni ệ m FAM...................................................................................................36

2.5.2 Các ki ểu nơ -ron trong FAM ................................................................................37

2.5.3 Các FAM c ủ a Kosko và s ự t ổ ng quát hó a ...........................................................38

2.6 Mô hình AR T .............................................................................................................39

2.6.1 C ấ u trúc c ủ a AR T ................................................................................................3 9

2.6.2 Các bƣớ c ho ạt độ ng chính c ủ a ART....................................................................40

2.6.3 H ọ các mô hình c ủ a ART ....................................................................................41

2.7 Mô hình Fuzzy ART ..................................................................................................41

2.7.1 So sánh v ớ i ART .................................................................................................41

2.7.2 Thu ậ t toán Fuzzy ART ........................................................................................42

2.7.3 Fuzzy ART với mã hóa đầy đủ ............................................................................43

2.7.3 Thƣớc đo chất lƣợng phân cụ m ...........................................................................44

2.8 Kết luận chƣơn g .........................................................................................................44

CHƢƠNG 3. THU Ậ T TOÁN H Ọ C C Ả I TI Ế N CHO B Ộ NH Ớ LIÊN K Ế T HAI CHI Ề U

45

3.1 Gi ớ i thi ệ u chung.........................................................................................................45

3.2 Các nghiên c ứ u liên qua n ...........................................................................................45

3.2.1 Các mô hình lý thuy ế t..........................................................................................45

3.2.2 Các cách th ứ c h ọ c................................................................................................4 7

3.2.3 Quá trình h ọ c nhi ề u l ầ n c ủ a m ộ t s ố BA M ...........................................................47

3.3 Lý do đề xu ấ t thu ậ t toán h ọ c m ớ i...............................................................................49

3.4 Thu ậ t toán h ọ c m ớ i cho BAM....................................................................................50

3.4.1 Ý tƣở ng................................................................................................................50

3.4.2 Phân tích m ố i quan h ệ gi ữa MNTP và hàm năng lƣợ ng .....................................51

3.4.3 N ộ i dung thu ậ t toán h ọ c m ớ i ...............................................................................52

3.5 K ế t qu ả th ự c nghi ệ m ..................................................................................................55

5

3.5.1 Th ử nghi ệ m v ớ i nh ậ n d ạ ng vân ta y .....................................................................55

3.5.2 Th ử nghi ệ m v ớ i nh ậ n d ạ ng ch ữ vi ế t tay..............................................................56

3.5.3 Th ử nghi ệ m v ớ i các ứ ng d ụ ng nh ậ n d ạ ng khác...................................................57

2.6 K ế t lu ận chƣơn g .........................................................................................................58

CHƢƠNG 4. HAI LU Ậ T H Ọ C C Ả I TI Ế N CHO LÝ THUY Ế T C ỘNG HƢỞ NG THÍCH

NGHI M Ờ

60

4.1 Gi ớ i thi ệ u chung.........................................................................................................60

4.2 Các nghiên c ứ u liên qua n ...........................................................................................60

4.2.1 Mô hình ART ......................................................................................................60

4.2.2 Mô hình Fuzzy ART............................................................................................6 1

4.2.3 Các lu ậ t h ọc điể n hình c ủ a ART và Fuzzy AR T ................................................64

4.3 Lý do đề xu ấ t hai lu ậ t h ọ c ..........................................................................................65

4.4 Hai lu ậ t h ọc đề xu ấ t cho Fuzzy AR T .........................................................................65

4.4.1 Ý tƣở ng................................................................................................................65

4.4.2 N ộ i dung c ủ a hai lu ậ t h ọ c ....................................................................................65

4.4.3 Ƣu điể m c ủ a hai lu ậ t h ọ c.....................................................................................67

4.5 K ế t qu ả th ự c nghi ệ m ..................................................................................................68

4.5.1 Th ử nghi ệ m 1: Dùng lu ậ t h ọ c th ứ nh ấ t................................................................6 9

4.5.2 Th ử nghi ệ m 2: Dùng lu ậ t h ọ c th ứ hai..................................................................75

4.6 K ế t lu ận chƣơn g .........................................................................................................81

CHƢƠNG 5. LU Ậ T H Ọ C C Ả I TI Ế N CHO B Ộ NH Ớ LIÊN K Ế T M Ờ ..........................82

5.1 Gi ớ i thi ệ u chung.........................................................................................................82

5.2 Các nghiên c ứ u liên qua n ...........................................................................................82

5.2.1 Các mô hình lý thuy ế t..........................................................................................82

5.2.2 Các biến thể của FA M .........................................................................................83

5.2.3 M ộ t s ố mô hình FA M ..........................................................................................84

5.3 Lý do đề xu ấ t lu ậ t h ọ c c ả i ti ế n cho FAM...................................................................88

5.4 Lu ậ t h ọ c c ả i ti ế n .........................................................................................................88

5.4.1 Ý tƣở ng................................................................................................................88

5.4.2 Mô hình FAM v ớ i lu ậ t h ọ c c ả i ti ế n .....................................................................88

5.4.3 Đị nh lý và h ệ qu ả v ề kh ả năng nhớ l ạ i hoàn h ả o c ủ a FAM c ả i ti ế n....................90

3.5 K ế t qu ả th ự c nghi ệ m ..................................................................................................91

3.5.1 Thử nghiệm với tập dữ liệu về các số ..................................................................92

6

Danh mục các từ viết tắt

Từ viết tắt Nội dung tiếng Anh

Nội dung tiếng Việt

Association-Content Associative

Bộ nhớ liên kết nội dung-liên kết

ACAM

Memory

Bộ nhớ liên kết

AM

Associative Memory

Artificial Neural Network

Adaptive Resonance Theory

ANN

ART

Mạng nơ-ron nhân tạo

Lý thuyết cộng hƣởng thích nghi

Ánh xạ lý thuyết cộng hƣởng

ARTMAP

Adaptive Resonance Theory Map

thích nghi

BAM

FAM

Bidirectional Associative Memory

Fuzzy Associative Memory

Bộ nhớ liên kết hai chiều

Bộ nhớ liên kết mờ

Fast Flexible Bidirectional Associative

Memory

Bộ nhớ liên kết hai chiều nhanh-

FFBAM

linh động

Lý thuyết cộng hƣởng thích nghi

mờ

Fuzzy ART Fuzzy Adaptive Resonance Theory

Fuzzy

Ánh xạ lý thuyết cộng hƣởng

thích nghi mờ

Fuzzy Adaptive Resonance Theory Map

ARTMAP

IFAM

MAM

Implicative Fuzzy Associative Memory

Morphological Associative Memories

Bộ nhớ liên kết mờ gợi ý

Các bộ nhớ liên kết hình thái

Số lần tối thiểu cần huấn luyện

một cặp mẫu trong Bộ nhớ liên

kết hai chiều

The Minimum Number of Times for

training pairs of Patterns

MNTP

8

Danh mục các bảng

B ả ng 3.1: Th ờ i gian h ọ c và k ế t qu ả nh ớ l ạ i các vân ta y ......................................................56

B ả ng 3.2 : Th ờ i gian h ọ c và k ế t qu ả nh ớ l ạ i các ch ữ vi ế t tay...............................................56

B ả ng 3.3 : Th ờ i gian h ọ c và k ế t qu ả nh ớ l ạ i các bi ể n hi ệ u giao thông.................................57

B ả ng 3.4 : Th ờ i gian h ọ c và k ế t qu ả nh ớ l ạ i các ti ề n xu c ủ a M ỹ ........................................57

B ả ng 3.5 : Th ờ i gian h ọ c và k ế t qu ả nh ớ l ại các phƣơng tiệ n giao thông ............................5 8

B ảng 4.1: Đặc trƣng củ a các t ậ p d ữ li ệ u trong th ử nghi ệ m 1 ..............................................69

B ả ng 4.2: K ế t qu ả phân l ớp đúng củ a t ậ p Iris......................................................................70

B ả ng 4.3: K ế t qu ả phân l ớp đúng củ a t ậ p Spiral .................................................................70

B ả ng 4.4: K ế t qu ả phân l ớp đúng củ a t ậ p Flam e .................................................................71

B ả ng 4.5: K ế t qu ả phân l ớ p đúng c ủ a t ậ p Blance-Scale......................................................72

B ả ng 4.6: K ế t qu ả phân l ớp đúng củ a t ậ p R15 ....................................................................72

B ả ng 4.7: K ế t qu ả phân l ớp đúng củ a t ậ p Glas s ..................................................................73

B ả ng 4.8: K ế t qu ả phân l ớp đúng củ a t ậ p Wine ..................................................................73

B ả ng 4.9: K ế t qu ả phân l ớp đúng củ a t ậ p Jain ....................................................................74

B ả ng 4.10: K ế t qu ả phân l ớp đúng củ a t ậ p Aggregatio n .....................................................74

B ả ng 4.11: S ự c ả i thi ệ n kh ả năng phân lớ p c ủ a EFART v ớ i lu ậ t h ọ c th ứ nh ấ t so v ớ i mô

hình t ố t nh ấ t th ứ ha i .............................................................................................................75

B ảng 4.12: Đặc trƣng củ a các t ậ p d ữ li ệ u trong th ử nghi ệ m 2 ............................................76

B ả ng 4.13: K ế t qu ả phân l ớp đúng củ a t ậ p WDB C .............................................................7 7

B ả ng 4.14: K ế t qu ả phân l ớp đúng củ a t ậ p D3 1 ..................................................................77

B ả ng 4.15: K ế t qu ả phân l ớp đúng củ a t ậ p WINE-WHITE ................................................77

B ả ng 4.16: K ế t qu ả phân l ớp đúng củ a t ậ p BALANCE-SCAL E ........................................79

B ả ng 4.17: K ế t qu ả phân l ớp đúng củ a t ậ p R15 ..................................................................79

9

B ả ng 4.18: K ế t qu ả phân l ớp đúng củ a t ậ p MONK.............................................................7 9

B ả ng 4.19: K ế t qu ả phân l ớp đúng củ a t ậ p WINE-RE D .....................................................80

B ả ng 4.20: S ự c ả i thi ệ n kh ả năng phân lớ p c ủ a EFART so v ớ i mô hình t ố t nh ấ t th ứ hai

trong th ử nghi ệ m 2...............................................................................................................80

B ả ng 5.1 : K ế t qu ả c ủ a th ử nghi ệ m b ộ nh ớ t ự liên k ế t v ớ i t ậ p d ữ li ệ u v ề con s ố .................92

B ả ng 5.2 : K ế t qu ả th ử nghi ệ m c ủ a b ộ nh ớ liên k ế t khác lo ạ i v ớ i t ậ p d ữ li ệ u v ề con s ố .....93

B ả ng 5.3 : K ế t qu ả c ủ a th ử nghi ệ m b ộ nh ớ t ự liên k ế t v ớ i t ậ p d ữ li ệ u c ủ a Corel ................94

B ả ng 5.4 : K ế t qu ả c ủ a th ử nghi ệ m b ộ nh ớ liên k ế t khác lo ạ i v ớ i t ậ p d ữ li ệ u c ủ a Core l .....94

10

Danh mục các hình vẽ, đồ thị

Hình 1.1: C ấ u t ạo nơ -ron sinh h ọ c.......................................................................................17

Hình 1.2: Mô hình m ột nơ -ron nhân t ạ o ..............................................................................18

Hình 1.3: M ộ t m ạ ng truy ề n th ẳ ng m ộ t l ớ p ..........................................................................20

Hình 1.4: M ộ t m ạ ng truy ề n th ẳ ng nhi ề u l ớ p........................................................................20

Hình 1.5: Các m ạ ng lan truy ền ngƣợ c .................................................................................21

Hình 2.1: M ộ t b ộ nh ớ n ộ i dung-đị a ch ỉ ...............................................................................29

Hình 2.2: Hai d ạ ng liên k ế t c ủ a b ộ nh ớ liên k ế t. Hình 2.2(a) B ộ nh ớ d ạ ng t ự liên k ế t. Hình

2.2(b) B ộ nh ớ d ạ ng liên k ế t khác lo ạ i..................................................................................30

Hình 2.3 : Mô hình mạng Hopfield .......................................................................................31

Hình 2.4: C ấ u trúc t ổ ng quát c ủ a mô hình BAM.................................................................34

Hình 2.5: C ấ u trúc c ủ a m ột ART đơn giả n ..........................................................................39

Hình 3.1: Các ả nh hu ấ n luy ệ n trong nh ậ n d ạ ng vân tay ......................................................55

Hình 3.2 : Các ả nh hu ấ n luy ệ n trong nh ậ n d ạ ng ch ữ vi ế t tay...............................................56

Hình 3.3 : Các ả nh hu ấ n luy ệ n trong các ứ ng d ụ ng nh ậ n d ạ ng khác. Hình 3.3(a) – Các ả nh

m ẫ u v ề bi ể n hi ệ u giao thông, Hình 3.3(b) – Các ả nh m ẫ u v ề ti ề n xu c ủ a M ỹ , và Hình 3.3(c)

– Các ả nh m ẫ u v ề các phƣơng tiệ n giao thông ....................................................................57

Hình 5.1: Th ử nghi ệ m b ộ nh ớ t ự liên k ế t v ớ i t ậ p d ữ li ệ u v ề s ố. Hàng đầ u tiên ch ứ a các ả nh

hu ấ n luy ệ n g ố c; Hàng th ứ hai ch ứ a các m ẫ u vào nhi ễ u b ị bi ến đổ i; Hàng th ứ 3,4,5,6 ch ứ a

m ẫ u ra t ừ mô hình c ủ a Junbo, Xiao, Sussner và Valle và ACAM. .....................................92

Hình 5.2 : M ộ t s ố ả nh t ừ t ậ p d ữ li ệ u c ủ a Corel dùng cho th ử nghi ệ m .................................94

Hình 5.3: Các m ẫ u th ử nghi ệm đƣợ c sinh ra t ừ các m ẫ u vào b ằ ng nhi ễ u mu ố i tiê u ...........94

Hình 5.4 : Các m ẫ u t ừ t ậ p d ữ li ệ u c ủa Corel đƣợc mô hình đƣa ra phụ c h ồ i m ẫ u t ừ nhi ễ u

mu ố i tiêu t ốt hơn các mô hình khác trong chế độ t ự liên k ế t. T ừ trái sang ph ả i là các m ẫ u

đƣợ c ph ụ c h ồ i b ở i mô hình c ủ a Junbo, Kosko, Xiao, Sussner và Valle, ACAM, và k ế t qu ả

mong đợ i. .............................................................................................................................9 5

11

Danh mục các thuật toán

Thu ậ t toán 3.1: Thu ậ t toán h ọc nhanh và linh độ ng cho BAM ...........................................53

Thu ậ t toán 4.1: Tìm giá tr ị thích h ợ p cho tham s ố t ốc độ h ọ c c ủ a Fuzzy ART..................66

Danh mục các định lý

Đị nh lý 5.1: (Kh ả năng nhớ l ạ i các c ặ p m ẫ u trong ch ế độ liên k ế t khác lo ạ i).....................90

H ệ qu ả 5.1: (Kh ả năng nhớ l ạ i các c ặ p m ẫ u trong ch ế độ t ự liên k ế t).................................91

13

MỞ ĐẦU

Mạng nơ-ron nhân tạo (ANN - Artificial Neural Network) là tập hợp các đơn vị

xử lý thông tin mô phỏng dựa trên hoạt động của hệ thống nơ-ron sinh học. Mỗi

ANN có hai quá trình chính gồm quá trình học và quá trình xử lý. Trong quá trình

học, ANN thực hiện học và lƣu trữ thông tin các dữ liệu mẫu. Trong quá trình xử lý,

ANN dùng thông tin học đƣợc từ quá trình học để đƣa ra tín hiệu ra từ các tín hiệu

vào mới. Do đó, chất lƣợng của quá trình học ảnh hƣởng lớn đến chất lƣợng của quá

trình xử lý. Nói cách khác, kết quả ra của quá trình học ảnh hƣởng đến hiệu quả xử

lý thông tin của mạng. Vì vậy, việc nâng cao chất lƣợng của quá trình học là hết sức

cần thiết để đáp ứng đƣợc các yêu cầu xử lý ngày càng phức tạp của các ứng dụng

thực.

ANN thƣờng lƣu trữ các thông tin học đƣợc trong các trọng số kết nối giữa

các nơ-ron. Do đó, quá trình học thực hiện cập nhật trọng số kết nối theo một quy

tắc đƣợc gọi là luật học. Một số luật học điển hình gồm luật lỗi-sửa lỗi, luật

Boltzmann, luật Hebb, và luật cạnh tranh. Do kết quả của quá trình học đóng vai trò

quyết định đến chất lƣợng xử lý của ANN nên việc nâng cao chất lƣợng của quá

trình học sẽ làm tăng khả năng xử lý của ANN.

Các ANN có thể chia thành hai nhóm dựa vào mục đích: các ANN phục hồi

các mẫu hoàn chỉnh từ các mẫu bị hỏng hóc, và các ANN thực hiện phân loại. Lớp

con các ANN thực hiện ghi nhớ các mẫu hoàn chỉnh để có thể nhớ lại các mẫu này

từ các mẫu vào hỏng hóc đƣợc gọi là ANN ghi nhớ. Với mong muốn nâng cao hiệu

quả xử lý của các ANN ghi nhớ, tác giả đã chọn đề tài luận án với tiêu đề: ―Cải tiến

quá trình học của một số mạng nơ-ron ghi nhớ ‖. Tác giả đã nghiên cứu ba mô

hình lý thuyết điển hình và mới nhất trong số các ANN ghi nhớ gồm (i) Bộ nhớ liên

kết hai chiều (BAM – Bidirectional Associative Memory), (ii) Bộ nhớ liên kết mờ

(FAM – Fuzzy Associative Memory), và (iii) Lý thuyết cộng hƣởng thích nghi mờ

(Fuzzy ART – Fuzzy Adaptive Resonance Theory). Mục tiêu nghiên cứu của luận án

là thực hiện cải tiến quá trình học để nâng cao chất lƣợng xử lý của ba mô hình trên.

14

Các nghiên cứu về BAM, FAM, Fuzzy ART đã đƣợc tác giả nghiên cứu sâu

đặc biệt là quá trình học của mỗi mô hình. Tác giả nhận thấy ba mô hình này đã

đƣợc phát triển với một số ƣu điểm và đƣợc áp dụng cho hàng nghìn ứng dụng thực.

Tuy nhiên, nếu thực hiện cải tiến thêm quá trình học thì sẽ nâng cao chất lƣợng xử

lý của mỗi mô hình. Lý do đề xuất các cải tiến cho các mô hình gồm:

 Việc gắn trọng số cho các mẫu trong tập huấn luyện còn chƣa hiệu quả. Với

BAM học nhiều lần, có hai cách thể hiện gồm gắn trọng số cho các cặp mẫu

hoặc học lặp đi lặp lại các cặp mẫu. Tuy nhiên, việc xác định trọng số cho mỗi

cặp mẫu còn chƣa cụ thể hoặc phải tốn nhiều thời gian điều chỉnh trọng số kết

nối [54, 66, 67, 68, 69, 70, 76]. Đối với Fuzzy ART, véc tơ trọng số của các

cụm đƣợc học để gần giống với các mẫu vào. Tuy nhiên, một số mẫu huấn

luyện có thể không đƣợc lƣu lại trong khi các mẫu này có thể chứa các thông

tin quan trọng [8, 9, 38, 41, 61, 73].

 Luật học chƣa học hiệu quả các mẫu huấn luyện. Do một số FAM dùng tỷ lệ

giá trị tƣơng ứng của mẫu vào và mẫu ra để lƣu trữ nên nội dung của các mẫu

chƣa đƣợc quan tâm [58, 65, 71]. Ngƣợc lại, một số FAM chỉ lƣu mẫu vào hay

mẫu ra nên việc lƣu sự liên kết của cặp mẫu lại giảm [14, 40, 58]. Kết quả là

mỗi mô hình chỉ thích hợp với một số tập mẫu nhất định nên khó thích hợp với

một ứng dụng phải xử lý với các mẫu phức tạp.

Với mong muốn đóng góp một phần vào nâng cao chất lƣợng xử lý của ba mô

hình trên, luận án của tác giả tập trung vào ba hƣớng sau:

1. Đề xuất cách xác định giá trị thích hợp cho trọng số của các cặp mẫu huấn

luyện của BAM

2. Cải tiến luật học và tìm giá trị thích hợp cho tham số học của Fuzzy ART.

3. Cải tiến luật học để FAM học và lƣu trữ hiệu quả đồng thời cả nội dung và sự

liên kết giữa các cặp mẫu.

Các kết quả của luận án gồm: 2 bài báo công bố ở Tạp chí quốc tế có chỉ số ISI

[18, 27], 7 báo cáo đƣợc công bố trong kỷ yếu của các hội nghị quốc tế có phản

15

biện (trong đó, 6 báo cáo đƣợc xuất bản bởi IEEE và Springer) [4, 5, 28, 29, 30, 31,

33], và 2 bài báo ở tạp chí trong nƣớc [32, 34] .

Nội dung luận án đƣợc tổ chức thành 5 chƣơng. Chƣơng đầu giới thiệu các

khái niệm cơ bản về ANN. Tiếp theo, cơ sở lý thuyết đƣợc trình bày trong Chƣơng

2. Các đóng góp của luận án đƣợc trình bày trong ba chƣơng tiếp theo. Ngoài ra, các

phần mở đầu, mục lục, kết luận, tài liệu tham khảo cũng đƣợc viết ở phần đầu và

cuối của luận án. Nội dung của từng chƣơng đƣợc trình bày nhƣ sau:

Chƣơng 1 trình bày các kiến thức quan trọng về ANN gồm nơ-ron sinh học,

mô hình nơ-ron nhân tạo, mạng nơ-ron, các luật học, ƣu-nhƣợc điểm, và ứng dụng.

Các kiến thức này giúp hiểu chủ đề nghiên cứu của luận án.

Chƣơng 2 cung cấp các kiến thức cơ bản về các khái niệm, thao tác của logic

mờ và toán học hình thái. Tiếp theo, mô hình và hoạt động của BAM, FAM, và

Fuzzy ART đƣợc trình bày chi tiết hơn giúp phân biệt điểm mới trong các đề xuất

cải tiến đối với từng mô hình.

Chƣơng 3 đề xuất một thuật toán xác định trọng số thích hợp cho mỗi cặp mẫu

huấn luyện của BAM học nhiều lần. BAM cải tiến đƣợc thử nghiệm với ứng dụng

nhận dạng mẫu. Kết quả thực nghiệm cho thấy có khả năng nhớ lại đƣợc cải thiện

hơn các BAM khác. Thuật toán học cải tiến giúp BAM học nhanh và linh động hơn

nhƣng vẫn đảm bảo về khả năng phục hồi mẫu.

Chƣơng 4 thể hiện hai luật học và một thủ tục tìm giá trị thích hợp cho tham

số tốc độ học của Fuzzy ART. Các thực nghiệm phân cụm trên 14 bộ dữ liệu chuẩn

cho thấy Fuzzy ART với các luật học đề xuất nhớ lại các cụm tốt hơn. Trong

chƣơng, cả luật học và tham số mô hình đều đƣợc cải tiến để nâng cao chất lƣợng

phân cụm Fuzzy ART.

Chƣơng 5 trình bày luật học cho FAM. Các thử nghiệm với nhiệm vụ nhận

dạng mẫu cho thấy FAM với luật học cải tiến nhớ lại tốt hơn các FAM khác. Luật

học đề xuất đã giúp nâng cao khả năng phục hồi mẫu từ các mẫu vào có dạng nhiễu

phức tạp.

16

CHƢƠNG 1. MꢀNG NƠ-RON NHÂN TꢀO

Trong chƣơng này, tác giả trình bày các kiến thức cơ bản về mạng nơ-ron

nhân tạo.

1.1 Nơ-ron sinh học

Một nơ-ron sinh học [26] là một tế bào xử lý và truyền thông tin bằng các tín

hiệu hóa học qua một khớp thần kinh tới các tế bào khác. Mỗi nơ-ron kết nối với

nơ-ron khác hình thành các mạng nơ-ron.

Khớp nối dây

thần kinh

Trục

Nhân

Hình cây

Tế bào

Hình 1.1

Hình 1.1: Cấu tạo nơ-ron sinh học.

Một nơ-ron có một thân tế bào, các hình cây và một sợi trục nhƣ trong Hình

1.1. Các hình mọc ra từ thân tế bào và chia thành nhiều nhánh. Một sợi trục đƣợc

sinh ra từ thân tế bào. Các tín hiệu đƣợc truyền đi từ một sợi trục của một nơ-ron tới

một hình cây của nơ-ron khác.

17

1.2 Nơ-ron nhân tạo

McCulloch và Pitts [16] đã đề xuất một mô hình tính toán cho một nơ-ron sinh

học nhƣ trong Hình 1.2.

Hình 1.2: Mô hình một nơ-ron nhân tạo

Trong đó:

- y là tín hiệu ra

- x₁, x₂, .., x_nlà các tín hiệu vào

- w₁, w₂, …, w_nlà các trọng số tƣơng ứng với các tín hiệu vào

Hoạt động của nơ-ron gồm hai bƣớc: tổng hợp các tín hiệu vào và tạo ra một

tín hiệu ra dựa vào các tín hiệu vào.

Tổng hợp các thông tin vào

Cho các thông tin vào x₁, x₂, .., x_nvới các trọng số tƣơng ứng w₁, w₂, …, w_n

đƣợc thực hiện theo một trong các công thức sau:

Dạng tuyến tính

∑

(1.1)

(1.2)

Dạng toàn phương

∑

18

Dạng mặt cầu

∑

(1.3)

với ρ là bán kính của mặt cầu

Tạo ra tín hiệu ra

ANN dùng một hàm kích hoạt để xác định tín hiệu ra. Dƣới đây là một số

dạng hàm thƣờng đƣợc dùng.

Hàm McCuloch-Pitts:

{

(1.4)

(1.5)

(1.6)

với θ là ngƣỡng.

Hàm McCuloch-Pitts trễ:

,

với UTP>LTP và UTP là ngƣỡng trên, còn LTP là ngƣỡng dƣới

Hàm signmoid

với λ là độ nghiêng của hàm

1.3 Mạng nơ-ron nhân tạo

Mạng nơ-ron nhân tạo [60] là một cấu trúc đƣợc hình thành do các nơ-ron

nhân tạo liên kết với nhau. Mỗi nơ-ron có các tín hiệu vào, tín hiệu ra và thực hiện

một chức năng tính toán cục bộ.

Các đặc điểm nổi bật của ANN gồm:

- Là mô hình toán học dựa trên bản chất hoạt động của nơ-ron sinh học

19

- Cấu tạo từ một số các nơ-ron có liên kết với nhau

- Có khả năng học và tổng quát hóa tập dữ liệu thông qua việc gán và

hiệu chỉnh trọng số liên kết giữa các nơ-ron

- Xử lý song song các thông tin phân tán nên có khả năng tính toán lớn

Các ANN có thể chia theo nhiều cách dựa vào cấu trúc (một tầng và nhiều

tầng), cách truyền tín hiệu (truyền thẳng và lan truyền ngƣợc), và bản chất của việc

học (học giám sát, học không giám sát, học lai giữa 2 cách)

Phân loại theo cách truyền tín hiệu

Mạng truyền thẳng: gồm các mạng perceptron một lớp, mạng perceptron

nhiều tầng và mạng RBF. Hình 1.3 và Hình 1.4 thể hiện một mạng truyền thẳng

một lớp và nhiều lớp.

Hình 1.3: Một mạng truyền thẳng một lớp

Hình 1.4: Một mạng truyền thẳng nhiều lớp

20