Tóm tắt Luận văn Phân tích phân biệt, phân loại và phân tích cụm
BỘ GIÁO DỤC VÀ ĐÀO TẠO
ĐẠI HỌC ĐÀ NẴNG
LÊ THỊ TUYẾT NHUNG
PHÂN TÍCH PHÂN BIỆT, PHÂN LOẠI
VÀ PHÂN TÍCH CỤM
Chuyên ngành: Phương pháp Toán sơ cấp
Mã số: 60.46.01.13
TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC
Đà Nẵng - Năm 2016
Công trình được hoàn thành tại
ĐẠI HỌC ĐÀ NẴNG
Người hướng dẫn khoa học: TS. LÊ VĂN DŨNG
Phản biện 1: TS. LÊ QUỐC TUYỂN
Phản biện 2: PGS.TS. HUỲNH THẾ PHÙNG
Luận văn được bảo vệ tại Hội đồng chấm Luận văn tốt nghiệp
thạc sĩ khoa học họp tại Đại học Đà Nẵng vào ngày 13 tháng 8
năm 2016.
Có thể tìm Luận văn tại:
- Trung tâm Thông tin - Học liệu, Đại học Đà Nẵng
- Thư viện trường Đại học sư phạm, Đại học Đà Nẵng
1
MỞ ĐẦU
1. Tính cấp thiết của đề tài
Ngày nay là thời đại của bùng nổ thông tin, sự phát triển
của các ngành khoa học và đặc biệt là sự phát triển của ngành
khoa học máy tính đã giúp chúng ta thu thập được lượng dữ liệu
rất khổng lồ. Với một số lượng dữ liệu lớn như vậy thì việc tìm
hiểu thông tin từ đó là rất khó khăn và phức tạp. Vì vậy vấn đề
xử lý số liệu không những được các ngành khoa học nghiên cứu
mà còn được cả xã hội quan tâm. Đó cũng là lý do cho sự ra đời
và phát triển của ngành phân tích thống kê.
Nhờ ứng dụng của bộ môn phân tích thống kê này mà các
ngành sinh học, y học, kinh tế, bảo hiểm, phân loại ảnh. . . đã có
nhiều bước phát triển vượt bậc. Phương pháp phân tích phân biệt
và phân loại cùng với phương pháp phân tích cụm là một trong
những phương pháp xử lý dữ liệu trong phân tích thống kê được
sử dụng phổ biến.
Vì lý do đó, dưới sự hướng dẫn của thầy Lê Văn Dũng, tôi
chọn nghiên cứu đề tài “Phân tích phân biệt, phân loại và phân
tích cụm” làm luận văn thạc sĩ khoa học của mình.
2
2. Mục đích nghiên cứu: Chúng tôi mong muốn tìm kiếm
được nhiều tài liệu từ các nguồn khác nhau, nghiên cứu kĩ các tài
liệu đó, cố gắng lĩnh hội một số kỹ thuật phân tích thống kê. Hy
vọng luận văn có thể được sử dụng như một tài liệu tham khảo
bổ ích cho sinh viên các trường Đại học, Cao đẳng.
3. Đối tượng nghiên cứu
- Kỹ thuật phân tích phân biệt và phân loại.
- Kỹ thuật phân tích cụm.
4. Phạm vi nghiên cứu: Luận văn nghiên cứu các khái
niệm, định nghĩa, định lý liên quan.
5. Phương pháp nghiên cứu: Cơ bản sử dụng phương
pháp nghiên cứu tài liệu (sách, báo và các tài liệu trên internet có
liên quan đến đề tài của luận văn) để thu thập thông tin nhằm hệ
thống lại các vấn đề lý thuyết.
6. Bố cục đề tài: Nội dung luận văn gồm hai chương:
Chương 1: Kiến thức chuẩn bị. Trình bày lại các kiến thức
cần thiết cho chương 2, đó là các kiến thức về vectơ, ma trận, biến
ngẫu nhiên và phân bố chuẩn nhiều chiều.
Chương 2: Phân tích phân biệt, phân loại và phân tích cụm.
Trong chương này có hai nhiệm vụ chính: thứ nhất là giải quyết
bài toán phân biệt, phân loại; thứ hai là giải quyết bài toán phân
cụm.
3
CHƯƠNG 1
KIẾN THỨC CHUẨN BỊ
1.1. VECTƠ VÀ MA TRẬN
1.1.1. Vectơ
1.1.2. Ma trận
1.1.3. Căn bậc hai của ma trận
1.1.4. Các bất đẳng thức ma trận và maximum
1.2. VECTƠ NGẪU NHIÊN
Định nghĩa 1.2.1. Cho X1, X2, ..., Xn là các biến ngẫu
nhiên cùng xác định trên không gian xác suất (Ω, F, P). Kí hiệu
X = (X1, X2, ..., Xn) được gọi là vectơ ngẫu nhiên n chiều. Dạng
ma trận của X như sau
X1
X2
X =
hoặc XT = [X1, X2, ..., Xn]
...
Xn
Định nghĩa 1.2.2. Cho Xij với i = 1, 2, ..., m; j = 1, 2, ..., n
là mn biến ngẫu nhiên cùng xác định trên không gian xác suất
(Ω, F, P) thì X = [Xij]m×n được gọi là ma trận ngẫu nhiên.
1.2.1. Hàm xác suất đồng thời
Nếu X = (X1, X2, ..., Xn) là vectơ ngẫu nhiên rời rạc có
miền giá trị X(Ω) = {xi = (x1i, x2i, ..., xni) : i ≥ 1} thì hàm
4
xác suất đồng thời của X là hàm p : X(Ω) → R xác định bởi
p(xi) = P(X = xi).
Nếu X = (X1, X2, ..., Xn) gồm n biến ngẫu nhiên liên tục
và nếu tồn tại hàm số không âm f(x) xác định trên Rn sao cho
R
với mọi A = [a1; b1] × ...[an; bn] ⊂ Rn, P(X ∈ A) = A f(x)dx thì
f(x) được gọi là hàm mật độ xác suất đồng thời của X.
1.2.2. Vectơ trung bình và ma trận hiệp phương
sai
Cho vectơ ngẫu nhiên X = (X1, X2, ..., Xn). Giả sử E(Xi) =
µi là kỳ vọng của Xi, V ar(Xi) = σii = E(Xi − µi)2 là phương
sai của Xi và Cov(Xi; Xj) = σij = E(Xi − µi)(Xj − µj) là hiệp
phương sai của biến Xi và Xj. Khi đó µ = [µ1, µ2, ..., µn]T được
gọi là vectơ trung bình và Σ = [σij]n được gọi là ma trận hiệp
phương sai.
σij
Gọi ρij
=
là hệ số tương quan của Xi và Xj. Khi
√
σiiσjj
đó ρ = [ρij]n được gọi là ma trận tương quan của vectơ X.
1.2.3. Chia khối ma trận hiệp phương sai
1.2.4. Vectơ trung bình và ma trận hiệp phương
sai của tổ hợp tuyến tính các vectơ ngẫu nhiên
Nếu X1 và X2 là hai biến ngẫu nhiên, a và b là các số thực
thì
(i) E(aX1 + bX2) = aE(X1) + bE(X2)
(ii) V ar(aX1 + bX2) = a2σ11 + b2σ22 + 2abσ12
5
(iii) Cov(aX1, bX2) = abσ12
Nếu CT = [c1, c2, ..., cn] là vectơ các hằng số và XT
=
[X1, X2, ..., Xn] là vectơ ngẫu nhiên thì E(CT X) = CT E(X) =
CT µ, V ar(CT X) = CT cov(X)C = CT ΣC.
Nếu C = [cij]m×n là ma trận các hằng số thì E(CX) =
CE(X), cov(CX) = Ccov(X)CT
1.3. PHÂN BỐ CHUẨN NHIỀU CHIỀU
Định nghĩa 1.3.1. Vectơ ngẫu nhiên X = [X1, X2, ..., Xp]T
được gọi là có phân bố chuẩn p chiều với tham số µT = [µ1, µ2, ..., µp]
và Σ = [σij]p×p (Σ > 0) nếu X có hàm mật độ xác suất đồng thời
ꢀ
ꢁ
1
1
f(x) =
1/2 exp − (x − µ)T Σ−1(x − µ) .
(2π)p/2|Σ|
2
Kí hiệu X ∼ Np(µ; Σ).
1.4. VECTƠ TRUNG BÌNH MẪU, MA TRẬN HIỆP
PHƯƠNG SAI MẪU
Giả sử x1, x2,...,xn là mẫu được chọn ngẫu nhiên từ tổng
thể XT = [X1, X2, ..., Xp].
Đặt
1
xj = (x1j + x2j + ... + xnj), j = 1, 2, ..., p.
n
n
X
1
sij =
(xki − xi)(xkj − xj)
n − 1
k=1
sij
r =
ij
√
siisjj
6
Vectơ xT = [x1, x2, ..., xp] được gọi là vectơ trung bình mẫu.
Ma trận S = [sij]p được gọi là ma trận hiệp phương sai mẫu.
Ma trận R = [rij]p được gọi là ma trận hệ số tương quan mẫu.
1.5. ƯỚC LƯỢNG KHÔNG CHỆCH
Cho X = [Xij]n×p là mẫu ngẫu nhiên của XT = [X1, X2, ..., Xp]
với E(X) = µ và Cov(X) = Σ. Khi đó E(X) = µ; E(S) = Σ.
Hệ quả 1.5.1. Cho X1, X2, ..., Xn là một mẫu ngẫu nhiên
từ một phân bố đồng thời có vectơ trung bình µ và ma trận hiệp
1
phương sai Σ. Khi đó E(X) = E(X) = µ; Cov(X) = Σ.
n
Và [n/(n − 1)]Sn là một ước lượng không chệch của Σ
1.6. PHÂN BỐ MẪU TRUNG BÌNH MẪU
Định lý 1.6.1. Cho X = [Xij]n×p là mẫu ngẫu nhiên của
tổng thể X có phân bố chuẩn p chiều Np(µ; Σ). Khi đó X có phân
Σ
bố chuẩn Np(µ; ).
n
Định lý 1.6.2 (Định lí giới hạn trung tâm). Cho X =
[Xij]n×p là mẫu ngẫu nhiên của tổng thể X có E(X) = µ và
cov(X) = Σ. Khi đó với n đủ lớn, X có xấp xỉ phân bố chuẩn
Σ
Np(µ; ).
n
1.7. NHẬN DẠNG PHÂN BỐ CHUẨN NHIỀU CHIỀU
1.7.1. Sử dụng biểu đồ xác suất chuẩn
Từ biểu đồ xác suất chuẩn của các thành phần x1, x2,...,xp
có thể chấp nhận X1, X2,...,Xp có phân bố chuẩn 1 chiều thì lúc
7
đó ta có thể chấp nhận X có phân bố chuẩn.
1.7.2. Kiểm định χ - bình phương
1.8. KIỂM ĐỊNH GIẢ THIẾT VỀ VECTƠ TRUNG BÌNH
8
CHƯƠNG 2
PHÂN TÍCH PHÂN BIỆT, PHÂN LOẠI
VÀ PHÂN TÍCH CỤM
2.1. KHÁI NIỆM PHÂN TÍCH PHÂN BIỆT VÀ PHÂN
LOẠI
Tiến hành phân loại là một trong những nhiệm vụ cơ bản
của khoa học để đưa thế giới về trật tự. Và mục đích của phân
loại là xác định xem một đối tượng quan sát được sẽ xếp vào lớp
nào.
Khác với việc phân loại là phân tích phân biệt. Phân tích
phân biệt là một kỹ thuật phân tích sử dụng cho việc phân biệt
giữa các lớp.
2.2. PHÂN LOẠI HAI LỚP
Giả sử tổng thể được phân hoạch thành 2 lớp π1 và π2 và
XT = (X1, ..., Xp) là vectơ đo p chiều xác định trên các đối tượng
của tổng thể. Kí hiệu Ω là miền giá trị của X. R1 và R2 lần lượt là
miền giá trị của X giới hạn trên π1 và π2. Khi đó ta có Ω = R1∪R2
và R1 ∩ R2 = ∅. Ta cũng giả sử rằng f1(x) và f2(x) lần lượt là
hàm mật độ của X trên π1 và π2 (nếu X là vectơ rời rạc thì f1(x)
9
và f2(x) là hàm xác suất).
Xác suất phân loại sai một đối tượng thuộc lớp π1 vào lớp π2 là
Z
P(2/1) = P(X ∈ R2/π1) =
f1(x)dx.
(2.1)
R2
Xác suất phân loại sai một đối tượng thuộc lớp π2 vào lớp π1 là
Z
P(1/2) = P(X ∈ R1/π2) =
f2(x)dx.
(2.2)
R1
Kí hiệu p1 là xác suất tiền nghiệm của lớp π1. Tương tự, kí hiệu
p2 là xác suất tiền nghiệm của lớp π2. Ta có p1 + p2 = 1.
Kí hiệu c(2/1) là tổn thất gây ra khi xếp đối tượng thuộc lớp π1
vào lớp π2, c(1/2) là tổn thất gây ra khi xếp đối tượng thuộc lớp
π2 vào lớp π1. Ta có ma trận tổn thất cho trong bảng.
Xếp vào lớp
π1
π1 c(1/1) = 0
π2
c(2/1)
Thực tế
π2
Khi đó tổn thất trung bình sẽ là
E(CM) = c(2/1)P(2/1)p1 + c(1/2)P(1/2)p2.
c(1/2)
c(2/2) = 0
(2.3)
Định lý 2.2.1. Một đối tượng được xếp vào lớp π1 hay π2
để có tổn thất trung bình E(CM) nhỏ nhất khi miền R1, R2 được
xác định như sau:
ꢀ
ꢁ
ꢁ
f1(x)
f2(x)
f1(x)
f2(x)
c(1/2) p2
.
R1 = x ∈ Ω :
ꢀ
≥
c(2/1) p1
(2.4)
c(1/2) p2
.
R2 = x ∈ Ω :
<
.
c(2/1) p1
10
Tổng xác suất phân loại sai (TPM )
Z
Z
TPM = p1
f1(x)dx + p2
f2(x)dx
(2.5)
R2
R1
Ta có thể xếp một đối tượng mới x0 vào một lớp bởi xác suất hậu
nghiệm lớn nhất P(πi/x0). Theo quy tắc Bayès
p1f1(x0)
P(π1/x0) =
(2.6)
p1f1(x0) + p2f2(x0)
và
p2f2(x0)
P(π2/x0) = 1 − P(π1/x0) =
p1f1(x0) + p2f2(x0)
Dựa vào tiêu chuẩn xác suất hậu nghiệm, ta xếp x0 vào lớp π1 khi
P(π1/x0) > P(π2/x0).
2.3. PHÂN LOẠI HAI LỚP CÓ PHÂN BỐ CHUẨN
Giả sử f1(x), f2(x) là hàm mật độ của phân bố chuẩn lần
lượt liên kết với lớp π1, π2 có vectơ trung bình µ1, µ2 và ma trận
hiệp phương sai Σ1, Σ2. Ta xét các trường hợp sau:
2.3.1. Σ1 = Σ2 = Σ
Giả sử hàm mật độ của XT = [X1, X2, ..., Xp] trong π1 và
π2 được cho bởi công thức
ꢂ
ꢃ
1
1
fi(x) =
exp − (x − µi)T Σ−1(x − µi) , i = 1, 2
1/2
(2π)p/2|Σ|
2
(2.7)
trong đó các tham số µ1, µ2 và Σ đã biết.
Định lý 2.3.1. Cho hai lớp π1 và π2 lần lượt có hàm mật
độ cho bởi công thức 2.7. Khi đó ta có phân bổ sau:
11
Xếp x0 vào π1 nếu
ꢂ
ꢃ
1
c(1/2) p2
c(2/1) p1
(µ1 − µ2)T Σ−1x0 − (µ1 − µ2)T Σ−1(µ1 + µ2) ≥ ln
2
(2.8)
Ngược lại thì xếp x0 vào π2.
Giả sử ta có n1 đối tượng của biến ngẫu nhiên nhiều chiều
XT = [X1, X2, .., Xp] từ lớp π1 và n2 đối tượng của XT từ lớp π2,
với n1 + n2 − 2 ≥ p. Khi đó các ma trận dữ liệu tương ứng
xT11
xT21
X = xT , X = xT
1
2
12
22
...
...
T
1n1
T
x
x
2n2
Từ ma trận dữ liệu, vectơ trung bình mẫu và ma trận hiệp phương
sai được xác định như sau
n1
n1
X
X
1
1
x1 =
x2 =
x1j, S1 =
x2j, S2 =
(x1j − x1)(x1j − x1)T
(x2j − x2)(x2j − x2)T
n1
n1 − 1
j=1
j=1
n2
n2
X
X
1
1
n2
n2 − 1
j=1
j=1
Khi đó
ꢂ
ꢃ
ꢂ
ꢃ
n1 − 1
(n1 − 1) + (n2 − 1)
n2 − 1
Sp =
S1 +
S2
(n1 − 1) + (n2 − 1)
là một ước lượng không chệch của Σ.
12
Ước lượng E(CM) nhỏ nhất
Ta xếp x0 vào π1 nếu
ꢂ
ꢃ
1
c(1/2) p2
c(2/1) p1
(x1 − x2)T Sp−1x0 − (x1 − x2)T Sp−1(x1 + x2) ≥ ln
2
(2.9)
Ngược lại xếp x0 vào π2
Hệ quả 2.3.2. Kết hợp tuyến tính yˆ = aˆT x = (x¯1 −
x¯2)T Sp−1x tối đa hóa tỷ số
(y¯1 − y¯2)2
(aˆT x¯1 − aˆT x¯2)2
(aˆT d)2
aˆT Spaˆ
=
=
(2.10)
sy2
aˆT Spaˆ
trên tất cả các vectơ hệ số aˆ với d = (x¯1 − x¯2). Giá trị lớn nhất
của tỷ số trên là D2 = (x¯1 − x¯2)T Sp−1(x¯1 − x¯2).
Chú ý rằng
P
P
n1
n2
j=1(y1j − y¯1)2 + j=1(y2j − y¯2)2
n1 + n2 − 2
s2y =
với y1j = aˆT x1j và y2j = aˆT x2j.
Luật phân bố dựa vào hàm phân biệt Fisher
Xếp x0 vào lớp π1 nếu
1
yˆ = (x¯1 − x¯2)T S−1x0 ≥ mˆ = (x¯1 − x¯2)T S−1(x¯1 + x¯2) (2.11)
0
p
p
2
2.3.2. Σ1 = Σ2
Định lý 2.3.3. Cho lớp π1 và π2 được mô tả bởi hàm mật
độ của phân bố chuẩn lần lượt có vectơ trung bình µ1, µ2 và ma
trận hiệp phương sai Σ1, Σ2. Khi đó
13
+ Xếp x0 vào π1 nếu
ꢂ
ꢃ
1
c(1/2) p2
− x0T (Σ−1 1 − Σ−2 1)x0 + (µT1 Σ1−1 − µ2T Σ−2 1)x0 − k ≥ ln
2
c(2/1) p1
(2.12)
ꢄ
ꢅ
1
trong đó k = ln
2
+ Ngược lại thì xếp x0 vào π2.
|Σ1|
|Σ2|
1
+ (µT1 Σ−1 1µ1 − µT2 Σ2−1µ2)
2
Quy tắc phân loại bậc hai
Xếp x0 vào π1 nếu
ꢂ
ꢃ
1
c(1/2) p2
− x0T (S1−1 − S2−1)x0 + (xT1 S1−1 − x2T S2−1)x0 − k ≥ ln
2
c(2/1) p1
(2.13)
Ngược lại thì xếp x0 vào π2.
2.4. ĐÁNH GIÁ HÀM PHÂN LOẠI
Giá trị nhỏ nhất của TPM được gọi là tỷ lệ lỗi tối ưu (OER),
thu được bằng cách khéo chọn các R1 và R2. Như vậy, OER là tỷ
lệ lỗi cho TPM tối thiểu.
Về nguyên tắc việc thực hiện hàm phân loại mẫu có thể
được đánh giá bằng cách tính toán tỷ lệ lỗi thực tế (AER)
Z
Z
AER = p1
f1(x)dx + p2
f2(x)dx
ˆ
R2
ˆ
R1
ˆ
ˆ
với R1 và R2 là miền phân loại xác định bởi mẫu có kích thước
lần lượt là n1 và n2.
Ta định nghĩa tỷ lệ lỗi rõ ràng (APER) là tỷ lệ các đối tượng
bị phân loại sai bởi hàm phân loại mẫu. Cho lớp π1 có n1 đối tượng
và lớp π2 có n2 đối tượng thì ma trận nhầm lẫn có dạng
14
Thành viên dự đoán
π1
n1C
π2
n1M = n1 − n1C n1
Thành viên π1
thực tế
π2 n2M = n2 − n2C
n2C
n2
trong đó
n1C : Số các đối tượng lớp π1 xếp đúng vào lớp π1
n1M : Số các đối tượng lớp π1 xếp sai vào lớp π2
n2C : Số các đối tượng lớp π2 xếp đúng vào lớp π2
n2M : Số các đối tượng lớp π2 xếp sai vào lớp π1
Khi đó ta có tỷ lệ lỗi rõ ràng
n1M + n2M
n1 + n2
APER =
2.5. PHÂN LOẠI NHIỀU LỚP
Tổn thất trung bình nhỏ nhất
Cho fi(x) là hàm mật độ liên kết với lớp πi, i = 1, 2, .., g, pi là xác
suất tiền nghiệm của lớp πi và c(k/i) là tổn thất gây ra khi xếp
đối tượng thuộc lớp πi vào lớp πk, đặc biệt với k = i, c(i/i) = 0.
Gọi Rk là tập các đối tượng thuộc lớp πk, khi đó ta có xác suất
phân loại sai một đối tượng thuộc lớp πi vào lớp πk là
Z
P(k/i) = P(X ∈ Rk/πi) =
fi(x)dx.
(2.14)
Rk
15
P
g
với i = 1, 2, ..., g và P(i/i) = 1 − k=1,k=i P(k/i).
Từ đó ta có tổn thất trung bình
E(CM) = p1E(CM)(1) + p2E(CM)(2) + ... + pgE(CM)(g)
!
g
g
X
X
= p1
P(k/1)c(k/1) + p2
P(k/2)c(k/2)
k=2
k=1,k=2
!
g−1
X
+ ... + pg
P(k/g)c(k/g)
k=1
g
g
X
X
=
pi
P(k/i)c(k/i)
i=1
k=1,k=i
Luật phân loại để E(CM) nhỏ nhất với tổn thất phân
loại sai bằng nhau
Xếp x0 vào πk nếu
pkfk(x) > pifi(x), với mọi i = k
Xếp x0 vào πk nếu
ln pkfk(x) > ln pifi(x), với mọi i = k
(2.15)
(2.16)
Phân loại các lớp có phân bố chuẩn
Xếp x vào πk nếu
p
1
1
ln pkfk(x) = ln pk − ln 2π − ln |Σk| − (x − µk)T Σk−1(x − µk)
2
2
2
= max ln pifi(x)
Ta định nghĩa tỉ số phân biệt bậc hai cho lớp thứ i như sau
1
1
dQi (x) = − ln |Σi| − (x − µi)T Σi−1(x − µi) + ln pi, i = 1, 2, .., g
2
2
(2.17)
16
TPM nhỏ nhất khi các Σi không bằng nhau
Xếp x vào lớp πk nếu
dQk (x) = max(d1Q(x), d2Q(x), ..., dQg (x))
với dQk (x) được cho bởi công thức 2.17.
(2.18)
Ước lượng tỉ số phân biệt bậc hai
1
1
ˆQ
di (x) = − ln |Si| − (x − x¯i) Si−1(x − x¯i) + ln pi, i = 1, 2, .., g
T
2
2
(2.19)
Ước lượng TPM trong trường hợp Σi không bằng
nhau
Xếp x vào lớp πk nếu
ˆQ
ˆQ
ˆQ
ˆQ
dk (x) = max(d1 (x), d2 (x), ..., dg (x))
(2.20)
ˆQ
với di (x) được xác định bởi công thức 2.19.
Một trường hợp đơn giản là ma trận hiệp phương sai của
lớp Σi là bằng nhau. Đặt Σi = Σ, i = 1, 2, ..., g, ta định nghĩa tỉ
số phân biệt tuyến tính như sau
1
di(x) = µTi Σ−1x − µiT Σ−1µi + ln pi, i = 1, 2, ..., g
2
ˆ
Ước lượng di(x) của tỉ số phân biệt tuyến tính di(x) dựa trên ước
lượng gộp của Σ.
1
Sp =
[(n1−1)S1+(n2−1)S2+...+(ng−1)Sg]
n1 + n2 + ... + ng − g
và được cho bởi
1
T
di(x) = x¯i Sp−1x − x¯iT Sp−1x¯ + ln pi, i = 1, 2, .., g
(2.21)
ˆ
2
17
Ước lượng TPM trong trường hợp Σi bằng nhau
Xếp x vào lớp πk nếu
ˆ
ˆ
ˆ
ˆ
dk(x) = max(d1(x), d2(x), ..., dg(x))
ˆ
với di(x) được cho bởi công thức 2.21.
Xếp x vào lớp πk nếu
1
T
dki(x) = (x¯k − x¯i) Sp−1x − (x¯k − x¯i)T Sp−1(x¯k + x¯i)
ˆ
2
ꢄ
ꢅ
, ∀i = k
pi
≥ ln
pk
2.6. ỨNG DỤNG CỦA PHÂN TÍCH PHÂN BIỆT VÀ
PHÂN LOẠI
Ví dụ 2.6.1. Bộ phận tuyển sinh đào tạo thạc sĩ quản trị
kinh doanh ở một trường đại học đã có kết quả tuyển sinh đào
tạo và họ muốn dựa vào điểm GPA (Grade Point Average) và
điểm GMAT (Graduate Management Admission Test) trong kết
quả tuyển sinh để tiến hành sơ tuyển phục vụ công tác tuyển sinh
những năm tiếp theo. Dựa vào kết quả tuyển sinh năm vừa qua,
bộ phận tuyển sinh đã phân thành 3 nhóm như sau: π1 (được nhận
hồ sơ), π2 (không được nhận hồ sơ) và π3 (là biên của hai nhóm
π1 và π2 ). Bộ phận tuyển sinh sẽ chỉ nhận hồ sơ của các thí sinh
thuộc nhóm π1 và π3 để tham dự kì thi ở vòng 2.
Giả sử năm tuyển sinh tiếp theo, một thí sinh có GPA =
3,21 và GMAT = 497. Khi đó, bộ phận tuyển sinh sẽ phân loại
thí sinh này vào nhóm nào?
18
Ví dụ 2.6.2. Trường THPT chuyên ở tỉnh A muốn dựa vào
điểm tổng kết Toán và điểm trung bình chung của năm học lớp
9 để tiến hành sơ tuyển. Dựa vào kết quả tuyển sinh của 1 năm
nào đó trường sẽ tiến hành phân thí sinh vào 3 nhóm: nhóm 1
(được nhận hồ sơ), nhóm 2 (không được nhận hồ sơ) và nhóm 3 là
nhóm trung gian giữa 2 nhóm trên. Ở kì tuyển sinh tiếp theo nhà
trường sẽ dựa vào điểm tổng kết Toán và điểm trung bình chung
của năm học lớp 9 để tiến hành phân loại để chỉ nhận những thí
sinh thuộc nhóm 1 và nhóm 3 vào thi tuyển ở vòng 2.
2.7. KHÁI NIỆM PHÂN TÍCH CỤM
Phân tích cụm là các quy trình tìm cách nhóm các đối tượng
đã cho vào các cụm, sao cho các đối tượng trong cùng một cụm
tương tự nhau (gần nhau) và các đối tượng khác cụm thì không
tương tự nhau (không gần nhau) xét theo các đặc tính lựa chọn
để nghiên cứu.
2.8. CÁC KHOẢNG CÁCH THƯỜNG DÙNG
2.9. PHƯƠNG PHÁP PHÂN CỤM THEO THỨ BẬC
Luận văn sẽ tập trung nghiên cứu phương pháp gộp theo
thứ bậc và cụ thể là phương pháp kết nối. Cách thực hiện:
1. Chia thành n cụm đơn C1, C2,..., Cn; mỗi cụm chỉ chứa
một phần tử. Lập một ma trận khoảng cách giữa các cụm này.
2. Tìm cặp cụm có khoảng cách ngắn nhất, chẳng hạn cụm
Tải về để xem bản đầy đủ
26 trang
20700
Free
Bạn đang xem 20 trang mẫu của tài liệu "Tóm tắt Luận văn Phân tích phân biệt, phân loại và phân tích cụm", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- tom_tat_luan_van_phan_tich_phan_biet_phan_loai_va_phan_tich.pdf
