Mask: Phương pháp mới nâng cao hiệu quả phát hiện gian lận tài chính

Tạp chí Khoa học và Kỹ thuật - Học viện KTQS - Số 184 (06-2017)

MASK: PHƯƠNG PHÁP MỚI NÂNG CAO

HIỆU QUẢ PHÁT HIỆN GIAN LẬN TÀI CHÍNH

Nghiêm Thị Toàn¹, Nghiêm Thị Lịch², Bùi Dương Hưng³,

Đặng Xuân Thọ¹

Tóm tắt

Hiện nay, gian lận tài chính ngày càng phổ biến và gây ra những hậu quả nghiêm trọng.

Do đó, phát hiện và ngăn chặn gian lận tài chính đã và đang thu hút được sự quan tâm lớn

từ các nhà nghiên cứu. Bài toán phát hiện gian lận tài chính có thể được giải quyết với sự

hỗ trợ của các kỹ thuật khai phá dữ liệu, cụ thể như phân lớp là một phương pháp học có

giám sát được áp dụng phổ biến nhất. Tuy nhiên, do đặc thù dữ liệu tài chính, số lượng các

mẫu được xác định là gian lận ít hơn rất nhiều so với các mẫu hợp lệ, dẫn đến tình trạng

khó khăn trong phân lớp dữ liệu mất cân bằng. Một số phương pháp nổi tiếng giải quyết

vấn đề này như SMOTE, Borderline-SMOTE, và SPY mặc dù đã đạt được những kết quả

tích cực, nhưng một số trường hợp lại không đạt được kết quả mong đợi. Trong bài báo này,

chúng tôi đề xuất một phương pháp mới, Mask, nhằm đổi nhãn các phần tử lớp đa số dựa

trên phân phối mật độ của các phần tử lớp thiểu số. Kết quả thực nghiệm trên các bộ dữ

liệu chuẩn quốc tế như UCSD-FICO (cuộc thi data mining contest 2009), German Credit,

Australian Credit, và Yeast (từ kho dữ liệu chuẩn UCI) đã chỉ ra phương pháp mới hiệu quả

và nâng cao độ chính xác trong phát hiện gian lận tài chính so với các phương pháp ROS,

RUS, SMOTE, Borderline- SMOTE, và SPY.

Nowadays, financial fraud is increasingly popular and causes serious consequences. There-

fore, detecting and preventing financial fraud has attracted great attention from researchers.

The problem of financial fraud detection can be solved with the support of data mining

techniques, such as classification is one of supervised learning methods that is applied most

commonly. However, in financial data, the number of samples defined fraud is much fewer

than the valid samples, which implies more difficulty of the classification problem. Some

well-known methods of solving this problem such as SMOTE, Borderline-SMOTE, and SPY

have achieved positive results, but in some cases they cannot improve or sometimes reduce

classification performance. In this paper, we propose a new method, MASK, to change the

label of a majority class samples based on the density distribution in the minority class

samples. The experimental results on international standard datasets such as UCSD-FICO

(Data mining Contest 2009), German Credit, Australian Credit, and Yeast (from UCI) also

showed that the new method is effective and improves the accuracy of classification of

financial data comparing to ROS, RUS, SMOTE, Borderline- SMOTE, and SPY.

Từ khóa

Phát hiện gian lận tài chính, phân lớp, dữ liệu mất cân bằng, Mask.

¹Đại học sư phạm Hà Nội, ²Đại học thương mại, ³Đại học công đoàn

5

Chuyên san Công nghệ thông tin và Truyền thông - Số 10 (06-2017)

1. Giới thiệu

1.1. Gian lận tài chính

Có nhiều hình thức gian lận tài chính khác nhau như: gian lận thẻ tín dụng, gian lận

rửa tiền, gian lận bảo hiểm xe ô tô, gian lận bảo hiểm y tế, gian lận tiếp thị, gian lận

doanh nghiệp,... được thể hiện trong hình 1 [1].

Sự phát triển của khoa học và công nghệ đã làm cho các hình thức gian lận trở nên

phổ biến và phức tạp hơn. Số lượng các báo cáo sự cố gian lận thẻ tín dụng, lừa đảo

doanh nghiệp, gian lận rửa tiền đã tăng nhanh ở mức báo động. Do đó, việc phát hiện

và ngăn chặn các giao dịch tài chính gian lận ngày càng trở nên quan trọng.

Hình 1. Các loại gian lận tài chính

1.2. Phát hiện gian lận tài chính

Phát hiện gian lận tài chính (Financial fraud detection - FFD) ngày càng trở nên quan

trọng. Để phát hiện sớm những giao dịch bất thường, người ta thường phân tích những

thông tin trong cơ sở dữ liệu giao dịch đã có. Bằng cách này có thể xác định một giao

dịch nào đó không giống với những giao dịch đã được thực hiện trước đó.

Ngày nay, bài toán phát hiện gian lận có thể được giải quyết với sự hỗ trợ của các kỹ

thuật khai phá dữ liệu. Trong đó, phân lớp là một phương pháp học có giám sát được

áp dụng phổ biến nhất, đặc biệt phù hợp với lĩnh vực phát hiện gian lận và quản lý

rủi ro tín dụng [2]. Kỹ thuật phân lớp sử dụng các giải thuật học để xây dựng một mô

hình phân loại dựa trên tập dữ liệu huấn luyện. Đối với các ứng dụng phát hiện gian

lận, tập dữ liệu huấn luyện được sử dụng bao gồm các bản ghi về các giao dịch thật

và các giao dịch bất thường. Sau đó, tập dữ liệu thử nghiệm được dùng để ước tính độ

chính xác của mô hình phân loại. Nếu độ chính xác là chấp nhận được thì mô hình này

có thể được sử dụng để phân loại các mẫu dữ liệu mới và xác định các giao dịch gian

lận. Tuy nhiên, việc việc phát triển những phương pháp phát hiện gian lận tài chính

hiệu quả gặp không ít khó khăn.

6

Tạp chí Khoa học và Kỹ thuật - Học viện KTQS - Số 184 (06-2017)

1.3. Khó khăn trong phát hiện gian lận tài chính

Một trong những khó khăn lớn nhất là sự không sẵn có của dữ liệu được sử dụng

trong phát hiện gian lận tài chính [3]. Những dữ liệu này liên quan đến thông tin “nhạy

cảm” của các cá nhân, tổ chức, chẳng hạn như dữ liệu về các giao dịch khách hàng.

Do đó, dữ liệu liên quan đến gian lận tài chính thường không được công bố công khai.

Mặt khác, dữ liệu sử dụng để phát hiện gian lận thường xảy ra sự chênh lệch lớn về

số lượng phần tử giữa các lớp, điều này làm cho các thuật toán phân loại gặp nhiều

khó khăn. Các giải thuật phân lớp thường đạt độ chính xác cao đối với lớp đa số, trong

khi đó, với lớp thiểu số thì hoàn toàn ngược lại. Nhiều bộ phân loại thường xem các

dữ liệu ít thường xuyên là hiếm, hoặc nhiễu. Do đó, các phần tử lớp thiểu số thường

bị bỏ qua hoặc bị phân loại sai thường xuyên hơn các mẫu phổ biến mặc dù độ chính

xác tổng thể rất lớn [4].

Giả sử một bộ dữ liệu gồm 20 phần tử, trong đó 15 phần tử thể hiện các giao dịch

hợp pháp và 5 phần tử thể hiện các giao dịch gian lận. Trong trường hợp này, xảy ra

sự mất cân bằng dữ liệu khi số lượng các giao dịch hợp pháp chênh lệch lớn so với số

lượng các giao dịch gian lận. Khi áp dụng các giải thuật phân lớp chuẩn, nếu mô hình

phân lớp dự đoán chính xác tất cả 15 trường hợp hợp pháp và không dự đoán chính

xác bất kỳ trường hợp gian lận nào có độ chính xác 75%. Tuy nhiên, việc phân loại sai

các trường hợp gian lận gây ảnh hưởng nghiêm trọng hơn so với việc phân loại sai các

trường hợp không gian lận thành gian lận. Điều này có thể dẫn đến những tổn thất rất

lớn về mặt kinh tế. Vì vậy, khi áp dụng các giải thuật phân lớp truyền thống như cây

quyết định, máy vec-tơ hỗ trợ, Na¨ıve Bayes chưa thể xây dựng được một bộ phân lớp

tốt. Do đó, phòng chống và phát hiện gian lận trong dữ liệu tài chính mất cân bằng trở

thành một thách thức lớn đối với các nhà nghiên cứu.

2. Phương pháp phân lớp dữ liệu mất cân bằng trong phát hiện gian

lận tài chính

2.1. Một số hướng giải quyết vấn đề mất cân bằng dữ liệu hiện nay

Mất cân bằng dữ liệu xảy ra khi có sự chênh lệch lớn về số lượng phần tử giữa các

lớp. Nghĩa là, số lượng các phần tử đại diện cho một lớp lớn hơn rất nhiều so với các

lớp khác. Đối với trường hợp hai lớp (nhị phân) tỷ lệ này có thể là 1:10, 1:100, 1:1000

[4] [5]. Lớp chiếm số đông phần tử gọi là lớp đa số (negative), ngược lại lớp có ít phần

tử gọi là lớp thiểu số (positive). Các giải thuật phân lớp thường đạt độ chính xác cao

với lớp đa số nhưng với lớp thiểu số thì ngược lại [4] [6].

Trong thực tế, vấn đề mất cân bằng dữ liệu có thể giải quyết theo nhiều phương pháp

khác nhau. Trong đó, có hai hướng tiếp cận chính: hướng tiếp cận ở mức độ dữ liệu và

hướng tiếp cận ở mức độ giải thuật.

Hướng tiếp cận ở mức độ giải thuật, các thuật toán phân lớp được điều chỉnh để

tăng cường việc học các lớp thiểu số. Bằng cách điều chỉnh chi phí của các lỗi, các

7

Chuyên san Công nghệ thông tin và Truyền thông - Số 10 (06-2017)

mẫu lớp thiểu số bị phân loại sai (các trường hợp gian lận được phân loại là không

gian lận) được gán trọng số cao hơn so các mẫu lớp đa số bị phân loại sai (các trường

hợp không gian lận được phân loại là gian lận) [4] [7] [8] [9].

Hướng tiếp cận ở mức độ dữ liệu, bao gồm các phương pháp điều chỉnh phân bố

dữ liệu bằng cách tăng số lượng phần tử lớp thiểu số, giảm số lượng phần tử lớp đa

số hoặc kết hợp cả hai phương pháp. Cả ba phương pháp trên đều hướng đến mục tiêu

cân bằng phân bố dữ liệu. Ưu điểm của các phương pháp tiếp cận mức độ dữ liệu là

sự linh hoạt, dữ liệu có thể sử dụng để huấn luyện các bộ phân loại khác nhau [4] [10]

[6] [11].

Phương pháp sinh thêm phần tử tạo ra một tập dữ liệu lớn hơn tập dữ liệu ban đầu

[10]. Có nhiều cách khác nhau để sinh thêm các phần tử dữ liệu: sinh thêm phần tử

một cách ngẫu nhiên (Random Over-Sampling - ROS [12]), lựa chọn các phần tử để

sinh thêm hoặc sinh thêm phần tử nhân tạo (SMOTE [13], Borderline SMOTE [14],

Safe-level SMOTE [15], ADASYN [16]). Trong đó, ADASYN sinh thêm phần tử nhân

tạo theo cơ chế như thuật toán SMOTE nhưng ưu điểm là sử dụng phân bố mật độ của

từng phần tử lớp thiểu số để xác định số lượng phần tử nhân tạo.

Phương pháp loại bỏ phần tử tạo ra một tập con của tập dữ liệu ban đầu bằng cách

giảm bớt số lượng phần tử lớp đa số [10]. Phương pháp đơn giản nhất là loại bỏ các

phần tử lớp đa số một cách ngẫu nhiên (Random Under-Sampling - RUS [12]). Mặc dù,

phương pháp này có thể làm giảm tính mất cân bằng dữ liệu. Nhưng loại bỏ bớt phần

tử một cách ngẫu nhiên có thể làm mất những thông tin quan trọng có lợi cho việc xây

dựng mô hình. Do đó, một số phương pháp loại bỏ phần tử theo mục tiêu được đề xuất

[7][11] [17].

Mặc dù phương pháp sinh thêm phần tử lớp thiểu số có thể cân bằng phân bố lớp

nhưng một số vấn đề liên quan đến dữ liệu mất cân bằng vẫn chưa được giải quyết.

Chẳng hạn, các cụm lớp không có ranh giới rõ ràng khi một số phần tử lớp đa số nằm

lẫn trong không gian lớp thiểu số. Ngược lại, các phần tử nhân tạo được sinh ra nằm

sâu trong không gian lớp đa số. Do đó, SMOTE+IPF [17] là phương pháp kết hợp cả

hai cách trên được sử dụng.

Ngoài ra, một số phương pháp cân bằng dữ liệu bằng cách đổi nhãn các phần tử lớp

đa số thành nhãn lớp thiểu số mà không thay đổi kích thước dữ liệu. Phương pháp đổi

nhãn phần tử lớp đa số dựa vào lý thuyết tập thô [18] hay phương pháp SPY [19] đổi

nhãn các phần tử đa số trong k-láng giềng gần nhất. Kết quả thực nghiệm cũng chỉ ra

nhóm phương pháp này đạt hiệu quả tương đối tốt, đặc biệt phương pháp SPY có tư

tưởng rõ ràng, trực quan, tuy nhiên, trong một số trường hợp số lượng phần tử được

lựa chọn đổi nhãn chưa thực sự tương ứng với nhu cầu phân bố của từng vùng dữ liệu

cụ thể. Chính vì vậy, một số trường hợp do số lượng phần tử sinh thêm không phù hợp

dẫn đến SPY không nâng cao hiệu quả phân lớp mà một số trường hợp còn giảm độ

chính xác.

8

Tạp chí Khoa học và Kỹ thuật - Học viện KTQS - Số 184 (06-2017)

2.2. Phương pháp đề xuất Mask

Dựa trên những phân tích về ưu, nhược điểm một số hướng tiếp cận hiện nay như

SPY và ADASYN, chúng tôi đề xuất phương pháp Mask tăng cường các phần tử lớp

thiểu số bằng cách thay đổi nhãn lớp của một số phần tử lớp đa số thành nhãn lớp

thiểu số theo phân bố dữ liệu. Đối với phương pháp này, số lượng các phần tử lớp đa

số được đổi nhãn phụ thuộc vào hai yếu tố. Thứ nhất, tổng số các các phần tử lớp đa

số được đổi nhãn phụ thuộc vào sự chênh lệch giữa số lượng phần tử lớp đa số và số

lượng phần tử lớp thiểu số. Thứ hai, với mỗi phần tử lớp thiểu số, số láng giềng gần

nhất xung quanh nó được lựa chọn để đổi nhãn khác nhau. Điều này phụ thuộc vào

sự chênh lệnh giữa số lượng phần tử láng giềng gần nhất thuộc lớp đa số và số lượng

láng giềng gần nhất thuộc lớp thiểu số. Nếu giá trị này càng lớn thì số láng giềng gần

nhất lớp thuộc lớp đa số của nó được đổi nhãn càng nhiều và ngược lại. Như vậy, Mask

không chỉ làm giảm tính mất cân bằng dữ liệu mà còn tăng cường các phần tử biên lớp

thiểu số.

Đầu tiên, số lượng phần tử lớp đa số được đổi nhãn khi áp dụng Mask tỷ lệ với sự

chênh lệch số lượng phần tử của hai lớp và được tính theo công thức sau:

G = (n_maj− n_min) ∗ β

Trong đó, n_majvà n_mintương ứng là số lượng phần tử lớp đa số và số lượng phần tử

lớp thiểu số. β là tỉ lệ phần trăm số lượng phần tử được chọn để đổi nhãn dựa trên sự

chênh lệch phần tử giữa lớp đa số và lớp thiểu số là (n_maj− n_min). Trong đó, β∈ [0,

0.5] được sử dụng để xác định tỉ lệ cân bằng mong muốn, đặc biệt, β=0.5 nghĩa là một

dữ liệu cân bằng sẽ được tạo ra sau khi đổi nhãn một số phần tử lớp đa số sang thiểu

số.

Sau đó, với mỗi phần tử lớp thiểu số, tìm k láng giềng gần nhất của nó trong toàn

bộ tập dữ liệu huấn luyện và tính tỷ lệ số lượng láng giềng gần nhất lớp đa số trong

x_i

k

số k láng giềng gần, ký hiệu là r_i=

(với x_ilà số lượng phần tử lớp đa số trong k

láng giềng)

Tiếp theo, chúng ta xác định phân bố mật độ của mỗi phần tử lớp thiểu số:

r_i

n_min

i=1

0

P

r_i=

r_i

Từ đó xác định được số lượng phần tử cần đổi nhãn xung quanh mỗi phần tử lớp

thiểu số theo công thức sau:

g_i= r⁰∗ G

i

Thuật toán Mask được mô tả theo các bước cụ thể như sau:

9

Chuyên san Công nghệ thông tin và Truyền thông - Số 10 (06-2017)

Bảng 1. Ma trận nhầm lẫn

Dự đoán là Negative

Dự đoán là Positive

Thực tế là Positive

Thực tế là Negative

TP

FP

FN

TN

Thuật toán Mask (T, β, k)

Đầu vào: Tập dữ liệu huấn luyện T gồm n_majphần tử lớp đa số và n_minphần

tử lớp thiểu số, tham số β và k.

Đầu ra: Tập dữ liệu huấn luyện mới T’.

• Bước 1: Tính số lượng phần tử lớp đa số cần được đổi nhãn lớp theo công

thức G = (n_maj- n_min)*β. Trong đó, β là tỷ lệ phần trăm các phần tử lớp

đa số được chọn đổi nhãn lớp, tính theo sự chênh lệch số lượng phần tử

hai lớp.

• Bước 2: Với mỗi phần tử lớp thiểu số p_i, tìm k láng giềng gần nhất của nó

x_i

k

và tính r_i= . Trong đó, x_ilà số lượng phần tử lớp đa số trong k láng

giềng gần nhất của p_i, i=1,2, ... , n_min. Do đó r_i∈ [0, 1].

• Bước 3: Chuẩn hóa r_itheo công thức r⁰=^P

, do đó r⁰_ilà phân bố mật

r_i

min

n

i=1

i

r_i

P

độ và

r⁰_i= 1.

i

• Bước 4: Với mỗi phần tử lớp thiểu số, tính số lượng láng giềng gần nhất

của nó thuộc lớp đa số cần đổi nhãn theo công thức g_i= r⁰∗ G.

i

• Bước 5: Đổi nhãn g_iláng giềng gần nhất thuộc lớp đa số của mỗi phần tử

lớp thiểu số thành nhãn lớp thiểu số.

Ý tưởng chính của phương pháp Mask là sử dụng phân bố mật độ r_i⁰làm tiêu chí lựa

chọn số lượng phần tử lớp đa số cần đổi nhãn đối với mỗi phần tử lớp thiểu số. Như

vậy, phương pháp Mask không chỉ điều chỉnh phân bố lớp (theo tham số β) mà còn

tăng cường các các phần tử biên lớp thiểu số. Sau khi áp dụng Mask, số lượng phần

tử lớp thiểu số tăng lên và số lượng phần tử lớp đa số giảm đi. Độ phức tạp thuật toán

Mask là O(n²)) trong đó, n là số lượng các phần tử lớp thiểu số.

3. Thực nghiệm

3.1. Tiêu chí đánh giá

Có nhiều độ đo khác nhau để đánh giá hiệu quả phân lớp được xây dựng dựa trên

ma trận nhầm lẫn trong bảng 1 [20].

10

Tạp chí Khoa học và Kỹ thuật - Học viện KTQS - Số 184 (06-2017)

Bảng 2. Dữ liệu thực nghiệm

Dữ liệu

UCSD - FICO

German Credit Data

Số ví dụ

500

1,000

690

Số thuộc tính

Tỷ lệ thiểu số : đa số

1: 20.74

19

20

14

8

1: 2.33

1 : 1.25

1 : 28.10

Australian Credit Approval

1,484

Yeast

TP + TN

TP

TP + FN

Accuracy =_{TP + FP + TN + FN}Sensitivity (SE) = Recall =

TN

√

Speciﬁcity (SP) =_{FP + TN}

G − mean = SE ∗ SP

Trong cộng đồng khai phá dữ liệu, đối với bài toán phân lớp dữ liệu mất cân bằng,

sensitivity (SE) và specificity (SP) là hai độ đo được sử dụng để đánh giá hiệu năng

phân lớp. SE đánh giá tỉ lệ positive thực tế được phân loại đúng, trong khi đó, SP được

định nghĩa như tỉ lệ negative được dự đoán đúng. Độ đo G-mean được đề xuất để đánh

giá cân bằng giữa SE và SP, và được sử dụng phổ biến để đánh giá hiệu quả phân lớp

trong dữ liệu mất cân bằng [4] [12] [19]. Do vậy, trong bài báo này chúng tôi sử dụng

G-mean như độ đo quan trọng để đánh giá hiệu quả phân lớp dữ liệu mất cân bằng.

3.2. Dữ liệu

Để đánh giá hiệu quả của phương pháp Mask theo các tiêu chí đánh giá đã nêu, chúng

tôi tiến hành thực nghiệm với ba bộ dữ liệu tài chính là German Credit Data, Australian

Credit Approval, và UCSD-FICO. Để minh chứng cho khả năng áp dụng của Mask

chúng tôi thực nghiệm thêm một bộ dữ liệu y sinh học (Yeast) có tỉ lệ mất cân bằng

lớn. Trong đó, ba bộ dữ liệu German Credit Data, Australian Credit Approval và Yeast

lấy từ kho dữ liệu UCI [21]. Bộ dữ liệu UCSD-FICO lấy từ cuộc thi “UCSD-FICO data

mining contest 2009”. Thông tin về các bộ dữ liệu được thể hiện trong bảng 2.

Bốn bộ dữ liệu nêu trên đều có sự mất cân bằng giữa các lớp. Trong đó, dữ liệu

UCSD-FICO và Yeast có tỷ lệ mất cân bằng cao nhất tương ứng là 1:20.74 và 1:28.10,

tiếp theo là dữ liệu German Credit Data với tỷ lệ mất cân bằng là 1:2.33, và cuối cùng

là Australian Credit Approval với tỷ lệ mất cân bằng là 1: 1.25. Lớp đa số được gán

nhãn là Negative và lớp thiểu số được gán nhãn Positive.

3.3. Kết quả thực nghiệm

Để so sánh hiệu quả của các phương pháp giải quyết vấn đề mất cân bằng dữ liệu

trình bày ở trên, quá trình thực nghiệm sử dụng các thuật toán phân lớp SVM, Random

Forest, và C5.0. Hiệu quả của các mô hình phân lớp được đánh giá bằng phương pháp

k-fold cross-valiadation, với k = 10. Ngôn ngữ sử dụng để cài đặt và chạy chương trình

là ngôn ngữ R.

Bộ dữ liệu sẽ được chia làm 10 phần có kích thước xấp xỉ nhau, mỗi phần được gọi

là một fold. Mỗi lần trong số 10 lần lặp, lần lượt mỗi phần được sử dụng làm dữ liệu

11

Chuyên san Công nghệ thông tin và Truyền thông - Số 10 (06-2017)

kiểm tra và 9 phần còn lại được sử dụng làm dữ liệu huấn luyện. Mỗi lần lặp, một bộ

dữ liệu huấn luyện ban đầu được áp dụng một phương pháp điều chỉnh phân bố dữ liệu

ROS, RUS, SMOTE, Borderline SMOTE1, SPY, hoặc Mask. Sau đó bộ dữ liệu huấn

luyện mới được dùng để xây dựng mô hình phân lớp bằng các thuật toán phân lớp SVM,

Random Forest, và C5.0. Tiếp theo, mô hình phân lớp được đánh giá bằng bộ dữ liệu

kiểm tra. Từ đó xác định số lượng các mẫu được phân lớp đúng và số lượng các mẫu

được phân lớp sai trong mỗi lần lặp để xác định giá trị các độ đo đánh giá. Các giá

trị sensitivity (SE), specificity (SP), và G-mean của một lần 10-fold là trung bình cộng

các giá trị sensitivity, specificity và G-mean 10 lần lặp. Kết quả phân lớp cuối cùng

của một bộ dữ liệu là trung bình cộng của quá trình thực hiện 20 lần 10-fold. Ngoài

ra, để so sánh xem giá trị G-mean của phương pháp phân lớp nào cao hơn, chúng tôi

sử dụng kiểm định t-test để kiểm tra sự khác biệt.

Đối với các bộ dữ liệu tác giả tiến hành thực nghiệm với các phương pháp điều

chỉnh dữ liệu: Random Over-sampling (ROS), Random Under-sampling (RUS), SMOTE,

Borderline SMOTE1 (BSO1), SPY, và Mask. Sau khi áp dụng các phương pháp điều

chỉnh dữ liệu, các bộ dữ liệu mới được phân lớp bằng các giải thuật phân lớp Support

Vector Machine (SVM), C5.0, và Random Forest, kết quả được thể hiện ở bảng 3.

Kết quả thực nghiệm trên hai bộ dữ liệu German Credit Data và UCSD–FICO cho

thấy phương pháp Mask đạt giá trị G-mean cao hơn so với dữ liệu ban đầu và dữ liệu

sau khi đã được điều chỉnh bởi các thuật toán ROS, RUS, SMOTE, BSO1, và SPY.

Cụ thể, với dữ liệu UCSD–FICO, khi sử dụng giải thuật phân lớp SVM, phương pháp

SPY đạt giá trị g-mean bằng 73.31% cao hơn so với dữ liệu gốc (0%), ROS (71.73%),

RUS (66.65%), SMOTE (68.73%), BSO1 (67.60%), tuy nhiên, Mask còn đạt hiệu quả

cao hơn hẳn so với SPY là 74.76%. Tương tự, khi thực hiện phân lớp bằng C5.0 hay

RF thì Mask (76.04%, 74.95%) cũng đạt hiệu quả cao hơn hẳn dữ liệu gốc (3.12%,

48.37%), ROS (66.90%, 59.27%), RUS (63.72%, 73.96%), SMOTE (54.45%, 56.29%),

BSO1 (59.02%, 56.86%), và SPY (74.07%, 73.97%). Như vậy, trong trường hợp này,

khi sử dụng các giải thuật phân lớp đối với dữ liệu gốc, gần như không phát hiện ra

bất kỳ tường hợp gian lận nào trong khi độ chính xác dự đoán những trường hợp không

gian lận xấp xỉ 100%. Sau khi áp dụng các phương pháp điều chỉnh dữ liệu, hiệu quả

phân lớp tăng lên rõ rệt. Trong đó, giá trị g-mean của phương pháp Mask đạt giá trị

lớn nhất so với các phương pháp còn lại.

Để minh chứng cho khả năng áp dụng của Mask chúng tôi thực nghiệm thêm một

bộ dữ liệu y sinh học Yeast, và các kết quả cũng chỉ ra Mask đạt hiệu quả cao hơn,

cụ thể như khi thực hiện phân lớp bằng SVM, Mask đạt giá trị g-mean là 83.52% cao

hơn hẳn SPY (80.98%), dữ liệu gốc (19.55%), ROS (75.22%), RUS (76.63%), SMOTE

(74.10%), BSO1 (64.34%). Tương tự, với việc sử dụng phân lớp bằng C5.0 và RF,

Mask đều cho kết quả tốt hơn.

Các giá trị p-value so sánh các giá trị G-mean cao nhất khi phân lớp bằng các giải

thuật SVM, C5.0, và RF được thể hiện trong bảng 4, bảng 5 và bảng 6. Nếu giá trị

p-value nhỏ hơn hoặc bằng 0.05 thì giá trị G-mean trung bình của thuật toán có ý nghĩa

thống kê.

12

Tạp chí Khoa học và Kỹ thuật - Học viện KTQS - Số 184 (06-2017)

Bảng 3. So sánh các giá trị sensitivity (SE), specificity (SP), và G-mean

SVM

SP

C5.0

SP

RF

SP

Dữ liệu

Phương pháp

SE

G-mean

60.30

71.05

71.16

70.65

70.41

71.22

71.85

SE

G-mean

63.10

63.58

65.63

64.00

63.68

66.24

66.27

SE

G-mean

62.00

66.63

71.34

68.25

65.17

70.81

71.44

Dữ liệu gốc

ROS

RUS

39.75

67.72

73.48

69.83

65.55

70.23

70.08

91.53

74.56

68.92

71.49

75.64

72.26

73.67

47.62

52.62

65.57

56.05

50.32

63.13

60.35

83.70

76.87

65.74

73.14

80.65

69.53

72.81

41.90 91.76

50.82 87.38

73.37 69.38

56.65 82.24

48.38 87.80

71.02 70.61

69.82 73.11

German

Credit Data

SMOTE

BSO1

SPY

Mask (β=0.3)

Dữ liệu gốc

ROS

RUS

0.00

100.00

91.57

62.53

95.07

95.21

73.44

76.35

0.00

0.65

99.61

96.21

59.95

95.34

94.62

75.31

79.01

3.12

23.70 99.62

35.43 99.34

80.00 68.50

32.17 98.85

32.83 98.95

68.70 79.77

79.78 70.46

48.37

59.27

73.96

56.29

56.86

73.97

74.95

56.30

71.30

49.78

48.26

73.26

71.73

66.65

68.73

67.60

73.31

74.76

46.74

68.04

31.30

37.39

73.04

73.26

66.90

63.72

54.45

59.02

74.07

76.04

UCSD-FICO

SMOTE

BSO1

SPY

Mask (β=0.2)

Dữ liệu gốc

ROS

RUS

88.83

89.40

91.40

90.86

91.74

91.78

89.02

82.51

82.48

80.43

80.55

80.09

79.96

82.90

85.61

85.87

85.74

85.55

85.72

85.66

85.91

82.10

79.07

84.97

83.57

84.17

83.84

82.59

86.97

87.00

85.00

85.30

85.85

86.14

87.17

84.49

82.93

84.98

84.43

85.00

84.97

84.84

85.36 87.92

83.94 89.28

87.79 86.31

87.17 86.66

87.31 87.15

87.10 87.15

86.03 88.09

86.63

86.57

87.04

86.91

87.23

87.13

87.05

Australian

Credit

Approval

SMOTE

BSO1

SPY

Mask (β=0.2)

Dữ liệu gốc

ROS

RUS

SMOTE

BSO1

SPY

3.73

99.98

90.69

94.69

93.60

97.60

92.92

81.70

19.55

75.22

76.63

74.10

64.34

80.98

83.52

26.76

41.76

65.98

62.06

30.39

70.49

90.39

99.14

96.65

93.42

92.51

99.04

92.19

73.76

51.33

63.45

78.48

75.73

54.78

80.60

81.63

14.12 99.73

31.08 98.93

51.47 96.11

54.80 95.99

24.41 99.06

68.73 92.11

84.02 83.05

37.39

55.41

70.29

72.51

49.10

79.54

83.52

62.45

62.06

58.73

42.45

70.59

85.39

Yeast

Mask (β=0.15)

Ví dụ, đối với dữ liệu UCSD–FICO, giá trị p-value khi so sánh giá trị G-mean của

dữ liệu ban đầu và các phương pháp điều chỉnh dữ liệu ROS, RUS, SMOTE, BSO1,

SPY tương ứng là (2.2E-16, 2.2E-16, 2.2E-16, 2.2E-16 và 2.2E-16) và với Mask là

2.2E-16. Hơn nữa, dễ dàng nhận thấy rằng, phương pháp Mask hiệu quả hơn ROS,

RUS, SMOTE, BSO1, và SPY với các giá trị p-value tương ứng là 7.76E-04, 5.13E-13,

1.56E-08, 2.32E-06, và 1.67E-02. Các giá trị trong bảng 3 và bảng 4, bảng 5 và bảng

6, cho thấy phương pháp điều chỉnh dữ liệu Mask đạt hiệu quả tốt và vượt trội hơn hẳn

so với các thuật toán khác khi phân lớp bằng SVM. Mặt khác, đối với dữ liệu có tỷ lệ

mất cân bằng nhỏ như Australian Credit Approval phương pháp Mask không làm giảm

hiệu quả phân lớp.

Các kết quả trên cho thấy, khi sử dụng phương pháp Mask giá trị g-mean cao hơn

so với các phương pháp khác khi sử dụng giải thuật phân lớp bằng SVM, C5.0, RF và

vượt trội hơn so với các phương pháp khác ở thuật toán phân lớp SVM.

Từ đó, có thể thấy, việc điều chỉnh dữ liệu theo phương pháp Mask phù hợp với phân

lớp dữ liệu bằng SVM, C5.0, và RF. Như vậy, độ chính xác dự đoán những trường hợp

gian lận (phần tử lớp thiểu số) và trường hợp không gian lận (phần tử lớp đa số) tăng

13

Chuyên san Công nghệ thông tin và Truyền thông - Số 10 (06-2017)

Bảng 4. Các giá trị p-value so sánh G-mean trung bình khi phân lớp bằng SVM

SVM

Dữ liệu

Phương pháp

Dữ liệu gốc

2.20E-16

8.30E-02

2.10E-01

3.58E-01

2.49E-01

3.59E-01

4.27E-02

1.09E-09

2.20E-16

ROS

RUS

SMOTE

BSO1

SPY

ROS

RUS

SMOTE

BSO1

SPY

Mask

ROS

RUS

SMOTE

BSO1

SPY

Mask

ROS

RUS

SMOTE

BSO1

SPY

Mask

ROS

RUS

German

Credit

Data

3.17E-01

7.25E-02

7.70E-03

2.72E-01

1.84E-03

2.55E-02

1.51E-03

4.19E-01

3.84E-03

1.84E-01

2.83E-02

4.70E-05

2.71E-03

1.27E-06

1.43E-02

1.67E-02

1.61E-02

6.66E-08

2.51E-06

2.71E-03

2.36E-03

3.81E-02

7.76E-04

1.47E-02

2.34E-01

6.90E-11

5.13E-13

UCSD -FICO

2.03E-01

2.07E-06

1.56E-08

4.67E-05

2.32E-06

Australian

Credit

Approval

1.84E-01

1.47E-02

1.49E-01

9.34E-01

4.01E-01

4.17E-02

4.25E-01

7.81E-01

8.50E-02

6.15E-02

1.18E-01

2.22E-03

7.13E-01

6.24E-02

2.70E-02

7.77E-02

1.05E-08

1.90E-10

1.56E-13

SMOTE

BSO1

SPY

4.72E-04

1.43E-09

1.31E-09

3.15E-14

Yeast

7.21E-08

2.23E-12

6.98E-15

9.29E-12

1.27E-12

Mask

Bảng 5. Các giá trị p-value so sánh G-mean trung bình khi phân lớp bằng C5.0

C50

Dữ liệu

Phương pháp

Dữ liệu gốc

1.84E-01

5.71E-06

4.27E-02

1.35E-01

2.36E-07

1.04E-06

2.20E-16

6.53E-06

4.09E-02

3.87E-01

4.60E-02

6.97E-02

2.95E-01

6.00E-12

2.20E-16

3.74E-03

2.20E-16

ROS

RUS

SMOTE

BSO1

SPY

ROS

German

Credit

Data

RUS

9.24E-06

1.68E-01

4.07E-01

2.58E-07

2.67E-06

SMOTE

BSO1

SPY

1.50E-04

1.95E-05

7.43E-02

9.62E-02

2.34E-01

3.82E-06

2.91E-05

5.31E-07

5.00E-06

Mask

ROS

4.76E-01

2.66E-02

3.39E-01

2.38E-02

RUS

9.89E-01

1.65E-10

1.63E-04

2.65E-06

1.10E-08

SMOTE

BSO1

SPY

1.22E-08

8.00E-03

2.58E-11

1.02E-14

UCCD -FISO

1.25E-02

2.20E-16

3.48E-09

5.37E-10

Mask

ROS

Australian

Credit

RUS

4.64E-09

7.92E-07

1.16E-08

7.97E-08

1.38E-07

SMOTE

BSO1

SPY

2.35E-03

4.68E-01

5.07E-01

3.05E-01

Approval

5.82E-03

1.78E-02

4.10E-02

5.33E-01

2.95E-01

Mask

ROS

RUS

2.20E-16

1.50E-15

1.43E-10

2.20E-16

SMOTE

BSO1

SPY

3.07E-04

2.20E-16

4.55E-04

5.18E-06

Yeast

2.20E-16

8.28E-09

1.65E-10

2.20E-16

Mask

14

Tạp chí Khoa học và Kỹ thuật - Học viện KTQS - Số 184 (06-2017)

Bảng 6. Các giá trị p-value so sánh G-mean trung bình khi phân lớp bằng RF

RF

Dữ liệu

Phương pháp

Dữ liệu gốc

2.20E-16

8.24E-14

2.20E-16

2.69E-10

2.20E-16

3.91E-07

1.80E-07

2.20E-16

3.43E-01

2.47E-03

3.43E-01

2.48E-05

3.00E-04

1.13E-01

2.20E-16

3.12E-15

2.20E-16

ROS

RUS

SMOTE

BSO1

SPY

ROS

German

Credit

Data

RUS

2.20E-16

1.67E-07

1.88E-06

2.20E-16

SMOTE

BSO1

SPY

4.18E-14

2.20E-16

9.32E-01

2.39E-01

1.35E-14

7.21E-12

6.81E-14

2.20E-16

Mask

ROS

1.98E-02

1.02E-01

6.92E-01

8.10E-10

RUS

2.20E-16

2.56E-03

1.52E-02

2.20E-16

SMOTE

BSO1

SPY

2.20E-16

4.95E-01

8.82E-02

UCSD -FICO

3.14E-01

2.20E-16

Mask

ROS

Australian

Credit

RUS

2.87E-03

5.00E-01

7.12E-05

5.35E-04

2.55E-03

SMOTE

BSO1

SPY

2.87E-03

9.63E-02

2.79E-01

4.70E-01

Approval

7.12E-05

5.35E-04

2.55E-03

7.70E-01

1.13E-01

Mask

ROS

RUS

2.20E-16

6.11E-09

2.20E-16

SMOTE

BSO1

SPY

8.13E-04

2.20E-16

3.53E-16

2.20E-16

Yeast

2.20E-16

6.68E-16

2.20E-16

Mask

lên. Các phương pháp ROS, RUS, SMOTE, BOS1 đều làm thay đổi kích thước dữ liệu.

Với phương pháp Mask, kích thước dữ liệu không thay đổi nhưng vẫn tăng cường các

phần tử lớp đa số, làm giảm tính mất cân bằng dữ liệu và nâng cao hiệu quả phân lớp.

4. Kết luận

Khai phá dữ liệu được ứng dụng rộng rãi trong phát hiện gian lận tài chính, trong đó

phân lớp là kỹ thuật được sử dụng phổ biến với nhiều giải thuật phân lớp khác nhau

được đề xuất. Tuy nhiên, các giải thuật phân lớp chuẩn thường gặp khó khăn đối với dữ

liệu không cân bằng đặc biệt trong phát hiện gian lận tài chính do số lượng các trường

hợp gian lận thường nhỏ hơn rất nhiều so với các trường hợp không gian lận.

Chính vì vậy, trong nghiên cứu này, chúng tôi đã nghiên cứu và đề xuất một phương

pháp mới, Mask, nhằm đổi nhãn các phần tử lớp đa số dựa trên phân phối mật độ của

lớp thiểu số. Các kết quả thực nghiệm với dữ liệu tài chính và y sinh học đã cho thấy,

phương pháp đề xuất Mask đạt hiệu quả hơn so với các phương pháp điều chỉnh dữ liệu

như Random Over-sampling, Random Under-sampling, SMOTE, Borderline SMOTE1,

và SPY.

Mở rộng hơn, chúng tôi nhận thấy các phần tử nằm trên đường biên hoặc gần đường

biên đóng vai trò quan trọng hơn trong việc phân lớp so với các phần tử xa đường biên

[14]. Do vậy, trong thời gian tới, chúng tôi nghiên cứu và cải tiến phương pháp Mask

nhằm tăng cường các phần tử biên lớp thiểu số theo phân bố dữ liệu.

Tài liệu tham khảo

[1] F. H. M. J. I. and S. S. , "A Two-Tier Classification Model for Financial Fraud Detection," International Journal

of Computer Applications, vol. 118, no. 19, pp. 1-8, 2015.

15

Chuyên san Công nghệ thông tin và Truyền thông - Số 10 (06-2017)

[2] A. S. and P. K. P. , "A Review of Financial Accounting Fraud Detection based on Data Mining Techniques,"

International Journal of Computer Applications, vol. 39, no. 1, pp. 37-47, 2012.

[3] M. Z. and P. S. , "Application of Credit Card Fraud Detection: Based on Bagging Ensemble Classifier," in

International Conference on Computer, Communication and Convergence (ICCC 2015), 2015.

[4] S. Yanmin, W. Andrew K.C. and K. Mohamed S., "Classfiaction of imbalanced data: A Review," International

Journal of Pattern Recognition and Artificial Intelligence, vol. 23, p. 687–719, 2009.

[5] Bartosz Krawczyk, "Learning from imbalanced data: open challenges and future directions," Progress in

Artificial Intelligence, vol. 5, no. 4, p. 221–232, 2016.

[6] Z. Sun, Q. Song, X. Zhu, H. Sun, B. Xu and Y. Zhou, "A novel ensemble method for classifying imbalanced

data," Pattern Recognit, vol. 48, p. 1623–1637, 2015.

[7] Patel, Harshita and Ghanshyam Singh Thakur, "Classification of Imbalanced Data using a Modified Fuzzy-

Neighbor Weighted Approach," International Journal of Intelligent Engineering and Systems 10.1 , pp. 56-64,

2017.

[8] C. Beyan and R. B. Fisher, "Classifying Imbalanced Data Sets using Similarity Based Hierarchical Decompo-

sition," Pattern Recognit, vol. 48, p. 1653–1672, 2014.

[9] S. Vluymans, I. Triguero, C. Cornelis and Y. Saeys, "EPRENNID: An evolutionary prototype reduction based

ensemble for nearest neighbor classification of imbalanced data," Neurocomputing, p. 596–610, 2016.

[10] E. R. Y. C. R. B. and F. H. , "SMOTE-RSB*: a hybrid preprocessing approach based on oversampling and

undersampling for high imbalanced datasets using SMOTE and rough sets theory," Knowledge and Information

Systems, vol. 33, no. 2, pp. 245-265, 2011.

[11] J. Błaszczyn´ski and J. Stefanowsk, "Neighbourhood sampling in bagging for imbalanced data," Neuro

computing, vol. 150, pp. 529-542, 2015.

[12] Haibo He and Edwardo A. Garcia, "Learning from Imbalanced Data," IEEE Transactions on Knowledge and

Data Engineering, vol. 21, no. 9, pp. 1263 - 1284, 2009.

[13] C. Nitesh V., B. Kevin W., O. H. Lawrence and K. W. Philip, "SMOTE: Synthetic Minority Over-sampling

Technique," Artificial Intelligence Research, vol. 16, p. 321–357, 2002.

[14] H. Hui, W. Wen-Yuan and M. Bing-Huan, "Borderline-SMOTE: A New Over-Sampling Method in Imbalanced

Data Sets Learning," in ICIC 2005, 2005.

[15] C. B. K. S. and C. L. , "Safe-Level-SMOTE: Safe-Level-Synthetic Minority Over-Sampling TEchnique for

Handling the Class Imbalanced Problem," in Advances in Knowledge Discovery and Data Mining, vol. 5476,

Springer-Verlag Berlin Heidelberg, 2009, pp. 475-482.

[16] Haibo He, Yang Bai, Edwardo A, Garcia and Shutao Li, "ADASYN: Adaptive synthetic sampling approach

for imbalanced learning," IEEE INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS, pp.

1322-1328, 2008.

[17] Sáez, José A and et al., "SMOTE–IPF: Addressing the noisy and borderline examples problem in imbalanced

classification by a re-sampling method with filtering," Information Sciences 291, pp. 184-203, 2015.

[18] J. S. and S. W. , "Rough Sets for Handling Imbalanced Data: Combining Filtering and Rule-based Classi-

fiers," Fundamenta Informaticae - SPECIAL ISSUE Fundamenta Informaticae - Special issue on concurrency

specification and programming (CSP 2005), vol. 72, no. 1-3, pp. 379-391, 2006.

[19] X. T. D. D. H. T. O. Hirose and K. Satou, "SPY: A Novel Resampling Method for Improving Classification

Performance in Imbalanced Data," in Knowledge and Systems Engineering (KSE), 2015 Seventh International

Conference on, 2015.

[20] I. T. "Two Modifications of CNN," Transactions on Systems Man and Communications, vol. 6, no. 11, pp.

769-772, 1976.

[21] Lichman, Artist, UCI Machine Learning Repository [http://archive.ics.uci.edu/ml]. Irvine, CA: University of

California, School of Information and Computer Science. [Art]. 2013.

Ngày nhận bài 06-4-2017; Ngày chấp nhận đăng 23-8-2017.

ꢀ

16

Tạp chí Khoa học và Kỹ thuật - Học viện KTQS - Số 184 (06-2017)

Nghiêm Thị Toàn tốt nghiệp Khoa CNTT Trường Đại học Sư Phạm Hà Nội năm 2013. Bảo

vệ luận văn thạc sĩ CNTT tại Đại học Sư Phạm Hà Nội tháng 6/2016.

Nơi công tác: Trường THPT Lý Nhân Tông, Bắc Ninh.

Hướng nghiên cứu chính: Khai phá dữ liệu.

E-mail: toannt.kinh[email protected]

Nghiêm Thị Lịch tốt nghiệp Khoa CNTT Trường Đại học Sư Phạm Hà Nội năm 2007. Năm

2009, nhận bằng thạc sĩ CNTT tại Đại học Sư Phạm Hà Nội.

Nơi công tác: Khoa Hệ thống thông tin Kinh tế, Trường Đại học Thương Mại.

Hướng nghiên cứu chính: Khai phá dữ liệu, tính toán mềm

E-mail: lichnt7[email protected]

Bùi Dương Hưng tốt nghiệp đại học Trường ĐHBK Hà nội năm 2000. Thạc sỹ tại Học viện

KTQS năm 2010; nghiên cứu sinh khoá 2015, Học viện Công nghệ Bưu chính Viễn thông.

Nơi công tác: Khoa Tin học, Trường ĐH Công đoàn.

Hướng nghiên cứu chính: Data Mining, Hệ thống thông tin, Xử lý ảnh trong sinh tin.

E-mail: hungbd@dhcd.edu.vn

Đặng Xuân Thọ tốt nghiệp Khoa CNTT Trường Đại học Sư Phạm Hà Nội năm 2007. Năm

2009, nhận bằng thạc sĩ CNTT tại Đại học Sư Phạm Hà Nội. Năm 2013, nhận bằng Tiến sĩ

Trường Đại học Tổng hợp Kanazawa, Nhật Bản.

Nơi công tác: Khoa CNTT Trường Đại học Sư Phạm Hà Nội.

Hướng nghiên cứu chính: Khai phá dữ liệu, Học máy, Tin sinh học.

E-mail: thodx@hnue.edu.vn

17