Luận án Phát triển một số mô hình phát hiện bất thường mạng dựa trên học sâu và tổng hợp dữ liệu

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

BÙI CÔNG THÀNH

PHÁT TRIỂN MỘT SỐ MÔ HÌNH PHÁT HIỆN BẤT

THƯỜNG MẠNG DỰA TRÊN HỌC SÂU VÀ TỔNG

HỢP DỮ LIỆU

LUẬN ÁN TIẾN SĨ KỸ THUẬT

HÀ NỘI – 2021

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

BÙI CÔNG THÀNH

PHÁT TRIỂN MỘT SỐ MÔ HÌNH PHÁT HIỆN BẤT

THƯỜNG MẠNG DỰA TRÊN HỌC SÂU VÀ TỔNG

HỢP DỮ LIỆU

CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN

MÃ SỐ: : 9.48.01.04

LUẬN ÁN TIẾN SĨ

NGƯỜI HƯỚNG DẪN KHOA HỌC:

1. PGS.TS. HOÀNG MINH

2. PGS. TS. NGUYỄN QUANG UY

HÀ NỘI – 2021

i

TÓM TẮT

Sự phát triển nhanh của mạng máy tính và IoT (sau đây gọi là mạng) cả về

dịch vụ và hạ tầng đã kéo theo những thách thức rất lớn trong vấn đề bảo đảm an

ninh mạng. Tìm kiếm giải pháp phát hiện các tấn công mạng là nhiệm vụ trọng

tâm cho bảo vệ an ninh mạng, trong đó phát hiện bất thường mạng (Network

Anomaly Detection -NAD) được rất nhiều các học giả quan tâm nghiên cứu

trong những năm qua. NAD là lĩnh vực nghiên cứu để tìm ra các giải pháp hiệu

quả trong phân tách giữa trạng thái bình thường và bất thường mạng. Học máy

được biết như phương pháp chủ yếu cho xây dựng các thuật toán phát hiện bất

thường. Các mô hình học máy được huấn luyện chỉ với dữ liệu bình thường hay

còn gọi là các bộ phân đơn lớp (One-class Classification - OCC) được cho là

sự lựa chọn phù hợp và đang cho thấy các kết quả phát hiện bất thường rất

hiệu quả. Những năm gần đây, phát triển các kỹ thuật học sâu (deep learning)

đã mạng lại nhiều thành tựu trong các lĩnh vực, học sâu dựa trên kiến trúc

AutoEncoders (AE) được công nhận rộng rãi là phương pháp tiên tiến, có khả

năng giải quyết các vấn đề phức tạp của phát hiện bất thường mạng, tiêu biểu

trong đó là SAE (Shrink AutoEncoder).

Mặc dù vậy, các phương pháp NAD cần phải liên tục được nghiên cứu cải tiến

để có thể đáp ứng tốt hơn khi mà các nguy cơ đe doạ an ninh mạng ngày càng

tăng. Thêm vào đó, các phương pháp NAD đơn lẻ dựa trên OCC nhìn chung

đang phải đối mặt với một số thách thức khác như: mỗi phương pháp đơn được

cho là chỉ hiệu quả trên một điều kiện môi trường mạng cụ thể; các phương pháp

OCC vẫn cần sự hỗ trợ của chuyên gia để đưa ra ngưỡng quyết định, đây là yêu

cầu đối với một mô hình phát hiện tấn công khi được triển khai trong thực tế.

Luận án hướng tới mục tiêu nghiên cứu cải tiến phương pháp phát hiện bất

thường mạng theo hướng giải quyết một số vấn đề đặt ra trên. Kết quả một số

ii

nội dung chính đã được thực hiện gồm. (i) Đã đề xuất được giải pháp cho cải

tiến một số hạn chế của phương pháp học sâu NAD tiêu biểu, các thuật toán

cải tiến cho phép xây dựng mô hình NAD hiệu quả hơn trong điều kiện dữ liệu

của đối tượng quan sát có tính phân cụm cao, tồn tại ở dạng nhiều cụm; có

thể phát hiện hiệu quả hơn đối với nhóm tấn công mạng mà mô hình tiêu biểu

dựa trên học sâu AutoEncoder gặp khó. (ii) Luận án đã đề xuất được mô hình

khung tổng hợp dữ liệu, có tên OFuseAD, cho bài toán phát hiện bất thường.

Mô hình đạt được từ kết quả cải tiến lý thuyết Dempster-Shafer, giải quyết các

thách thức trong kết hợp các phương pháp OCC như xác định ngưỡng, trọng số

cho kết hợp, cơ sở chọn lựa phương pháp đơn tham gia mô hình tổng hợp.

Kết quả thử nghiệm mô hình OFuseAD trên mười tập dữ liệu phổ biến trong

lĩnh vực an ninh mạng cho thấy mô hình hoạt động khả thi, cho hiệu quả phát

hiện bất thường hiệu quả, ổn định hơn so với các phương pháp đơn OCC trong

đa số tập dữ liệu (9/10 tập dữ liệu thực nghiệm). Ngoài ra, mô hình OFuseAD

có thể hoạt động mà không cần sự can thiệp cuả chuyên gia trong thiết lập

ngưỡng quyết định.

Các vấn đề trên đã được luận án nghiên cứu, giải quyết. Các đóng góp của

luận án đã được công bố trong các công trình khoa học có uy tín. Trong hiểu

biết của nghiên cứu sinh, đóng góp của luận án mới và không trùng với các kết

quả nghiên cứu đã công bố trong và ngoài nước.

iii

LỜI CAM ĐOAN

Tôi xin cam đoan rằng nội dung luận án là kết quả nghiên cứu đã được thực

hiện bởi tác giả dưới sự hướng dẫn của các thầy hướng dẫn khoa học. Luận án

sử dụng các trích dẫn thông tin từ nhiều nguồn khác nhau và có nguồn gốc rõ

ràng. Những đóng góp trong luận án đã được công bố trong các bài báo của tác

giả và chưa được công bố trên bất kỳ công trình khoa học nào khác.

Hà Nội, ngày...tháng...năm 2021

iv

LỜI CẢM ƠN

Thực hiện luận án Tiến sĩ đòi hỏi nghiên cứu sinh phải tập trung cao độ,

trong thời gian dài. Kết quả nghiên cứu của NCS là sự góp sức rất lớn từ các

thầy hướng dẫn khoa học, cơ sở đào tạo, cơ quan công tác, đồng nghiệp và đặc

biệt là gia đình. Tôi muốn bày tỏ lòng biết ơn đối với họ.

Nghiên cứu sinh xin được bày tỏ lòng biết ơn sâu sắc đến Thầy giáo PGS.TS.

Hoàng Minh và PGS.TS. Nguyễn Quang Uy đã tận tình hướng dẫn, trang bị

kiến thức khoa học và phương pháp nghiên cứu để tôi hoàn thành nội dung

nghiên cứu luận án. Tôi xin cảm ơn TS. Cao Văn Lợi về những góp ý rất hữu

ích, giúp tôi thêm động lực trong nghiên cứu.

Nghiên cứu sinh xin bày tỏ lòng biết ơn chân thành tới Học viện Công nghệ

Bưu chính Viễn thông, Khoa Sau đại học, các thầy cô giáo đã giúp đỡ tôi trong

suốt quá trình tham gia học tập. Nghiên cứu sinh xin bày tỏ lòng biết ơn đến

BTL Thông tin liên lạc, các Thủ trưởng và đồng chí tại Trung tâm Kỹ thuật

thông tin công nghệ cao đã giúp đỡ, tạo điều kiện thời gian cho tôi.

Cuối cùng, nghiên cứu sinh vô cùng biết ơn đến gia đình bạn bè và người

thân, bố mẹ hai bên đã luôn động viên khích lệ tôi, vợ tôi Đặng Thị Bích đã

luôn cổ vũ động viên, chăm sóc gia đình và các con để tôi yên tâm nghiên cứu

hoàn thành luận án.

NCS. Bùi Công Thành

v

MỤC LỤC

TÓM TẮT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

i

LỜI CAM ĐOAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii

LỜI CẢM ƠN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iv

MỤC LỤC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

v

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT . . . . . viii

DANH MỤC CÁC BẢNG BIỂU . . . . . . . . . . . . . . . . . . . xii

DANH MỤC CÁC HÌNH VẼ . . . . . . . . . . . . . . . . . . . . . xii

PHẦN MỞ ĐẦU

1

3

9

1. Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2. Tính cấp thiết của luận án . . . . . . . . . . . . . . . . . . . . . . . .

3. Phát biểu bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4. Mục tiêu của luận án . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

5. Đối tượng và Phạm vi luận án . . . . . . . . . . . . . . . . . . . . . . 11

6. Phương pháp nghiên cứu . . . . . . . . . . . . . . . . . . . . . . . . . 11

7. Đóng góp của luận án . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

8. Bố cục luận án . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

CHƯƠNG 1. TỔNG QUAN VỀ PHÁT HIỆN BẤT THƯỜNG

MẠNG

13

1.1 Hệ thống phát hiện bất thường mạng . . . . . . . . . . . . . . . . . 13

1.1.1 Khái niệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

1.1.2 Mô hình phát hiện bất thường mạng . . . . . . . . . . . . . 15

1.1.3 Lưu lượng mạng . . . . . . . . . . . . . . . . . . . . . . . . . 18

1.1.4 Đầu ra của mô hình NAD . . . . . . . . . . . . . . . . . . . 19

1.2 Một số phương pháp đơn cho phát hiện bất thường mạng . . . . . 20

vi

1.2.1 Một số phương pháp OCC truyền thống . . . . . . . . . . . 21

1.2.2 Phương pháp OCC học sâu . . . . . . . . . . . . . . . . . . 29

1.3 Phát hiện bất thường dựa trên tổng hợp, kết hợp . . . . . . . . . . 35

1.3.1 Tổng hợp theo lai ghép . . . . . . . . . . . . . . . . . . . . . 36

1.3.2 Tổng hợp theo học cộng đồng . . . . . . . . . . . . . . . . . 36

1.3.3 Tổng hợp dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . 38

1.3.4 Tổng hợp dữ liệu dựa trên lý thuyết Dempster-Shafer . . . 40

1.4 Đánh giá giải pháp . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

1.4.1 Bộ dữ liệu cho kiểm thử . . . . . . . . . . . . . . . . . . . . 46

1.4.2 Các chỉ số đánh giá . . . . . . . . . . . . . . . . . . . . . . . 50

1.5 Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

CHƯƠNG 2. PHÁT HIỆN BẤT THƯỜNG DỰA TRÊN HỌC

SÂU AUTOENCODER

56

2.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

2.2 Giải pháp đề xuất . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

2.2.1 Giải pháp Clustering-Shrink AutoEncoder . . . . . . . . . 59

2.2.2 Giải pháp Double-shrink AutoEncoder . . . . . . . . . . . . 61

2.3 Thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

2.3.1 Dữ liệu thực nghiệm . . . . . . . . . . . . . . . . . . . . . . 65

2.3.2 Phương pháp xác định số cụm tối ưu . . . . . . . . . . . . 66

2.3.3 Thiết lập tham số thực nghiệm . . . . . . . . . . . . . . . . 67

2.4 Kết quả và đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . 68

2.5 Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

CHƯƠNG 3. PHÁT HIỆN BẤT THƯỜNG DỰA TRÊN TỔNG

HỢP DỮ LIỆU

82

3.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

3.2 Giải pháp đề xuất . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

3.2.1 Các thành phần của phương pháp OFuseAD . . . . . . . . 86

vii

3.2.2 Cơ chế hoạt động của OFuseAD . . . . . . . . . . . . . . . 97

3.3 Thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

3.3.1 Dữ liệu thực nghiệm . . . . . . . . . . . . . . . . . . . . . . 98

3.3.2 Thiết lập tham số thực nghiệm . . . . . . . . . . . . . . . . 98

3.4 Kết quả và đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . 99

3.5 Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

KẾT LUẬN

112

1. Một số kết quả chính của luận án . . . . . . . . . . . . . . . . . . . . 113

2. Một số giới hạn của luận án . . . . . . . . . . . . . . . . . . . . . . . . 114

3. Hướng nghiên cứu trong tương lai . . . . . . . . . . . . . . . . . . . . 115

CÁC CÔNG TRÌNH LIÊN QUAN ĐẾN LUẬN ÁN

TÀI LIỆU THAM KHẢO

116

118

viii

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT

Viết tắt

ACC

AD

Viết đầy đủ

Accuracy

Nghĩa

Chỉ số độ chính xác

Phát hiện bất thường

Kiến trúc mạng nơ-ron AutoEncoder

Anomaly Detection

AutoEncoder

AE

ANN

Artificial Neural Net- Mạng nơ-ron nhân tạo

work

AS

Anomaly Score

Độ đo bất thường

BPA

Basic Probability As- Hàm gán trọng số cơ bản của lý thuyết

signment

D-S

AUC

Area Under the Curve

Chỉ số đo dựa trên diện tích dưới đường

cong ROC

Bayes

CEN

CNN

A Bayesian Inference

Centroid

Suy luận Bayes

Thuật toán Centroid

Convolution

Network

Neural Mạng nơ-ron tích chập

KSAE

CTU

Clustering-Shrink

Autoencoder

Mô hình kết hợp phân cụm và SAE

Czech Technical Univer- Đại học kỹ thuật Séc

sity

DAE

Denoising Autoencoder Mạng giảm nhiễu AE

Defence Advanced Re- Tổ chức DARPA

search Project Agency

DARPA

DBN

Deep Belief Network

Deep AutoEncoder

Mạng niềm tin theo học sâu

Mạng nơ-ron học sâu AE

DeAE

ix

Viết tắt

DF

Viết đầy đủ

Data Fusion

Nghĩa

Tổng hợp dữ liệu

Từ chối dịch vụ

DoS

Denial of Service

DSAE

Double-Shrink AutoEn- Mô hình phát hiện bất thường DSAE

coder

DTh

D-S

Decision Threshold

Dempster Shafer

Ngưỡng quyết định

Lý thuyết ra quyết định dựa trên dẫn

chứng

DRC

Dempster Shafer Rule Hàm kết hợp của lý thuyết D-S

Combination

DR

Detection Rate

F1-score

Chỉ số độ đo tỉ lệ phát hiện đúng

Chỉ số độ đo F1

F1

FAR

F-SVDD

False Alarm Rate

Chỉ số độ đo tỉ lệ phát hiện sai

Fast Support Vector Mô tả dữ liệu vector hỗ trợ tốc độ cao

Data Description

FoD

Frame of Discernment

False Negative

Tập giả thuyết trong lý thuyết D-S

Âm tính giả

FN

FP

False Positive

Dương tính giả

FtR

Feature Representation Đại diện đặc trưng

FuseNAD

Fusion-based Network Phương pháp phát hiện bất thường dựa

Anomaly

towards

Theory

Detection trên tổng hợp dữ liệu sử dụng lý thuyết

Evidence D-S

GA

Genetic Algorithm

Thuật toán di truyền

GMM

Gaussian

Model

Mixture Mô hình hỗn hợp Gauss

GP

GS

Genetic Programming

Generalization Score

Lập trình di truyền

Độ đo tính khái quát hoá

x

Viết tắt

HIDS

Viết đầy đủ

Nghĩa

Host base IDS

IDS cài đặt trên các máy tính

HighDOD

High-dimensional Out- Phát hiện điểm cá biệt trong không gian

lying Subspace Detec- con nhiều chiều

tion

IDS

Intrusion

System

Detection Hệ thống phát hiện xâm nhập

KDD

Knowledge Discovery Giải thi thường niên về khám phá tri

and Data Mining Tools thức và khai phá dữ liệu

Competition

KDE

Kernel Density Estima- Phương pháp ước lượng dựa trên mật độ

tion

K-NN

LOF

K-Nearest Neighbors

Local Outlier Factor

K láng giềng gần nhất

Phương pháp phát hiện bất thường dựa

vào yếu tố cục bộ

MSE

NAD

Mean Square Error

Sai số toàn phương trung bình

Network Anomaly De- Phát hiện bất thường mạng

tection

NIDS

NLP

Network Intrusion De- Hệ thống phát hiện xâm nhập mạng

tection System

Natural Language Pro- Xử lý ngôn ngữ tự nhiên

cessing

OCC

One-class Classification Phân đơn lớp

One Class Neural Net- Mạng nơ-ron hướng OCC

work

OCCNN

OCSVM

One-class Support Vec- Máy véc tơ hỗ trợ một lớp

tor Machine

xi

Viết tắt

Viết đầy đủ

Nghĩa

OFusedAD One-class Fusion-based Mô hình khung phát hiện bất thường

Anomaly

Detection dựa trên tổng hợp dữ liệu từ các phương

pháp OCC, sử dụng lý thuyết D-S

Framework

One-hot

PCA

One-hot Encoder

Mã hoá nhị phân (bit) hoá dữ liệu

Principal Component Phép phân tích thành phần chính

Analysis

R2L

RE

Remote to Local

Tấn công từ xa vào nội bộ

Sai số tái tạo

Reconstruction Error

ROC

Receiver

Operating Chỉ số cho đánh giá mô hình phân lớp

sử dụng đường cong ROC

Characteristic

SAE

SGD

Shrink AutoEncoder

Phương pháp co SAE

Stochastic Gradient De- Đạo hàm lặp giảm dần

scent

SglAD

Single Anomaly Detec- Phương pháp đơn phát hiện bất thường

tion

SOM

Self-Organizing Maps

Bản đồ tự tổ chức

SVDD

Support Vector Data Mô tả dữ liệu vector hỗ trợ

Description

SVM

Support Vector Ma- Máy vector hỗ trợ

chine

U2R

UCI

User to Root

Loại tấn công leo thang đặc quyền

UCI Machine Learning Kho dữ liệu học máy UCI

Repository

UNSW

University

of

New Đại học New South Wales

South Wales

xii

DANH MỤC CÁC BẢNG BIỂU

Bảng 2.1 Các bộ dữ liệu sử dụng cho thực nghiệm . . . . . . . . . . . 65

Bảng 2.2 Kết quả AUC của KSAE trên các tập dữ liệu . . . . . . . . 68

Bảng 2.3 AUC từ các mô hình DAE, SAE, DSAE trên sáu tập dữ liệu 71

Bảng 2.4 AUC từ SAE, DSAE trên bốn nhóm tấn công tập dữ liệu

NSL-KDD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

Bảng 2.5 Kết quả DR, FAR giữa SAE và DSAE trên nhóm tấn công

R2L . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

Bảng 2.6 Kết quả DSAE phân tách các nhóm tấn công SAE có thể

gặp khó . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

Bảng 3.1 Các bộ dữ liệu sử dụng cho thực nghiệm . . . . . . . . . . . 98

Bảng 3.2 Kết quả AUC của các phương pháp trên mười tập dữ liệu . 100

Bảng 3.3 Kết quả F1-score của các phương pháp trên mười tập dữ liệu100

Bảng 3.4 Kết quả ACC của các phương pháp trên mười tập dữ liệu . 100

Bảng 3.5 Độ đo "sinh lỗi" và trọng số các OCC tham gia mô hình

tổng hợp (CTU13_09) . . . . . . . . . . . . . . . . . . . . . . . . . 105

xiii

DANH MỤC CÁC HÌNH VẼ

Hình 1

Hình 2

Hình 3

Vị trí triển khai NIDS . . . . . . . . . . . . . . . . . . . . . .

Phương pháp signature-based nối tiếp bởi anomaly-based. .

Sơ đồ trình bày hướng nghiên cứu của luận án . . . . . . . .

2

3

9

Hình 1.1 Nhóm tấn công mạng và loại bất thường, Hình từ Ahmed

[2016] [5] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

Hình 1.2 Kiến trúc chung của NAD, Hình từ Ahmed [2016] [5] . . . . 15

Hình 1.3 Sơ đồ phân loại các kỹ thuật phát hiện bất thường [21], [63] 16

Hình 1.4 Mạng nơ-ron học sâu và các phương pháp truyền thống,

Hình từ Alejandro [2016] [6] . . . . . . . . . . . . . . . . . . . . . . 29

Hình 1.5 Minh họa kiến trúc mạng nơ-ron AutoEncoder . . . . . . . . 31

Hình 1.6 Ba mức tổng hợp dữ liệu, Hình từ [31], [49] . . . . . . . . . . 40

Hình 1.7 Ma trận lỗi (Confusion Matrix). . . . . . . . . . . . . . . . . 51

Hình 2.1 Minh hoạ phân bố dữ liệu: (a) không gian gốc, (b) không

gian vector lớp ẩn AE, (c) không gian vector lớp ẩn của SAE,

Hình từ [20]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

Hình 2.2 Minh họa mối liên hệ SAE, KSAE và DSAE . . . . . . . . . 59

Hình 2.3 Mô hình kiểm tra theo phương pháp KSAE . . . . . . . . . . 61

Hình 2.4 Mô hình Double-shrink AutoEncoder . . . . . . . . . . . . . 62

Hình 2.5 Kết quả phương pháp Elbow trên các tập dữ liệu. . . . . . . 69

Hình 2.6 Giá trị AUC của SAE, DSAE trên nhóm tấn công R2L . . . 73

Hình 2.7 Không gian lớp ẩn nhóm tấn công Probe trên SAE, DSAE . 74

Hình 2.8 Không gian lớp ẩn nhóm tấn công DoS trên SAE, DSAE . . 75

Hình 2.9 Không gian lớp ẩn nhóm tấn công R2L trên SAE, DSAE . . 75

Hình 2.10 Không gian lớp ẩn nhóm tấn công U2R trên SAE, DSAE . . 76

xiv

Hình 2.11 Minh hoạ các điểm bình thường đã được phân lớp đúng bởi

SAE nhưng lại phân lớp sai bởi DSAE . . . . . . . . . . . . . . . . 77

Hình 2.12 Thời gian truy vấn của phương pháp SAE, DSAE . . . . . . 79

Hình 3.1 Kiến trúc của giải pháp OFuseAD . . . . . . . . . . . . . . . 87

Hình 3.2 Ba vùng trên trục độ đo bất thường N, A và NA . . . . . . . 93

Hình 3.3 Minh hoạ việc phân tách ba vùng N, A, NA theo phương

án 1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

Hình 3.4 Minh hoạ việc phân tách ba vùng N, A, NA theo phương

án 2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

Hình 3.5 Biểu đồ so sánh F1-score giữa các phương pháp trên mười

tập dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

Hình 3.6 Biểu đồ so sánh ACC giữa các phương pháp trên mười tập

dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

Hình 3.7 Minh hoạ đường cong ROC và giá trị AUC . . . . . . . . . . 104

Hình 3.8 Trọng số tham gia tổng hợp của các OCC được tính cho

mười tập dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105

Hình 3.9 Ảnh hưởng bw đến hiệu quả của OFuseAD. . . . . . . . . . . 107

Hình 3.10 Thời gian truy vấn của các phương pháp khác nhau . . . . . 109

1

PHẦN MỞ ĐẦU

1. Giới thiệu

Cùng với sự phát triển nhanh chóng của hạ tầng, dịch vụ mạng máy tính và

IoT (sau đây gọi tắt là mạng) đó là sự tăng nhanh của các loại hình tấn công

mạng. Theo báo cáo thường niên có uy tín hàng đầu về mối đe doạ an ninh mạng

trên toàn Thế giới năm 2018 và 2019 (có tên Internet Security Threat Report ¹,

viết tắt là ISTR). Số lượng mối đe doạ tấn công mạng tiếp tục tăng bùng nổ;

khoảng 1/10 (một trong mười) các tên miền (URL) trên Internet là độc hại, số

lượng tấn công Web tăng 56% trong năm 2018, số lượng thư rác (Spam) tăng

khoảng 50% trong 4 năm liên tiếp từ 2015 đến 2018.

Các loại tấn công mới như Supply-Chain (một kiểu tội phạm mạng) tăng

vọt 78%, mã độc PowerShell-Script tăng 1000%. Các loại tấn công này sử dụng

kỹ thuật LolL (Living-off-the-land), kỹ thuật này cho phép các mã độc ẩn bên

trong các gói tin nên khó bị phát hiện bởi các bộ dò tìm truyền thống. Số liệu

cũng thể hiện các tấn công chủ yếu xuất phát từ một động lực rõ ràng (≈ 85%),

mục tiêu tập trung vào thu thập dữ liệu tình báo (≈ 90%) [27].

Việc tìm giải pháp cho phát hiện và ngăn chặn các tấn công mạng đã thu hút

sự quan tâm của rất nhiều nhà nghiên cứu trong nhiều thập kỷ qua. Điển hình

trong lĩnh vực này là nghiên cứu hệ thống phát hiện xâm nhập mạng (Network

Intrusion Detection Systems -NIDS). Các hệ thống NIDS được xem là lớp bảo

vệ thứ hai sau tường lửa quy ước để phát hiện ra các xâm nhập, các mã độc

và các hành vi xâm hại hệ thống mạng thông qua quan sát đặc tính lưu lượng

¹https://www.broadcom.com/support/security-center/publications/threat-report, đây là

báo cáo phân tích dữ liệu từ hệ thống giám sát an ninh mạng toàn cầu, được biết như là

tổ chức dân sự lớn nhất thế giới về lĩnh vực tình báo mạng. Hệ thống thu thập từ 123 triệu

bộ thu thập tấn công mạng, hàng ngày vô hiệu hoá khoảng 142 triệu mối đe doạ mạng. Hệ

thống đang giám sát các hành vi đe doạ mạng trên 157 quốc gia.

2

mạng [12], [22]. NIDS thường được triển khai trên mạng để phát hiện các tấn

công mạng từ các hướng (từ ngoài, từ trong mạng nội bộ) như Hình 1. Các

Hệ thống NIDS

Attacker

Internet

Router

Switch

Tường lửa

1.2. Tạo một tấn công từ nội bộ

Vượt tường lửa (pass)

Nạn nhân(Victim)

1.1 Tạo một tấn công từ ngoài vào

Kẻ tấn công (Attacker)

Hình 1: Vị trí triển khai NIDS

NIDS được chia thành hai loại: phát hiện dựa trên dấu hiệu (misuse-based hay

signature-based) và phát hiện dựa trên sự bất thường (anomaly-based) [1], [2],

[57], [82]. Việc phân nhóm căn cứ vào cách tiếp cận phát hiện xâm nhập. Các

NIDS dựa trên dấu hiệu cho khả năng phát hiện chính xác các tấn công đã biết

trước, trong khi đó chỉ có NIDS dựa trên hành vi bất thường mới có thể phát

hiện được các tấn công mạng mới [45], [65], [116], nghiên cứu các phương pháp

phát hiện bất thường (Anomaly Detection - AD) trong lĩnh vực an ninh mạng

được biết đến với thuật ngữ là Network Anomaly Detection (NAD). Một hệ

thống phát hiện xâm nhập hiệu quả thường được tạo thành từ giải pháp phát

hiện dựa trên dấu hiệu và nối tiếp sau bởi giải pháp NAD [116] như Hình 2.

Bản chất nghiên cứu về NAD là nghiên cứu về bộ máy phát hiện (Detection

Engine). Mô hình hoá hoạt động của bộ máy phát hiện bất thường để tìm kiếm

giải pháp hiệu quả hơn trong phân tách các mẫu dữ liệu bình thường và bất

thường.

Các phương pháp theo hướng cố gắng xác định độ lệch của dữ liệu đầu vào

so với các mẫu dữ liệu sử dụng cho biểu diễn hoạt động thông thường của hệ

3

Lưu

lượng

mạng

Các mẫu đã biết

Phát hiện theo dấu hiệu

(Signature-based)

Tiền xử lý

-Bình thường

-Tấn công

Các mẫu mới/chưa biết

Phát hiện theo bất thường

(Anomaly-based)

Trung tâm

Security

Hình 2: Phương pháp signature-based nối tiếp bởi anomaly-based.

thống đã được thiết lập trước, để đánh dấu các xâm nhập (các bất thường hay

tấn công mạng). Do vậy, các giải pháp đề xuất cần quen với các mẫu sử dụng

thông thường thông qua việc học [2]. Các phương pháp cho phép hệ thống "học"

từ dữ liệu để giải quyết các bài toán cụ thể thường được biết đến với thuật ngữ

học máy (machine learning). NAD là chủ đề nghiên cứu được đặc biệt quan tâm

trong sự phát triển của lĩnh vực an ninh mạng [1], [20], đây là hướng đi cho tìm

kiếm giải pháp phát hiện được các tấn công mới, chưa từng xuất hiện. Nhiều

phương pháp học máy khác nhau đã được nghiên cứu, ứng dụng rộng rãi và đạt

hiệu quả cao [45], [63].

Tuy nhiên, nghiên cứu NAD là để chuẩn bị tốt hơn cho các tấn công trong

tương lai [63], đây là một chủ đề rộng và khó, với nhiều các thách thức như được

trình bày trong phần tiếp theo.

2. Tính cấp thiết của luận án

Trong xây dựng các phương pháp phát hiện bất thường mạng, nhãn của tấn

công được cho là không sẵn có trong quá trình huấn luyện mô hình [13], [20],

[22]. Việc thu thập các tấn công gặp rất nhiều khó khăn do chúng thường được

công bố không đầy đủ vì các cá nhân và tổ chức bị tấn công mạng muốn giữ

bí mật nội bộ và bảo đảm quyền riêng tư [41], [91]. Việc gán nhãn cho một số

lượng khổng lồ các hành vi bất thường mạng, qua đó đại diện cho toàn bộ các

4

bất thường trên hệ thống mạng là một nhiệm vụ tốn quá nhiều công sức và thời

gian. Hơn nữa, các tấn công sau khi được nhận ra bởi các hệ thống phát hiện,

thường cần một thời gian khá lớn để có thể xử lý và lấy mẫu. Trong khi các tấn

công mới thường rất nguy hiểm đến hệ thống mạng. Đó là lý do NAD với mục

tiêu chính là phát hiện ra các tấn công mới, cần phải thường xuyên được nghiên

cứu, đổi mới. Hầu hết các nghiên cứu dựa trên tri thức đã biết đến về các tấn

công thường không hiệu quả trong phát hiện các tấn công mới [5]. Do vậy quá

trình huấn luyện các phương pháp NAD được khuyến nghị là hoàn toàn độc lập

với dữ liệu tấn công, chỉ sử dụng dữ liệu bình thường cho xây dựng mô hình

phát hiện bất thường [20].

Các kỹ thuật cho xây dựng các bộ phân lớp từ một lớp dữ liệu được gọi là

phân đơn lớp (One-class classifications - OCC). Nhiều học giả đã đã chứng minh

tính hiệu quả của phương pháp OCC cho NAD như có thể giải quyết được các

vấn đề với không gian thuộc tính dữ liệu quá nhiều chiều (high-dimensional),

có thể giúp ước lượng bộ siêu tham số (hyper-parameters) cũng như nâng cao

khả năng phân lớp, giúp phát hiện ra các tấn công, mã độc mới (chưa từng

biết) [20], [37], [110]. Các phương pháp OCC truyền thống có thể được chia

thành các nhóm chính là: phương pháp dựa trên khoảng cách và phương pháp

dựa trên mật độ [47]. Trong số đó, một số phương pháp nổi tiếng có thể giải

quyết được các vấn đề của dữ liệu mạng như: Local Outlier Factor (LOF) [16]

hoạt động hiệu quả trên dữ liệu không gian rất nhiều chiều; Kernel Density

Estimation (KDE) [111] có thể tự học mà không cần giả định về phân bố của

dữ liệu; One-Class Support Vector Machine (OCSVM) [88] hoạt động phù hợp

cho nhiều lĩnh vực ứng dụng khác nhau. Gần đây, các phương pháp phát hiện

bất thường dựa trên học sâu (deep learning) được cho là tiềm năng và hiệu quả

hơn so với các phương pháp học máy truyền thống, nhất là trong điều kiện kích

thước, số chiều dữ liệu quan sát ngày càng tăng nhanh [21]. Học sâu là thuật

ngữ liên quan đến học cách biễu diễn dữ liệu (representation learning) với nhiều

tầng, nhiều mức xử lý [66], là một nhánh của học máy. Học sâu được cho có