Luận án Khai phá dữ liệu tuần tự để dự đoán hành vi truy cập web
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
Nguyễn Thôn Dã
KHAI PHÁ DỮ LIỆU TUẦN TỰ
ĐỂ DỰ ĐOÁN HÀNH VI TRUY CẬP WEB
LUẬN ÁN TIẾN SĨ KỸ THUẬT
Hà Nội - Năm 2020
i
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
Nguyễn Thôn Dã
KHAI PHÁ DỮ LIỆU TUẦN TỰ
ĐỂ DỰ ĐOÁN HÀNH VI TRUY CẬP WEB
CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN
MÃ SỐ: 9.48.01.04
LUẬN ÁN TIẾN SĨ KỸ THUẬT
NGƯỜI HƯỚNG DẪN KHOA HỌC:
TS. TÂN HẠNH
TS. PHẠM HOÀNG DUY
Hà Nội – Năm 2020
ii
LỜI CAM ĐOAN
Tôi xin cam đoan luận án tiến sĩ Khai phá dữ liệu tuần tự để dự đoán hành vi truy cập
Web là công trình nghiên cứu khoa học độc lập của riêng tôi. Các số liệu trong luận án có
nguồn gốc xuất xứ rõ ràng. Các kết quả nghiên cứu trong luận án do tôi tự tìm hiểu, phân
tích một cách trung thực, nghiêm túc, khách quan và chưa từng được công bố trong bất kỳ
công trình nào khác.
Tác giả
Nguyễn Thôn Dã
iii
LỜI CÁM ƠN
Tôi xin chân thành gửi lời cám ơn đến Ban lãnh đạo Học viện Công nghệ Bưu chính
Viễn thông, Đào tạo Sau Đại học và tập thể thầy cô Khoa Công nghệ Thông tin đã có nhiều
hỗ trợ cho tôi hoàn thành nhiệm vụ nghiên cứu được giao.
Tôi cũng gửi lời biết ơn đến hai cán bộ hướng dẫn luận án cho tôi là Thầy TS. Tân Hạnh
và Thầy TS. Phạm Hoàng Duy (công tác tại Học viện Công nghệ Bưu chính Viễn thông),
những người thầy với những kinh nghiệm và kiến thức chuyên môn cao đã tận tình hướng
dẫn, chỉ bảo cho tôi để tôi có thể hoàn thành luận án này.
Tôi cũng rất cám ơn Ban Giám Hiệu trường Đại học Kinh tế - Luật, ĐHQG-HCM, nơi
tôi đang công tác, đặc biệt là lãnh đạo Khoa Hệ thống thông tin của trường đã giới thiệu và
tạo điều kiện cho tôi thực hiện luận án này.
Rất trân trọng và cám ơn các nhà nghiên cứu, các thầy cô, các đồng nghiệp đã có những
góp ý hữu ích, phản biện khách quan và mang tính xây dựng để tôi không ngừng hoàn thiện
luận án này.
Tôi cũng vô cùng biết ơn bố mẹ tôi, những người đã có công sinh thành và dưỡng dục,
luôn động viên và giúp đỡ tôi trong suốt thời gian nghiên cứu và thực hiện luận án.
iv
MỤC LỤC
LỜI CAM ĐOAN............................................................................................................................ ii
LỜI CÁM ƠN................................................................................................................................. iii
DANH MỤC CÁC CHỮ VIẾT TẮT.............................................................................................. x
DANH MỤC CÁC KÝ HIỆU TOÁN HỌC .................................................................................. xi
1. Giới thiệu..................................................................................................................................... 1
2. Tính cấp thiết của luận án............................................................................................................ 2
3. Mục tiêu của luận án.................................................................................................................... 3
4. Đối tượng và phạm vi nghiên cứu ............................................................................................... 3
5. Các vấn đề nghiên cứu................................................................................................................. 4
6. Phương pháp nghiên cứu............................................................................................................. 5
7. Các đóng góp của luận án............................................................................................................ 6
8. Bố cục của luận án....................................................................................................................... 9
CHO DỰ ĐOÁN TRUY CẬP WEB............................................................................................. 10
1.1. Giới thiệu................................................................................................................................ 10
1.2. Khái niệm dự đoán hành vi truy cập Web.............................................................................. 12
1.3. Các phương pháp phổ biến..................................................................................................... 15
1.3.1. Phương pháp luật kết hợp.................................................................................................... 15
1.3.1.1. Khái niệm ......................................................................................................................... 15
1.3.1.2. Các công trình nghiên cứu liên quan................................................................................ 16
1.3.1.3. Ưu điểm và hạn chế.......................................................................................................... 17
1.3.2. Phương pháp chuỗi Markov ................................................................................................ 18
v
1.3.2.3. Ưu điểm và hạn chế.......................................................................................................... 21
1.3.3. Phương pháp Clustering ...................................................................................................... 22
1.3.3.1. Khái niệm ......................................................................................................................... 22
1.3.3.2. Các nghiên cứu liên quan, ưu điểm và hạn chế................................................................ 23
1.3.4. Phương pháp mạng neuron nhân tạo ................................................................................... 24
1.3.4.1. Khái niệm ......................................................................................................................... 24
1.3.4.3. Ưu điểm và hạn chế.......................................................................................................... 24
1.3.5. Các phương pháp phối hợp các phương pháp phổ biến ...................................................... 25
1.3.5.1. Các công trình liên quan................................................................................................... 25
1.3.5.2. Ưu điểm, hạn chế và khuyến nghị .................................................................................... 28
1.4. Phương pháp dự đoán chuỗi dữ liệu tuần tự........................................................................... 30
1.4.1. Phương pháp cây dự đoán (Compact Prediction Tree - CPT)............................................. 31
1.4.2. Phương pháp cây dự đoán cải tiến (Compact Prediction Tree plus - CPT+) ...................... 34
1.4.3. Ưu điểm và hạn chế của phương pháp cây dự đoán cải tiến (CPT+).................................. 37
1.4.4. Tổng hợp so sánh các phương pháp dự đoán chuỗi dữ liệu tuần tự .................................... 38
1.5. Đề xuất mô hình dự đoán hành vi truy cập Web.................................................................... 40
1.6. Các giải pháp đề xuất ............................................................................................................. 42
1.7. Kết luận chương 1 .................................................................................................................. 43
CHƯƠNG 2. XÂY DỰNG CƠ SỞ DỮ LIỆU TUẦN TỰ........................................................... 44
CHO DỰ ĐOÁN TRUY CẬP WEB............................................................................................. 44
2.1. Giới thiệu................................................................................................................................ 44
2.2. Cơ sở lý luận của giải pháp .................................................................................................... 44
2.3. Khái niệm Web Usage Mining............................................................................................... 45
2.3.1. Định nghĩa Web Usage Mining........................................................................................... 45
vi
2.3.3.1 Định nghĩa cơ sở dữ liệu Web Log.................................................................................... 47
2.3.3.2 Cấu trúc và nội dung Web Log.......................................................................................... 47
2.3.4. Xây dựng cơ sở dữ liệu tuần tự cho dự đoán truy cập Web ................................................ 50
2.3.4.1. Mục tiêu............................................................................................................................ 50
2.3.4.2. Dữ liệu .............................................................................................................................. 51
2.3.4.3. Phương pháp..................................................................................................................... 52
2.3.4.4. Các độ đo đánh giá ........................................................................................................... 58
2.3.4.5. Các kết quả thử nghiệm.................................................................................................... 58
2.3.5. Đánh giá và thảo luận.......................................................................................................... 61
2.3.6. Kết luận chương 2 ............................................................................................................... 63
3.1. Giới thiệu................................................................................................................................ 64
3.2. Cơ sở lý luận của giải pháp .................................................................................................... 64
3.5.1. Mục tiêu............................................................................................................................... 76
3.5.2. Dữ liệu ................................................................................................................................. 76
3.5.3. Phương pháp........................................................................................................................ 77
3.5.4. Độ đo đánh giá..................................................................................................................... 80
3.5.5. Các kết quả thử nghiệm....................................................................................................... 81
3.6. Kết luận chương 3 .................................................................................................................. 85
vii
4.2. Cơ sở lý luận của giải pháp .................................................................................................... 87
4.3. So sánh thời gian thực thi của các tiếp cận dự đoán dữ liệu tuần tự ...................................... 88
4.3.1. Các bộ dữ liệu dùng để so sánh thời gian thực thi dự đoán................................................. 88
4.3.2. So sánh thời gian của các tiếp cận dự đoán dữ liệu tuần tự................................................. 89
4.4. Giải pháp nâng cao hiệu quả về thời gian cho dự đoán truy cập Web với CPT+ .................. 91
4.4.1. Cơ sở lý luận của giải pháp ................................................................................................. 91
4.4.2. Giải thuật nâng cao hiệu quả về thời gian dự đoán truy cập Web....................................... 91
4.5.1 Mục tiêu................................................................................................................................ 93
4.5.2. Dữ liệu ................................................................................................................................. 93
4.5.3. Phương pháp........................................................................................................................ 94
4.5.4. Các độ đo đánh giá .............................................................................................................. 96
4.5.5. Kết quả thử nghiệm và phân tích......................................................................................... 96
4.5.5.1. Kết quả thử nghiệm trên tập dữ liệu FIFA ....................................................................... 96
4.5.5.2. Kết quả thử nghiệm trên tập dữ liệu KOSARAK............................................................. 97
4.5.5.3. Kết quả thử nghiệm trên tập dữ liệu BMS........................................................................ 99
4.5.2.4. Kết quả thử nghiệm trên tập dữ liệu pamviewsanibel.................................................... 100
4.5.2.5. Kết quả thử nghiệm trên tập dữ liệu inees...................................................................... 101
4.6. Kết luận chương 4 ................................................................................................................ 103
THỜI GIAN KHAI PHÁ DỮ LIỆU TUẦN TỰ......................................................................... 104
CHO DỰ ĐOÁN TRUY CẬP WEB........................................................................................... 104
5.1. Giới thiệu.............................................................................................................................. 104
viii
5.2.2. Xây dựng các tập dữ liệu huấn luyện và nâng cao độ chính xác....................................... 106
5.2.2.1. Mục tiêu.......................................................................................................................... 106
5.2.2.2. Dữ liệu ............................................................................................................................ 106
5.2.2.3. Phương pháp................................................................................................................... 106
5.2.2.4. Kết quả thực nghiệm và phân tích.................................................................................. 107
cho dự đoán truy cập Web........................................................................................................... 112
5.2.3.1. Mục đích......................................................................................................................... 112
5.2.3.2. Dữ liệu ............................................................................................................................ 112
5.2.3.3. Phương pháp................................................................................................................... 112
5.2.3.4. Các độ đo đánh giá ......................................................................................................... 113
5.2.3.5. Kết quả thực nghiệm và phân tích.................................................................................. 113
5.3. Kết luận Chương 5................................................................................................................ 114
PHẦN KẾT LUẬN ..................................................................................................................... 116
1. Đóng góp của luận án.............................................................................................................. 116
2. Đánh giá, bàn luận tổng quan dự đoán truy cập Web.............................................................. 116
cập Web....................................................................................................................................... 117
dự đoán truy cập Web.................................................................................................................. 119
đoán truy cập Web....................................................................................................................... 120
về thời gian khai phá dữ liệu tuần tự cho dự đoán truy cập Web................................................ 121
2.5. Kết luận và kiến nghị............................................................................................................ 122
x
DANH MỤC CÁC CHỮ VIẾT TẮT
TT Chữ viết tắt
1. AKOM
2. ARM
Nghĩa tiếng Anh
Nghĩa tiếng Việt
All-K-Order-Markov
Association Rule Mining
Common Log Format
Mô hình Markov thứ tự K
Khai phá luật tuần tự
Định dạng tập tin văn bản
chuẩn được sử dụng bởi các
máy chủ khi tạo ra các tập
tin nhật ký máy chủ
3. CLF
4. CPT
5. DG
Compact Prediction Tree
Dependency Graph
Cây dự đoán nén
Đồ thị Phụ thuộc
Hyperlink-Induced Topic Search
Giải thuật Tìm kiếm Chủ đề
theo Siêu liên kết
6. HITS
7. IPM
8. INR
Integrated Prediction Model
Improved Noise Reduction
Mô hình Dự đoán Tích hợp
Chiến lược giảm nhiễu thông
tin cải tiến
Internet of Things
Mạng lưới vạn vật kết nối
Internet
9. IoT
Abraham Lempel & Jacob Ziv
(1978)
Giải thuật LZ78: Giải thuật
nén dữ liệu không mất thông
tin được đề xuất 1978
Giải thuật Dự đoán nén dữ
liệu bằng So khớp Một phần
Ma trận đếm thưa
10. LZ78
Prediction by Partial Matching
11. PPM
12. SCM
13. SPM
Spare Count Matrix
Sequential Pattern Mining
Khai phá mẫu tuần tự
Transition Directed Acyclic Graph Nén dữ liệu Đồ thị không
14. TDAG
tuần hoàn có hướng chuyển
đổi
xi
World Wide Web Publishing
Service.
Một thành phần của Internet
Information Services cho
phép người dùng xuất bản
nội dung lên Internet.
15. W3SVC
DANH MỤC CÁC KÝ HIỆU TOÁN HỌC
Diễn giải
TT Ký hiệu
1. 〈
〉
Chuỗi tuần tự có ba phần tử x, y và z
Tập hợp có 4 phần tử a, b, c và d
Support: Độ hỗ trợ của luật X → Y
Confident: Độ tin cậy của luật X → Y
Một dãy có v phần tử l1, l2, ..., lv
Độ phức tạp N2
푥, 푦, 푧
2. {a, b, c, d}
3. sup(X → Y)
4. conf(X → Y)
5. [l1, l2, ..., lv]
6. O(N2)
7. df
Chỉ số damping factor: Xác xuất để người dùng tiếp tục truy
cập trang Web kế tiếp.
8. L << N
L rất nhỏ so vớn N
9. Card{a,b,c,d}
10. Count(Arr)
Số lượng phần tử của tập hợp {a, b, c, d}
Đếm số phần tử trong mảng Arr
Tập hợp X chứa trong Y (X là tập hợp con của Y)
Xác xuất của A xuất hiện trong B
11.
X ⊆ Y
12. P(A|B)
xii
DANH MỤC CÁC BẢNG BIỂU
Bảng 1.1 Một ví dụ về cơ sở dữ liệu tuần tự truy cập Web .......................................................... 13
Bảng 1.2 Các nghiên cứu dự đoán truy cập Web từ năm 2015 đến năm 2018............................. 27
Bảng 1.3 So sánh các tiếp cận dự đoán tuần tự [46]..................................................................... 30
Bảng 1.5 Bảng so sánh thời gian thực thi các mô hình dự đoán................................................... 39
Bảng 2.1 Minh họa thông tin truy cập của người dùng trên tập tin Web Log .............................. 49
Bảng 2.3 Thông tin các cơ sở dữ liệu Web Log............................................................................ 51
Bảng 2.2 Minh họa một phần cơ sở dữ liệu Web Log .................................................................. 52
Bảng 2.4 So sánh thời gian thực hiện giải thuật xây dựng cơ sở dữ liệu tuần tự.......................... 60
tự.................................................................................................................................................... 61
Bảng 4.1 So sánh thời gian thực thi của CPT so với các tiếp cận khác [47] ................................ 89
Bảng 4.2 Các tập dữ liệu click-stream được thử nghiệm.............................................................. 94
Bảng 4.3 Các tập dữ liệu Weblog được thử nghiệm..................................................................... 94
palmviewsanibel.......................................................................................................................... 100
Bảng 5.2 Bảng thống kê độ chính xác của các mô hình tích hợp PageRank.............................. 110
Bảng 5.3 Minh họa hiệu quả về thời gian dự đoán ..................................................................... 113
xiii
pháp cho dự đoán truy cập Web .................................................................................................. 121
DANH MỤC CÁC HÌNH ẢNH
Hình 1.2 Chèn chuỗi s1 và s2 vào cây CPT.................................................................................... 31
Hình 1.3 Chèn chuỗi s3 và s4 vào cây CPT................................................................................... 32
Hình 1.4 Minh họa chiến lược FSC.............................................................................................. 36
Hình 1.5 Minh họa chiến lược FSC và SBC................................................................................. 36
nâng cao hiệu quả về thời gian ...................................................................................................... 41
Hꢀnh 1.1 Mô hình phổ biến cho dự đoán truy cập Web................................................................ 14
Hꢀnh 2.1 Cơ sở dữ liệu tuần tự của dữ liệu nhật ký truy cập ........................................................ 59
Hꢀnh 2.2 So sánh thời gian thực thi giải thuật tuần tự và song song ........................................... 60
Hình 3.1 Một ví dụ trực quan về PageRank ................................................................................ 67
Hình 3.3 Tính toán từng bước giá trị trung bình PageRank của các chuỗi tuần tự....................... 73
Hình 3.2 Một đồ thị có hướng được xây dựng từ một cơ sở dữ liệu tuần tự................................ 78
tập dữ liệu MSNBC ....................................................................................................................... 82
tập dữ liệu FIFA ............................................................................................................................ 82
tập dữ liệu KOSARAK.................................................................................................................. 84
Hình 5.1 Minh họa K-Fold Cross Validation với K = 3 ............................................................. 105
Hình 5.2 Xây dựng các tập dữ liệu huấn luyện và kiểm thử dự đoán......................................... 107
1
PHẦN MỞ ĐẦU
1. Giới thiệu
Ngày nay với sự phát triển không ngừng của Công nghệ thông tin và Truyền
thông, nó đã ứng dụng vào tất cả các lĩnh vực, đặc biệt là các ứng dụng khai phá
dữ liệu trên các Website, trong đó khai phá dữ liệu có tính tuần tự nhằm mục đích
dự đoán hành vi truy cập Web là một chủ đề phổ biến, đang được nhiều nhà nghiên
cứu quan tâm và mang nhiều ý nghĩa thiết thực. Dự đoán hay phân tích hành vi truy
cập web là hướng nghiên cứu gần đây, đóng góp nhiều vào phân tích kinh doanh
để phát hiện những dấu hiệu tiềm tàng mới trong hành vi cũng như nhu cầu của
khách hàng thương mại điện tử, trò chơi trực tuyến, các ứng dụng web, ứng dụng
trên điện thoại di động và IoT. Với lý do đó, nghiên cứu sinh đã quyết định chọn
đề tài “Khai phá dữ liệu tuần tự cho dự đoán truy cập Web”.
Dự đoán dữ liệu tuần tự là một trong những ứng dụng quan trọng của học máy. Nó
được ứng dụng vào việc xây dựng hệ thống khuyến nghị, xử lý ngôn ngữ tự nhiên.
Tiềm năng của nó trong khai phá dữ liệu để hỗ trợ ra quyết định là hết sức có ý
nghĩa. Những ứng dụng quan trọng và có ý nghĩa ngày nay cho dự đoán chuỗi tuần
tự bao gồm dự đoán hành vi truy cập của người dùng; dự đoán ký tự hay từ được
gõ trên điện thoại di động, hoặc trên máy tính; dự đoán hành vi mua hàng trên cửa
hàng trực tuyến, dự đoán protein kế tiếp trong ngành Sinh Tin học; dự đoán các
triệu chứng của bệnh nhân trong bệnh viện, dự đoán thị trường chứng khoán...
Những thử thách đặt ra cho dự đoán chuỗi tuần tự chính là chuẩn hóa dữ liệu
để nâng cao hiệu năng và độ chính xác cho việc dự đoán. Hơn nữa việc dự đoán
thường được thực hiện trên một không gian dữ liệu khá lớn và cải thiện độ chính
xác và thời gian xử lý cho việc dự đoán cũng là các vấn đề rất đáng quan tâm.
Kết quả mong muốn đạt được của nghiên cứu này là một báo cáo đáp ứng yêu cầu
cơ bản của luận án tiến sĩ và xuất bản các công trình nghiên cứu (bài báo cũng như
hội thảo) liên quan đến nội dung luận án mà được công bố trên các tạp chí uy tín
2
trong nước và quốc tế. Yêu cầu cần đạt được của luận án là đưa ra tiếp cận hiệu
quả hơn các tiếp cận đã có để giải quyết bài toán dự đoán truy cập Web. Cụ thể,
trong phạm vi luận án này, các phương pháp mới sẽ được đề xuất như chuẩn hóa
cơ sở dữ liệu để phục vụ cho dự đoán, giải pháp nâng cao độ chính xác dự đoán và
giải pháp nâng cao hiệu quả về thời gian cho dự đoán.
2. Tính cấp thiết của luận án
Với sự phát triển mạnh mẽ của Internet, nhu cầu người dùng sử dụng Web
ngày càng tăng lên để truy cập các thông tin phục vụ cho rất nhiều mục đích khác
nhau như tìm tòi, nghiên cứu phục vụ cho học tập, mua sắm, giải trí... theo ước tính
đã và đang được sử dụng hàng ngày bởi hàng tỷ người. Hơn nữa, World Wide Web
là một tài nguyên khổng lồ, đến từ nội dung Web được biểu diễn bởi hàng tỷ trang
Web có sẵn trong cộng đồng Internet.
Bên cạnh đó, môi trường Web trong thời đại ngày nay trở thành một môi
trường phổ biến cho giao tiếp, tương tác và chia sẻ dữ liệu giữa các người dùng.
Điều này dẫn đến hàng ngày, hàng giờ dữ liệu đã không ngừng được tạo ra. Những
dữ liệu này có thể được tận dụng để thiết kế và xây dựng các mô hình dự đoán, đặc
biệt là mô hình dự đoán hành vi truy cập Web để hỗ trợ ra quyết định. Vấn đề này
thực sự rất quan trọng và có ý nghĩa vì dự đoán truy cập Web mang lại nhiều lợi
ích cho người sở hữu trang Web cũng như người truy cập Web. Chẳng hạn, đối với
người sở hữu trang Web, dự đoán truy cập Web giúp cho họ dự đoán được xu
hướng quan tâm của người dùng. Một ví dụ tương tự khác, với một công ty thương
mại điện tử trên Internet, dự đoán xu hướng chọn lựa sản phẩm của khách hàng có
ý nghĩa rất quan trọng trong chiến lược phát triển sản phẩm của công ty.
Tuy nhiên, sự phát triển không ngừng của các doanh nghiệp hiện đại đã tạo
ra áp lực và thách thức không nhỏ cho các nhà nghiên cứu khai phá dữ liệu. Luận
án này cố gắng giải quyết những khó khăn này bằng cách đề xuất các mô hình và
3
giải pháp khai phá dữ liệu tuần tự để dự đoán hành vi truy cập Web hiệu quả hơn
như nâng cao độ chính xác và giảm thời gian thực thi dự đoán.
3. Mục tiêu của luận án
Để giải quyết bài toán khai phá dữ liệu tuần tự cho dự đoán truy cập Web,
nghiên cứu sinh đề ra 4 mục tiêu chính như sau:
+ Mục tiêu thứ nhất: Nghiên cứu các bài báo liên quan đến luận án để tìm ra những
ưu điểm, hạn chế của các bài báo này, từ cơ sở đó nghiên cứu sinh đề xuất các giải
pháp tốt hơn cho dự đoán hành vi truy cập Web.
+ Mục tiêu thứ hai: Tìm một mô hình cơ sở dữ liệu phù hợp để hỗ trợ cho dự đoán
hành vi truy cập Web.
+ Mục tiêu thứ ba: Tìm giải pháp tốt hơn để nâng cao tính chính xác cho dự đoán
hành vi truy cập Web.
Mục tiêu thứ tư: Tìm giải pháp tốt hơn để giảm thời gian thực thi dự đoán hành vi
truy cập Web.
Luận án này tập trung vào việc đề xuất mô hình dự đoán khai phá dữ liệu cho dự
đoán truy cập Web để nâng cao hiệu quả về độ chính xác và thời gian xử lý cho
khai phá dữ liệu mang tính chất tuần tự (còn gọi là dữ liệu phụ thuộc thời gian). Cụ
thể là (1) Đề xuất mô hình dự đoán hành vi truy cập web bằng cách tích hợp giải
pháp nâng cao độ chính xác và giảm thời gian dự đoán; để triển khai mô hình trên,
luận án đưa ra 3 đề xuất tiếp theo là (2) Xây dựng cơ sở dữ liệu tuần tự cho dự đoán
truy cập Web; (3) Nâng cao hiệu quả thời gian khai phá dữ liệu truy cập tuần tự
cho dự đoán truy cập Web; (4) Nâng cao độ chính xác khai phá dữ liệu cho dự đoán
truy cập Web.
4. Đối tượng và phạm vi nghiên cứu
Các đối tượng nghiên cứu của luận án bao gồm các lý thuyết về dự đoán dữ liệu
tuần tự cho dự đoán truy cập Web như chuỗi tuần tự, cơ sở dữ liệu tuần tự, các tiếp
cận dự đoán truy cập Web, các bộ dữ liệu click-stream phục vụ cho khai phá dữ
4
1
liệu tuần tự như MSNBC, FIFA, KOSARAK , các bộ dữ liệu Weblog
2
3
4
5
thuật hỗ trợ cho dự đoán (CPT+, PageRank, phân tích và xử lý chuỗi…), các bài
báo liên quan đến đề tài được xuất bản trên các tạp chí, các hội nghị khoa học trong
nước hoặc quốc tế.
Phạm vi nghiên cứu của luận án là khai phá dữ liệu tuần tự cho dự đoán truy
cập Web trên các tập clickstream và dữ liệu nhật ký truy cập Web (Web Log) lưu
trên các máy chủ Web, cụ thể là dữ liệu nhật ký thuộc các Web Server như IIS
(máy chủ Web trên hệ điều hành Microsoft Windows) và Apache (Các máy chủ
Web trên các Hệ điều hành họ Linux).
5. Các vấn đề nghiên cứu
Vấn đề nghiên cứu 1: Để khai phá dữ liệu tuần tự cho dự đoán truy cập Web cần có những
mô hình nào?
Nội dung chi tiết của Chương 1 trong luận án sẽ trả lời cho vấn đề nghiên cứu 1
Vấn đề nghiên cứu 2: Cơ sở dữ liệu tuần tự cho dự đoán hành vi truy cập Web được xây
dựng như thế nào?
Nội dung chi tiết của Chương 2 trong luận án sẽ trả lời cho vấn đề nghiên cứu 2
Vấn đề nghiên cứu 3: Làm thế nào để nâng cao độ chính xác cho dự đoán truy cập Web
dùng mô hình dự đoán chuỗi tuần tự theo mô hình cây dự đoán nén (Compact Prediction
Tree - CPT+) ?
Nội dung chi tiết của Chương 3 trong luận án sẽ trả lời cho vấn đề nghiên cứu 3
1 http://www.philippe-fournier-viger.com/spmf/index.php?link=datasets.php
2 Truy cập ngày 29/08/2017
3 Truy cập ngày 22/08/2017
4 Truy cập ngày 25/08/2017
5 Truy cập ngày 12/06/2018
5
Vấn đề nghiên cứu 4: Làm thế nào để giảm thời gian thực thi dự đoán cho dự đoán truy
cập Web dùng mô hình dự đoán chuỗi tuần tự theo mô hình cây dự đoán nén (Compact
Prediction Tree - CPT+) ?
Nội dung chi tiết của Chương 4 trong luận án sẽ trả lời cho vấn đề nghiên cứu 4
6. Phương pháp nghiên cứu
Về hướng tiếp cận, luận án theo hướng tiệp cận Cây dự đoán nén CPT+
(Compact Prediction Tree) để xây dựng các mô hình và giải pháp dự đoán hành vi
truy cập web tăng độ chính xác hoặc/và giảm thời gian xử lý. Để mô hình đề xuất
dựa trên CPT+ nâng cao hiệu năng cho dự đoán hành vi truy cập Web, nghiên cứu
sinh đã nghiên cứu tích hợp thêm giải thuật PageRank và kỹ thuật xử lý chuỗi.
Trong quá trình nghiên cứu luận án, nghiên cứu sinh đã sử dụng những phương
pháp nghiên cứu như sau:
+ Phương pháp thu thập dữ liệu: Các bộ dữ liệu click-stream, các bộ dữ liệu
Weblog và dữ liệu đặt hàng trong thương mại điện tử được sử dụng trong luận án
là dữ liệu thứ cấp và được thu thập từ các nguồn dữ liệu khác nhau có nguồn gốc
rõ ràng, khách quan và ghi nhận nhật ký truy cập Web.
+ Phương pháp hỏi ý kiến chuyên gia: Trước và trong thời gian thực hiện luận
án, nghiên cứu sinh đã liên hệ với nhiều chuyên gia, các nhà nghiên cứu để được
góp ý về tên đề tài cũng như nội dung cần nghiên cứu. Trong đó, vai trò định hướng
và góp ý của GS.TS Philippe Fourier Viger 1 là rất quan trọng.
+ Phương pháp nghiên cứu định lượng: Nghiên cứu sinh tiến hành nghiên cứu
thử nghiêm có hệ thống về các hiện tượng quan sát được qua các số liệu thống kê,
toán học và thông qua việc phát triển các giải thuật như các giải thuật về xây dựng
cơ sở dữ liệu tuần tự, tính toán PageRank, kỹ thuật xử lý chuỗi...
1
Chuyên gia về Data Mining, Big Data, Artificial Intelligence, Pattern Mining, Itemset Mining, Graph Mining,
Sequence Prediction, công tác tại Harbin Institute of Technology, China (http://www.philippe-fournier-
6
+ Phương pháp nghiên cứu định tính: Nghiên cứu sinh tiến hành đánh giá các
giải pháp đề xuất như so sánh các phương pháp mới và cải tiến cho dự đoán truy
cập Web về phương diện thời gian và độ chính xác để xem xét giải pháp đề xuất
có phù hợp hay không, chẳng hạn như có ý nghĩa về mặt thống kê hay không.
+ Phương pháp nghiên cứu phân tích và tổng hợp: Nghiên cứu, tìm hiểu và tổng
hợp các lý thuyết liên quan đến đề tài như lý thuyết về dự đoán tuần tự, thuật toán
CPT (Compact Prediction tree), thuật toán PageRank. Bên cạnh việc nghiên cứu lý
thuyết, nghiên cứu sinh cũng tìm hiểu các nghiên cứu liên quan đến luận án để phân
tích điểm yếu, điểm mạnh của các phương pháp dự đoán truy cập Web. Từ việc
phân tích và tổng hợp đó, nghiên cứu sinh có cơ sở để đề xuất các giải pháp tốt hơn
cho dự đoán truy cập Web so với các tiếp cận thông thường.
7. Các đóng góp của luận án
Các đóng góp cho dự đoán truy cập Web được trình bày trong luận án và các
công trình nghiên cứu liên quan của nghiên cứu sinh bao gồm các nội dung chính
sau:
- Đóng góp thứ nhất: Đề xuất một giải pháp để thiết kế và xây dựng cơ sở
dữ liệu tuần tự cho dự đoán truy cập Web. Luận án sử dụng 4 tập dữ liệu được thu
thập từ các Website periwinklelecottages.com, palmviewsanibel.com,
devqa.robotec.co.il và inees.org. Bài toán đặt ra là làm cách nào để tạo ra một cơ
sở dữ liệu tuần tự từ tập hợp các tập tin Weblog. Ý tưởng chính của giải pháp là:
Trong tập dữ liệu Weblog tìm một mảng chứa các IP khác nhau và một mảng chứa
các liên kết khác nhau. Với mỗi các IP khác nhau có một nhóm các liên kết được
truy cập theo thứ tự thời gian. Những nhóm này sẽ là các chuỗi dữ liệu tuần tự của
cơ sở dữ liệu tuần tự cần tạo. Hơn nữa, bằng cách phân tích các đặc trưng của dữ
liệu Weblog, luận án trình bày làm cách nào để chuyển đổi dữ liệu Weblog thành
cơ sở dữ liệu tuần tự bằng một giải thuật tính toán song song và không song song.
Tải về để xem bản đầy đủ
156 trang
12240
Free
Bạn đang xem 20 trang mẫu của tài liệu "Luận án Khai phá dữ liệu tuần tự để dự đoán hành vi truy cập web", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- luan_an_khai_pha_du_lieu_tuan_tu_de_du_doan_hanh_vi_truy_cap.pdf
