Bài giảng Khai phá dữ liệu - Hà Quang Thụy
BÀI GIẢNG KHAI PHÁ DỮ LIỆU
Nội dung bổ sung về Khai phá dữ liệu
PGS. TS. Hà Quang ThụyHÀ NỘI, 10-2018
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
ĐẠI HỌC QUỐC GIA HÀ NỘI
1
Nội dung
1. Một số tài nguyên khai phá dữ liệu
2. Khai phá quy trì nh
3. Khai phá dữ liệu: Học suốt đời
2
1. Tài nguyên KPDL: 9 kiểu công cụ
▪ Data mining suites (DMS): Gó i chứa nhiều phương phá p
▪ Business intelligence packages (BIs): Khô ng tập trung chuyên
về KPDL mà hướng tới cá c chức năng KPDL cơ bản, đặc biệt
thống kê trong ứng dụng kinh doanh
▪ Mathematical packages (MATs): Khô ng tập trung chuyên về
KPDL mà hướng tới một tập lớn và mở rộng cá c thuật toá n và thủ
tục trực quan hó a.
▪ Integration packages (INTs): gó i mở rộng nhiều thuật toá n nguồn
mở khá c nhau/phần mềm độc lập (chủ yếu là dựa trên Java).
▪ EXT: tiện í ch bổ sung nhỏ cho cá c cô ng cụ khá c như Excel,
Matlab, R… với chức năng hạn chế song rất hữu dụng.
▪ Data mining libraries (LIBs): thực thi cá c phương phá p KPDL
như một gó i chức năng.
▪ Specialties (SPECs): tương tự như LIB song gồm chỉ một nhó m
phương phá p chuyên biệt (mạng nơron, …)
▪ RES: thường là sự thi hành lần đầu tiên thuật toá n mới, cá ch tâ n.
▪ Solutions (SOLs): một nhó m cá c cô ng cụ được tùy biến cho cá c
lĩnh vực ứng dụng hẹp như khai phá văn bản (GATE), xử lý hì nh
July
12,
202
1
ảnh (ITK, ImageJ) ...
Ralf Mikut, Markus Reischl (2011). Data mining tools, Wiley Interdisc. Rew.: Data
Mining and Knowledge Discovery 1(5): 431-443 (2011).
Tài nguyên KPDL: Công cụ TM
Data mining suites
BI packages
Mathematical packages
Integration packages
Specialties
RES
July
12,
202
1
Ralf Mikut, Markus Reischl (2011). Data mining tools, Wiley Interdisc. Rew.: Data
Mining and Knowledge Discovery 1(5): 431-443 (2011).
Tài nguyên KPDL: Công cụ TM
BI packages
Mathematical packages
Integration packages
Specialties
July
RES
Data mining suites
12,
202
1
Ralf Mikut, Markus Reischl (2011). Data mining tools, Wiley Interdisc. Rew.: Data
Mining and Knowledge Discovery 1(5): 431-443 (2011).
Tài nguyên KPDL: Công cụ nguồn mở
Data mining suites
BI packages
Mathematical packages
Integration packages
Specialties
RES
12,
202
1
Ralf Mikut, Markus Reischl (2011). Data mining tools, Wiley Interdisc. Rew.: Data
Mining and Knowledge Discovery 1(5): 431-443 (2011).
Tài nguyên KPDL: Công cụ nguồn mở
Data mining suites
BI packages
Mathematical packages
Integration packages
Specialties
RES
12,
202
1
Ralf Mikut, Markus Reischl (2011). Data mining tools, Wiley Interdisc. Rew.: Data
Mining and Knowledge Discovery 1(5): 431-443 (2011).
Tài nguyên KPDL: Dữ liệu mẫu
July
12,
202
1
Kho chứa dữ liệu của nhóm học máy tại University of California, Irvine – UCI (UC
Winner: Mining Latent Entity Structures From Massive Unstructured
and Interconnected Data. Chi Wang (student) and Jiawei Han (advisor) at
University of Illinois at Urbana-Champaign
Runner-up: Modeling Large Social Networks in Context. Qirong Ho
(student) and Eric Xing (advisor) at Carnegie Mellon University
July
12,
202
1
Runner-up: Computing Distrust in Social Media. Jiliang Tang (Student)
and Huan Liu (Advisor) at Arizona State University. Định hướng Khó a
luận đại học K56: Thá i Thị Hoài, Nguyễn Quỳnh Nga, Mai Cô ng Đạt
2. Tꢀi sao KPQT: Chỉ số cꢀnh tranh quốc tế
⚫ Giới thiệu khả năng cạnh tranh
▪ Diễn đàn Kinh tế Thế giới (World Economic Forum), 2005
▪ khả năng cạnh tranh: tập chỉ số về thể chế, chí nh sá ch, và cá c
yếu tố xá c định mức năng suất của một quốc gia
▪ Mức năng suất: tập cá c mức thành cô ng thu được từ nền kinh tế
▪ Đo lường bằng tập chỉ số
⚫ Tập chỉ số cạnh tranh quốc gia
▪ Index, cò n được gọi là cột trụ (pillar)
▪ 12 cột trụ: thể chế, hạ tầng, mô i trường kinh tế vĩ mô , sức khỏe
và giá o dục tiểu học, giá o dục và đào tạo đại học, thị trường
hàng hó a hiệu quả, thị trường lao động hiệu quả, phá t triển thị
trường tài chí nh, sẵn sàng cô ng nghệ, kí ch cỡ thị trường, kinh
doanh tinh vi (tinh xảo), đổi mới.
▪ Có tương quan nhau, tá c động lẫn nhau: cột trụ 12 cột trụ
4&5, cột trụ 8&9 liên quan cột trụ 6…
[WEF13] World Economic Forum (2013). The Global Competitiveness Report 2013–
Trình độ nền kinh tế: 3 mức
⚫ Nền kinh tế định hướng yếu tố cơ bản
▪ factor-driven economy
▪ lợi thế cạnh tranh: xuất khẩu yếu tố giá trị thấp như tài nguyên
thiên nhiên và lao động chưa qua chế biến
▪ rất nhạy cảm :chu kỳ KT thế giới, giá hàng hó a, biến động tỷ giá
⚫ Nền kinh tế định hướng hiệu quả
▪ Efficiency - Driven Economy
▪ Lợi thế cạnh tranh: sản phẩm và dịch vụ tiên tiến hơn rất hiệu quả
(i) Đầu tư mạnh cơ sở hạ tầng hiệu quả; (ii) quản lý chí nh quyền thâ n
thiện với doanh nghiệp; (iii) ưu đãi đầu tư mạnh; (iv) nâ ng cao kỹ năng; (v)
tiếp cận tốt với nguồn vốn đầu tư nhằm cải thiện lớn về năng suất
⚫ Nền kinh tế định hướng đổi mới
▪ innovation-driven economy
▪ Lợi thế cạnh tranh: sản phẩm, dịch vụ mới và/hoặc độc đáo
▪ dựa trên cô ng nghệ mới nhất và/hoặc quy trì nh sản xuất/mô
hì nh kinh doanh tinh vi nhất
▪ Khu vực dịch vụ có tỷ trọng cao trong nền kinh tế
▪ kiên cường trước những cú sốc từ bên ngoài
Mối quan hệ các cột trụ với nền kinh tế
Việt Nam
[WEF13] World Economic Forum (2013). The Global Competitiveness Report 2013–2014.
Nghị quyết 19/2014/NQ-CP ngày 18/3/2014 của Chính phủ về những nhiệm vụ, giải
pháp chủ yếu cải thiện môi trường kinh doanh, nâng cao năng lực cạnh tranh quốc gia
Giới thiệu Khai phá quy trình
- Wil van der Aalst
▪
▪
▪
ĐHCN Eindhoven (Eindhoven Univ. of Technology (TU/e))
Khởi xướng và duy trì phá t triển khai phá quá trì nh
Đặc tả và mô phỏng bởi ExSpect, 1988
▪
▪
(9/2015; 101: 9/2013, 94: 5/2013) http://www.cs.ucla.edu/~palsberg/h-
number.html
- Tổ chức nghề nghiệp về khai phá quy trì nh
▪
▪
cá c bài bá o,
luận á n Tiến sỹ
bộ cô ng cụ PRoM và cá c cô ng cụ khá c
cá c tập dữ liệu nhật ký sự kiện: một phần từ hơn 100 tổ chức
July
12,
202
1
▪
▪
Mối quan hệ giữa một số khái niệm
Khái niệm và triết lý khai phá quy trình
- Khá i niệm khai phá quy trì nh
▪
Process Mining: chiết xuất thô ng tin có giá trị, liên quan đến
quy trì nh từ cá c nhật ký ghi sự kiện, bổ sung vào cá c tiếp cận
hiện có để quản lý quy trì nh tá c nghiệp (Business Process
Management : BPM).
▪
Kết hợp giữa khai phá dữ liệu và quản lý quy trì nh tá c nghiệp
- Triết lý “đường mòn” của khai phá quy trì nh
▪
Đường mò n (desire line) / đường xã hội (the social trail)
Là con đường được hì nh thành do sự xó i mò n bởi bước
châ n của con người hoặc động vật
▪
▪
▪
▪
▪
Chiều rộng và độ xó i mò n thể hiện độ thường xuyên sử dụng
“Đường mò n là ngắn nhất/thuận tiện nhất giữa hai điểm
Xó i mò n càng cao Sử dụng càng thường xuyên
Hành động trong kinh doanh hì nh thành đường mò n kinh
doanh ~ nhật ký sự kiện phản á nh quy trì nh tốt/thuận tiện
July
12,
202
1
[Aalst11] WMP Van der Aalst (2011). Process Mining: Discovery, Conformance
and Enhancement of Business Processes, Springer, 2011.
Ví dụ triết lý đường mòn
- Xây dựng lối đi trong ĐH Columbia
▪
Tác giả: Dwight Eisenhower, Chủ tịch ĐH Columbia (sau này
là Tổng thống Mỹ đời thứ 34)
▪
▪
Bài toán: xây lối đi tốt nhất nối các nhà trong khu trường
Lời giải:
▪
▪
▪
Cho cỏ mọc giữa các tòa nhà và trì hoãn tạo vỉa hè
Mọi người đi: Hình thành dần lối mòn giữa các nhà
Xây vỉa hè theo các lối mòn đó
17
Cơ bản về Khai phá quy trình
- Khá i niệm
⚫
⚫
⚫
⚫
KPQT: phá t hiện, theo dõ i, cải thiện quy trì nh kinh doanh dựa trên trí ch
xuất tri thức từ nhật ký sự kiện NKSK (event log)
NKSK={trường hợp (case) “thể hiện” quy trì nh}: “xuất phá t điểm của
KPQT”
Case: dã y có thứ từ cá c hành động (activity), hành động được “xác
định tốt”
NKSK = {hành vi quan sá t được} {hành vi}
- Cộng đồng KPQT
⚫
Quan tâ m KPQT: Tuyên ngô n KPQT (Process Mining Manifesto) do
the IEEE Task Force on Process Mining cô ng bố
53 tổ chức, 77 chuyên gia KPQT (người dùng, cung cấp cô ng cụ, tư
vấn, phâ n tí ch, nghiên cứu):
⚫
KPDL KPQT mô hì nh hó a BM (quy trì nh kinh doanh)
[Aalst13] Wil M. P. van der Aalst (2013). Decomposing Petri nets for process mining: A
generic approach. Distributed and Parallel Databases 31(4): 471-507
18
Khai phá quy trình: cꢁu nối
khai phá dữ liệu với khoa học quy trình
Vai trò của khai phá quy trình
▪ Quản lý quy trình nghiệp vụ (tꢂ động hꢃa): Vòng đời hở (pha chꢄn
đoán: Diagnosis) theo tiếp cận truyền thống (trái), vòng đời khép kín
theo tiếp cận khai phá quy trình (phải)
[Mans11] Ronny Mans. Workflow Support for the Healthcare Domain. PhD Thesis,
Eindhoven University of Technology, 2011
20
Tải về để xem bản đầy đủ
102 trang
24460
Free
Bạn đang xem 20 trang mẫu của tài liệu "Bài giảng Khai phá dữ liệu - Hà Quang Thụy", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- bai_giang_khai_pha_du_lieu_ha_quang_thuy.pdf
