Bài giảng Nhập môn khai phá dữ liệu - Chương 1: Giới thiệu chung về khai phá dữ liệu - Hà Quang Thụy
BÀI GIẢNG NHẬP MÔN KHAI PHÁ DỮ LIỆU
CHƯƠNG 1. GIỚI THIỆU CHUNG
VỀ KHAI PHÁ DỮ LIỆU
PGS. TS. Hà Quang Thụy
HÀ NỘI, 09-2020
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
ĐẠI HỌC QUỐC GIA HÀ NỘI
1
Nội dung
1.
Tại sao khai phá dữ liệu (KPDL)?
2.
Khái niệm KPDL và phát hiện tri thức trong CSDL
KPDL và xử lý CSDL truyền thống
3.
4.
Kiểu dữ liệu trong KPDL
Kiểu mẫu được khai phá
Công nghệ KPDL điển hình
Một số ứng dụng điển hình
5.
6.
7.
8.
Các vấn đề chính trong KPDL
2
1. Tại sao khai phá dữ liệu
⚫ Một ví dụ: Donal Trump Thắng cử Tổng thống Mỹ
⚫ Bùng nổ dữ liệu và dữ liệu lớn (Big Data)
▪ Lý do công nghệ
▪ Lý do xã hội
▪ Thể hiện
⚫ Ngành kinh tế tri thức, dữ liệu và thông tin (Infonomics)
▪ Kinh tế tri thức
▪ Phát hiện tri thức từ dữ liệu
⚫ Nhu cầu khai phá dữ liệu tại Việt Nam
▪ Trường hè KHDL 2016
3
Ví dụ: Tại sao khai phá dữ liệu ?
⚫ Phân tích dữ liệu giúp ứng viên Tổng thống Mỹ
1. Đào Trung Thành. Big Data đã giúp Trump chiến thắng trong cuộc Bầu cử Mỹ.
3. Von Hannes Grassegger und Mikael Krogerus. Ich habe nur gezeigt, dass es die
Bombe
gibt.
Das
Magazin
N°48
–
3.
Dezember
2016.
dựa trên hành vi của họ trên Facebook. Và như thế giúp Donald Trump chiến thắng.
PHƯƠNG PHÁ P, KỸ THUẬT MIỀN ỨNG DỤNG: PHÂ N TÍ CH DỮ LIỆU TÂ M LÝ
at Stanford Graduate School of Business
5. Leonid
Bershidsky.
No,
Big
Data
Didn't
Win
the
U.S.
Election.
much his victory was helped by big data analytics.“ KINH DOANH MÀ KHÔ NG LÀ
CÔ NG NGHỆ
4
Công nghệ: Bùng nổ dữ liệu: Luật Moore
[APEC18]
[42Year]
⚫ Xu thế từ Định luật Moore
▪ Gordon E. Moore (1965). Cramming more components onto integrated
circuits, Electronics, 38 (8), April 19, 1965. Một quan sá t và dự bá o
▪ Lượng bó ng bá n dẫn (giá ) của mạch tí ch hợp tăng (rẻ) gần gấp đôi
sau mỗi chu kỳ hai năm
▪ Má y tí nh (điện thoại, v.v.) mạnh hơn, gọn hơn, giá cả phù hợp
[APEC18] APEC Policy Support Unit. APEC Regional Trends Analysis - The Digital
Productivity Paradox. Asia-Pacific Economic Cooperation Policy Support
Unit, November 2018.
5
Bùng nổ dữ liệu: Giá thành và thể hiện
⚫ Nguồn: IDC Digital Universe Study, Seagate Technology, 2018
⚫ Giá tạo dữ liệu ngày càng rẻ hơn
▪ Chiều hướng giá tạo mới dữ liệu giảm dần
▪ 0,5 xu Mỹ/1 GB vào năm 2009 giảm tới 0,02 xu Mỹ /1 GB vào năm 2020
⚫ Dung lượng tổng thể tăng
▪ Độ dốc tăng càng cao
▪ Đã đạt 33ZB năm 2018 (năm 2011 dự kiến đạt 35 ZB vào năm 2020)
6
Phâ n bổ lượng dữ liệu theo khu vực
Rest of World
US
Asia-Pacific, including Japan, except China
The Europe, the Middle East, and Africa
EMEA
China
Nguồn: IDC Digital Universe Study, Seagate Technology, 2018
7
Nhu cầu nắm bắt dữ liệu
⚫ Bùng nổ dữ liệu với tăng trưởng nhận lực CNTT
▪ Dung lượng thô ng tin tăng 67 lần, đối tượng dữ liệu tăng 67 lần
▪ Lực lượng nhâ n lực CNTT tăng 1,4 lần
▪ Nguồn: IDC Digital Universe Study, sponsored by EMC, May 2010.
8
Nhu cầu thu nhận tri thức từ dữ liệu
⚫ Jim Gray, chuyên gia của Microsoft, giải thưởng Turing 1998
▪ “Chúng ta đang ngập trong dữ liệu khoa học, dữ liệu y tế, dữ liệu nhâ n khẩu học,
dữ liệu tài chí nh, và cá c dữ liệu tiếp thị. Con người khô ng có đủ thời gian để xem
xé t dữ liệu như vậy. Sự chú ý của con người đã trở thành nguồn tài nguyên quý giá .
Vì vậy, chúng ta phải tì m cá ch tự động phâ n tí ch dữ liệu, tự động phâ n loại nó , tự
động tó m tắt nó , tự động phá t hiện và mô tả cá c xu hướng trong nó , và tự động chỉ
dẫn cá c dị thường.
Đây là một trong những lĩnh vực năng động và thú vị nhất của cộng đồng nghiên
cứu cơ sở dữ liệu. Cá c nhà nghiên cứu trong lĩnh vực bao gồm thống kê, trực quan
hó a, trí tuệ nhâ n tạo, và học má y đang đóng gó p cho lĩnh vực này. Bề rộng của lĩnh
vực làm cho nó trở nên khó khăn để nắm bắt những tiến bộ phi thường trong vài
thập kỷ gần đây” [HK0106].
⚫ Kenneth Cukier,
▪ “Thông tin từ khan hiếm tới dư dật. Điều đó mang lại lợi í ch mới to lớn… tạo nên
khả năng làm được nhiều việc mà trước đây khô ng thể thực hiện được: nhận ra cá c
xu hướng kinh doanh, ngăn ngừa bệnh tật, chống tội phạm …
Được quản lý tốt, dữ liệu như vậy có thể được sử dụng để mở khó a cá c nguồn mới
có giá trị kinh tế, cung cấp những hiểu biết mới vào khoa học và tạo ra lợi í ch từ
9
Kinh tế tri thức
⚫ Kinh tế tri thức
▪ Tri thức là tài nguyên cơ bản
▪ Sử dụng tri thức là động lực chủ chốt cho tăng trưởng kinh tế
⚫ Hì nh vẽ: Năm 2003, đóng gó p của tri thức cho tăng GDP/đầu người của
Hàn Quốc gấp đôi so với đóng gó p của lao động và vốn. TFP: Total Factor
Productivity (The World Bank. Korea as a Knowledge Economy, 2006)
10
Kinh tế dịch vụ: Từ dữ liệu tới giá trị
⚫ Kinh tế dịch vụ
▪ Xã hội loài người chuyển dịch từ kinh tế hàng hó a sang kinh tế dịch vụ.
Lao động dịch vụ vượt lao động nô ng nghiệp (2006).
▪ Mọi nền kinh tế là kinh tế dịch vụ.
▪ Đơn vị trao đổi trong kinh tế và xã hội là dịch vụ
⚫ Dịch vụ: dữ liệu & thông tin tri thức giá trị mới
▪ Khoa học: dữ liệu & thô ng tin tri thức
▪ Kỹ nghệ: tri thức dịch vụ
▪ Quản lý: tá c động tới toàn bộ quy trì nh thi hành dịch vụ
Jim Spohrer (2006). A Next Frontier in Education, Employment, Innovation, and
Economic Growth, IBM Corporation, 2006
11
Quá trình tiến hóa dữ liệu tới trí tuệ
⚫ Từ dữ liệu tới trí tuệ
▪ Dữ liệu (data): dữ kiện khô ng ngữ cảnh. Trì nh bày dữ kiện.
▪ Thô ng tin (information): dữ kiện với ngữ cảnh và khí a cạnh nào đó.
Dữ liệu có ý nghĩa, dữ liệu trong ngữ cảnh. Hiểu được quan hệ
▪ Tri thức (knowledge): Thô ng tin được dung để phá t hiện và hiểu
được mẫu trong dữ liệu. Hiểu được mẫu
▪ Trí tuệ (wisdom): Tri thức nảy sinh khi hiểu được lý do mẫu xuất
hiện trong dữ liệu. Hiểu được nguyên lý
12
Dữ liệu lớn không ngừng gia tăng và giá trị
▪ (i) Mỹ: tiết kiệm 300 tꢀ US$ ngành y tế, (ii) Châu Âu: chꢁnh phủ tiết kiệm
100 tꢀ Euro (giảm gian lận, sai sót, chênh lệch thuế), v.v.
[Chen14] Min Chen, Shiwen Mao, Yunhao Liu. Big Data: A Survey. MONET
19(2): 171-209, 2014.
13
Giá trị dữ liệu: Ví dụ 1 (Capital One)
⚫ -1980’s: Mô hình xác suꢀt mꢁc định với thẻ tín
dụng đꢂng mức
▪ Người q/lý NH tin khách hàng chưa ưa mức khác nhau;
▪ HTTT chưa thể đáp ứng quản lý mức tín dụng khác nhau
⚫ Richard Fairbanks và Nigel Morris
▪ CNTT cho mô hình dự báo tinh vi hơn (mô hình lợi nhuận), đủ
năng lực các mức tín dụng
▪ Thuyết phục nhà QL NH lớn: thất bại.
▪ Thuyết phục được người QL ngân hàng nhꢂ Signet Bank: tin một
tꢀ lệ nhꢂ khách hàng thực sự tạo ra hơn 100% lợi nhuận của NH
từ hoạt động thẻ tín dụng
▪ MHLN: tốt hơn → KH tốt nhất + thu hꢃt KH tốt nhất từ NH lớn
14
Giá trị dữ liệu: Ví dụ 1 (Capital One)
⚫ Thiếu dữ liệu và giải pháp
▪ Không có dữ liệu với mức thẻ tín dụng khác nhau.
▪ Tạo DL cho mô hình (MHLN): cung cấp ngẫu nhiên mức tín
dụng khác nhau tới KH khác nhau. DL là tài nguyên thì
phải đầu tư
▪ Tốn kém: tꢀ lệ "khoanh nợ“: 2,9% đầu ngành, do cung cấp
ngẫu nhiên giảm sꢃt tới gần 6% dư chưa thanh toán
⚫ Kết quả
▪ 4 năm: vừa thu thập dữ liệu vừa hoàn thiện mô hình. 1994.
(Học máy tăng cường). 1994 tách thành Capital One
▪ Nhanh chóng thành có lợi nhuận lớn nhất. Nhà phát hành
thể tín dụng thứ sáu nước Mỹ: mở 48,6 triệu tài khoản 53,2
tꢀ US$, 12% gia đình Mỹ.
▪ Bền vững sau khủng khoảng 9/11
▪ Chiến lược dựa trên thông tin Information-Based Strategy
(IBS) là lợi thế lớn
15
Giá trị dữ liệu: Ví dụ 2 (Microsoft-LinkedIn)
⚫ Sự kiện và vấn đề
▪ Microsoft mua lại LinkedIn với giá 26,2 tꢀ đô-la Mỹ
▪ Định giá kế toá n của LinkedIn là 3,2 tꢀ đô-la Mỹ
▪ Độ chênh lệch 23 tꢀ đô-la Mỹ là một con số rất lớn ?
⚫ Giá trị dữ liệu Linkedln mang lại cho Microsoft
▪ 23 tꢀ đô-la Mỹ chủ yếu từ giá trị dữ liệu
▪ Đo lường giá trị dữ liệu ?
▪ Infonomics (Chương 2)
⚫ Với Google và Facebook
▪ Ban đầu: Dữ liệu phục vụ quảng cá o tốt hơn
▪ Hiện tại: Dữ liệu là một dịch vụ trí tuệ nhâ n tạo. Cô ng nghiệp 4.0
⚫ Liên hệ với Grab Việt Nam
▪ Họ thu thập được cá c dữ liệu gì ?
16
Ví dụ 3: Chi tiêu dữ liệu 2016-18, 2019-21
2019-21
2019-21
2019-21
2016-18
2019-21
2019-21
2016-18
2016-18
2016-18
2016-18 2019-21
2016-18
⚫ McKinsey & Company
▪ Chi tiêu dữ liệu hàng năm: hàng trăm triệu đô la/công ty loại vừa
đến hàng tꢀ đô la/công ty lớn nhất. COVID-19 tăng chi phí.
17
Ví dụ 3: Phâ n bố chi phí theo cô ng đoạn
⚫ McKinsey & Company, 2020
▪ (1). Không bao gồm quy trình thu thập dữ liệu nội bộ; (2). Các ngành công
nghiệp không trực tiếp chạm vào người tiêu dùng (ví dụ: hàng hóa đóng gói
của người tiêu dùng) dành phần cao hơn (> 20%) cho việc tìm nguồn cung
ứng dữ liệu; (3) Đối với công ty loại vừa có doanh thu từ 5 tꢀ đến 10 tꢀ đô
la và chi phí hoạt động từ 4 tꢀ đến 6 tꢀ đô la.
▪ Giá trị tuyệt đối khác nhau tùy theo ngành và quy mô công ty; ví dụ, chi tiêu
tuyệt đối (trung bình) của ngành viễn thông là cao hơn.
18
Giá trị dữ liệu: Thị trường dữ liệu châu Âu
Tăng trường hàng năm 14,1%
Tăng trường hàng năm 8,9%
€ 247 billion in 2013
2,0% GDP châ u  u
4,0% GDP châu Âu
19
Việt nam:Trường hè Khai phá dữ liệu 2016
⚫ Chuỗi trường hè của Trường ĐHCN
▪ 26/11/2014: Hội thảo “Machine Learning and Its Application in
Vietnam (MLAVN)” thuộc ACML 2014 tại NhaTrang (ꢄnh).
▪ 10-13/8/2015: Trường hè “Học máy thống kê” tại Nhà G3, ĐHCN
▪ 16-19/8/2016: Trường hè “Khai phá dữ liệu” tại Nhà G3, ĐHCN.
▪ 2017 (dự kiến): Trường hè “Khoa học dữ liệu”? Trao đổi 19/8/2016
20
Tải về để xem bản đầy đủ
92 trang
15140
Free
Bạn đang xem 20 trang mẫu của tài liệu "Bài giảng Nhập môn khai phá dữ liệu - Chương 1: Giới thiệu chung về khai phá dữ liệu - Hà Quang Thụy", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- bai_giang_nhap_mon_khai_pha_du_lieu_chuong_1_gioi_thieu_chun.pdf
