Bài giảng Nhập môn khai phá dữ liệu - Chương 3: Hiểu bài toán, hiểu dữ liệu và tiền xử lý dữ liệu

BÀI GIẢNG NHẬP MÔN KHAI PHÁ DỮ LIỆU

CHƯƠNG 3. HIỂU BÀI TOÁN, HIỂU DỮ LIỆU VÀ

TIỀN XỬ LÝ DỮ LIỆU

PGS. TS. Hà Quang Thụy

HÀ NỘI, 09-2018

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

ĐẠI HỌC QUỐC GIA HÀ NỘI

http://uet.vnu.edu.vn/~thuyhq/

1

Nội dung

◼ Hiểu bài toán

➢

Năm yếu tố để hiểu bài toán

◼ Hiểu dữ liệu

➢

Vai trò của hiểu dữ liệu, Đối tượng DL và kiểu thuộc tính, Độ đo

tương tự và không tương tự của DL, Thu thập dữ liệu, Mô tả

thống kê cơ bản của DL, Trực quan hóa DL, Đánh giá và lập hồ sơ

DL

◼ Tiền xử lý dữ liệu

➢

Vai trò của tiền xử lý dữ liệu, Làm sạch dữ liệu, Tích hợp và

chuyển dạng dữ liệu, Rút gọn dữ liệu, Rời rạc và sinh kiến trúc

khái niệm

◼ Một số thách thức về dữ liệu và mô hình

➢

Thiếu dữ liệu, dữ liệu không đại diện, đặc trưng không đại diện,

mô hình quá khớp-không khớp

July 12, 2021

Công nghệ tri thức 2

1. HIỂU BÀI TOÁN VÀ HIỂU DỮ LIỆU

HIỂU BÀI TOÁN: 1. BIẾT ĐƯỢC GÌ?

➢

Đặt vấn đề

❖

5 yếu tố cốt yếu dưới dạng 5 câ u hỏi

❖

Giải đáp 5 yếu tố này → Đặt được bài toá n

➢ Yếu tố 1: Ta đã biết (có ) được gì ? Cho INPUT

❖

Đây là bước đầu tiên cho mọi trường hợp nghiên cứu

Ví dụ 1: Dự bá o mục hàng phục vụ bá n ché o

❖

Bán chéo (cross-selling): bán các sản phẩm bổ sung cho khách

hàng hiện tại

Bán sâu (deep-selling): tăng tần số hoặc số lượng mua sản phẩm

của khách hàng

Bán gia tăng (up-selling): bán sản phẩm với số lượng nhiều hơn

hoặc giá cao hơn cho khách hàng hiện tại

❖

Ví dụ 2: Dự bá o khá ch hàng dịch vụ mạng rời bỏ

Yếu tố 2: Cần quyết định điều gì ?

➢

Nội dung

❖

Điều gì thực sự cần phải quyết định

Biến quyết định, Đầu ra (Output)

Quan trọng: Phâ n biệt biến đầu ra và biến đầu vào

➢ Trường hợp dễ xá c định

❖

Ví dụ 1. Bá n chéo” Cá c tập mục hàng đồng xuất hiện cao

➢ Trường hợp khó xá c định

❖

Ví dụ 2. Dự bá o khá ch hàng dịch vụ mạng rời bỏ: “biến

dự báo”, “biến phâ n lớp” v.v.

Yếu tố 3: Cái gì cố gắng để đạt được

➢

Nội dung

❖

Cố tì m gì trong khô ng gian lời giải ?

Cá i gì cần đạt được ?

Hàm mục tiêu, Mô hì nh mục tiêu

Có thể là đa mục tiêu.

➢ Ví dụ

❖

Ví dụ 1. Tập con cá c mục hàng đồng xuất hiện vượt qua

một ngưỡng

❖

Ví dụ 2. Mô hì nh dự bá o nhận diện lại tốt với dữ liệu kiểm

thử

Yếu tố 4: Cái gì cản trở giải bài toán

➢

Nội dung

❖

Hạn chế về tài nguyên

cá c ràng buộc

❖

➢ Ví dụ

❖

Ví dụ 1. Số mục hàng và giao dịch lớn

❖

Ví dụ 2. Dữ liệu mẫu giống nhau song cho kết quả khá c

nhau

Yếu tố 5: Cái gì tìm hiểu thêm được

➢

Nội dung

❖

4 câ u hỏi trên cho xâ y dựng mô hì nh

❖

Phâ n tí ch bối cảnh mô hì nh rộng hơn: nâ ng cao ý nghĩa

của mô hì nh. Cá c khí a cạnh phi mô hì nh

➢ Ví dụ

❖

Ví dụ 1. Thay đổi ngưỡng

Ví dụ 2. Cá c phâ n khúc khá ch hàng

❖

2. Hiểu dữ liệu: hai phiên bản sách

◼ Thay đổi đáng kể phiên bản 2006 tới 2011

◼

Phiên bản 2011 nhấn mạnh Hiểu dữ liệu !

July 12, 2021

Công nghệ tri thức 9

Một mô hình KPDL hướng ứng dụng

◼ Khai phá DL hướng miền ứng dụng [CYZ10]

◼

Bước P1 “Hiểu và định nghĩa vấn đề”, Bước P2 “Phâ n tí ch

ràng buộc”

◼

Bước P3 “Hiểu dữ liệu”, Bước P4 “Tiền xử lý dữ liệu”

July 12, 2021

Công nghệ tri thức 10

Vấn đề và ràng buộc

◼ Vấn đề

◼

Câu hỏi mục tiêu kinh doanh (Xem chương 1)

◼

Thường từ 1-3 mục tiêu cụ thể

Phạm vi dữ liệu liên quan tới câu hỏi

Đăt bài toán sơ bộ: biến mục tiêu, dữ liệu điều kiện, mô tả sơ bộ

ràng buộc dữ liệu điều kiện tới biến mục tiêu

◼ Phân tích ràng buộc

◼

Ràng buộc kinh doanh: Làm rõ hơn mối liên quan giữa dữ liệu

với mục tiêu kinh doanh

◼

Ràng buộc nội tại: Ràng buộc dữ liệu về kiểu, ràng buộc liên

quan dữ liệu

July 12, 2021

Công nghệ tri thức 11

Kiểu dữ liệu

◼ Bản ghi

◼

Bản ghi quan hệ

◼

Ma trận DL, chẳng hạn,

ma trận số, bảng

chéo…

Document 1

Document 2

Document 3

3

0

7

1

5

0

2

0

2

1

6

0

2

0

2

3

0

3

2

0

◼

Dữ liệu tài liệu: Tài liệu

văn bản dùng vector

tần số từ …

Dữ liệu giao dịch

TID

1

Items

Bread, Coke, Milk

Beer, Bread

◼ Đồ thị và mạng

2

◼

World Wide Web

3

Beer, Coke, Diaper, Milk

Beer, Bread, Diaper, Milk

Coke, Diaper, Milk

◼

Mạng xã hội và mạng

thông tin

4

5

◼

Cấu trúc phân tử

July 12, 2021

Công nghệ tri thức 12

Kiểu dữ liệu

◼ Thứ tự

◼

Dữ liệu thời gian: chuỗi

thời gian

Dữ liệu dãy: dãy giao

dịch

Dữ liệu dãy gene

◼ Không gian, ảnh

và đa phương

tiện:

◼

DL không gian: bản đồ

Dữ liệu ảnh,

Dữ liệu Video: dãy các

ảnh

◼

Dữ liệu audio

July 12, 2021

Công nghệ tri thức 13

Đặc trưng quan trọng của DL có cấu trúc

◼ Kích thước

◼

Tai họa của kích thước lớn

◼ Thưa

◼

Chỉ mang tính hiện diện

◼ Phâ n tí ch

◼

Mẫu phụ thuộc quy mô

◼ Phân bố

◼

Tập trung và phân tán

July 12, 2021

Công nghệ tri thức 14

Đối tượng dữ liệu

◼ Tập DL được tạo nên từ các đối tượng DL.

◼ Mỗi đối tượng dữ liệu (data object, data point) trình bày

một thực thể.

◼ Ví dụ:

◼

CSDL bán hàng: Khách hàng, mục lưu, doanh số

CSDL y tế: bệnh nhân, điều trị

CSDL đại học: sinh viên, giáo sư, môn học

◼ Tên khác: mẫu (samples ), ví dụ (examples), thể hiện (instances),

điểm DL (data points), đối tượng (objects), bộ (tuples).

◼ Đối tượng DL được mô tả bằng các đặc trưng/thuộc tính

(feature/attribute)

◼ Dòng CSDL → đối tượng DL; cột → thuộc tính.

July 12, 2021

Công nghệ tri thức 15

Đặc trưng (Thuộc tính)

◼ Đặc trưng_feature (hoặc Thuộc tí nh_Attribute

chiều_dimension, biến_variables): một trường DL biểu diễn

một đặc trưng/thuộc tính của một đối tượng DL.

◼

Ví dụ, ChisoKH, tên, địa chỉ

◼ Kiểu:

◼

Đinh danh

Nhị phân

Số: định lượng

◼

Cỡ khoảng

Cỡ tỷ lệ

◼

July 12, 2021

Công nghệ tri thức 16

Kiểu thuộc tính

◼ Định danh: lớp, trạng thái, hoặc “tên đồ vật”

◼

Hair_color = {auburn, black, blond, brown, grey, red, white}

◼

Tình trạng hôn nhân (marital status), nghề nghiệp (occupation),

số ID (ID numbers), mã zip bưu điện (zip codes)

◼ Nhị phân

◼

Thuộc tính định danh hai trạng thái (0 và 1)

Nhị phân đối xứng: Cả hai kết quả quan trọng như nhau

Chẳng hạn, giới tính

Nhị phân phi ĐX: kết quả không quan trọng như nhau.

◼

Chẳng hạn, kiểm tra y tế (tích cực/tiêu cực)

◼

Quy ước: gán 1 cho kết quả quan trọng nhất (chẳng hạn,

dương tính HIV)

◼ Có thứ tự

◼

Các giá trị có thứ tự mang nghĩa (xếp hạng) nhưng độ lớn các giá

trị liên kết: không được biết

◼

Size = {small, medium, large}, grades, army rankings

17

Kiểu thuộc tính số

◼ Số lượng (nguyên hay giá trị thực)

◼ Khoảng

◼

Được đo theo kích thước các đơn vị cùng kích

thước

◼

Các giá trị có thứ tự

◼

Chẳng hạn, nhiệt độ theo C˚hoặc F˚, ngày lịch

◼

Không làm điểm “true zero-point”

◼ Tỷ lệ

◼

zero-point vốn có

◼

Các giá trị là một thứ bậc của độ đo so với đơn vị

đo lường (10 K˚ là hai lần cao hơn 5 K˚).

◼

Ví dụ, nhiệt độ theo Kelvin, độ dài đếm được,

tổng số đếm được, số lượng tiền

18

Thuộc tính rời rạc và liên tục

◼ Thuộc tính rời rạc

◼

Chỉ có một tập hữu hạn hoặc hữu hạn đếm được các giá trị

◼

Chẳng hạn, mã zip, nghề nghiệp hoặc tập các từ trong một tập

tài liệu

◼

Đôi lúc trình bày như các biến nguyên

Lưu ý: Thuộc tính nhị phân là trường hợp riêng của thuộc tính rời

rạc

◼ Thuộc tính liên tục

◼

Có rất nhiều các giá trị thuộc tính

◼

Như nhiệt độ, chiều cao, trong lượng

◼

Thực tế, giá trị thực chỉ tính và trình bảng bằng sử dụng một hữu

hạn chữ số

Thuộc tính liên tục được trình bày phổ biến như biến dấu phảy

động

19

Tương tự và phân biệt

◼ Tương tự

◼

Độ đo bằng số cho biết hai đối tượng giống nhau ra sao

Giá trị càng cao khi hai đối tượng càng giống nhau

Thường thuộc đoạn [0,1]

◼ Phân biệt-Dissimilarity (như khoảng cách)

◼

Độ đo bằng số cho biết hai đối tượng khác nhau ra sao

Càng thấp khi các đối tượng càng giống nhau

Phân biệt tối thiểu là 0

Giới hạn trên tùy

◼ Gần-Proximity chỉ dẫn tới tương tự hoặc phân biệt

20

Bài giảng Nhập môn khai phá dữ liệu - Chương 3: Hiểu bài toán, hiểu dữ liệu và tiền xử lý dữ liệu - Hà Quang Thụy