So sánh một số phương pháp xử lý dữ liệu thiếu cho chuỗi dữ liệu thời gian một chiều
Vietnam J. Agri. Sci. 2021, Vol. 19, No. 4: 452-461
Tạp chí Khoa học Nông nghiệp Việt Nam 2021, 19(4): 452-461
SO SÁNH MỘT SỐ PHƯƠNG PHÁP XỬ LÝ DỮ LIỆU THIẾU
CHO CHUỖI DỮ LIỆU THỜI GIAN MỘT CHIỀU
Phan Thị Thu Hồng
Khoa Công nghệ thông tin, Học viện Nông nghiệp Việt Nam
Ngày nhận bài: 20.07.2020
Ngày chấp nhận đăng: 10.09.2020
TÓM TẮT
Chuỗi thời gian chứa các giá trị thiếu xảy ra trong hầu hết mọi lĩnh vực khoa học ứng dụng. Bỏ qua các giá trị
thiếu có thể dẫn đến giảm hiệu năng của hệ thống và kết quả không đáng tin cậy, đặc biệt là khi dữ liệu mất theo
khoảng lớn. Do đó, xử lý dữ liệu thiếu là một bước rất quan trọng để thực hiện các công việc tiếp như phân lớp,
phân tích dữ liệu... Bài viết này trước tiên nhằm giới thiệu các phương pháp xử lý dữ liệu thiếu. Tiếp theo một
framework cho phép điền đầy dữ liệu mất mát cho chuỗi thời gian đơn biến được xây dựng. Cuối cùng, chúng tôi
thực hiện so sánh hiệu suất của các phương pháp ước lượng giá trị thiếu trên ba chuỗi dữ liệu thời gian thực sử
dụng bốn chỉ số đánh giá. Thông qua kết quả thử nghiệm, phương pháp DTWBI và eDTWBI đạt được kết quả vượt
trội hơn các phương pháp khác khi dữ liệu có tính chất mùa vụ và không có thành phần xu hướng, trong khi đó thì
na.interp tốt hơn các phương pháp khi dữ liệu có cả hai tính chất mùa vụ và xu hướng.
Từ khóa: Chuỗi thời gian một chiều, dữ liệu thiếu, ước lượng giá trị thiếu, độ tương tự.
An Empirical Study of Imputation Methods for Univariate Time Series
ABSTRACT
Time series with missing values occur in almost areas of applied science. Ignoring missing values can lead to
a reduction of system performance and unreliable results, especially in case of large missing values. Therefore,
handling missing data is an important task to effectively perform further purposes such as classification, data
analysis, etc. This article aims first to introduce approaches for dealing with missing data. Next a framework is built
to fill the incomplete data in univariate time series and then to compare the performance of various imputation
methods. Four indices are used to evaluate the ability of imputation methods on 3 different real-time data series.
Through experimental results, the DTWBI and eDTWBI methods achieve better results with data having
seasonality component and without trend factor, while na.interp is more superior as the data have both seasonality
and trend components.
Keywords: Univariate time series, missing data, imputation, similarity.
truy xuçt khi cæn thiết. Chúng tồn täi trong
1. ĐẶT VẤN ĐỀ
nhiều Āng dýng thăc tế thuộc nhiều lïnh văc
Ngày nay, vĆi tiến bộ vþợt bêc cûa hệ thống
giám sát, să phát triển công nghệ lþu trĂ dĂ
liệu, să sẵn sàng cûa các bộ câm biến vĆi chi phí
thçp và việc triển khai các hệ thống viễn thám,
gæn nhþ tçt câ dĂ liệu mà con ngþąi dùng để
phýc vý cho cuộc sống cûa mình đã đþợc ghi
nhên một cách tă động. Các dĂ liệu này đþợc
lþu trĂ (trong máy tính) để con ngþąi có thể
khác nhau nhþ: kinh tế, tài chính, y tế, giáo
dýc, môi trþąng, đða lý, sinh học„ và tồn täi ć
nhiều däng thĀc khác nhþ: số liệu, vën bân,
hình ânh, åm thanh, đoän phim„ Tuy nhiên,
các dĂ liệu thu thêp đþợc thþąng không đæy đû,
vì nhiều lý do lỗi cûa một hay nhiều thiết bð câm
biến, các sai sót xây ra trong quá trình trao đổi/
truyền tâi dĂ liệu, lỗi cûa dýng cý đo đäc không
452
Phan Thị Thu Hồng
chính xác, điều kiện thąi tiết xçu (câm biến
ngoài trąi), hoặc thiếu các tác động cûa con
ngþąi nhþ việc thăc hiện lçy méu nþĆc biển
(Rousseeuw & cs., 2013).
đến thu nhêp thăc tế cûa anh ta cüng nhþ thu
nhêp cûa gia đình anh ta. Do đò, bó qua các giá
trð thiếu MCAR không làm cho phân tích dĂ liệu
bð sai lệch nhþng sẽ làm tëng sai số chuèn cûa
các þĆc tính méu do kích thþĆc méu giâm (Dong
& cs., 2013).
Mặt khác, hæu hết các mô hình dă báo hoặc
các mô hình phân tích chuỗi thąi gian (đĄn biến
hay đa biến) thþąng gặp khò khën khi xā lý các
bộ dĂ liệu không đæy đû, mặc dù đò là nhĂng kï
thuêt mänh (nhþ mäng nĄron, mô hình Markov
èn, rÿng ngéu nhiên...). NhĂng mô hình này đñi
hói dĂ liệu phâi đæy đû trong quá trình học (xây
dăng mô hình dă đoán). HĄn nĂa việc thiếu dĂ
liệu täo ra să mçt thông tin và có thể là nguyên
nhân dén đến việc giâi thích dĂ liệu không
chính xác, sai lệch.
Thiếu dữ liệu ngẫu nhiên (Missing At
Random, MAR)
Thiếu dĂ liệu ngéu nhiên là kiểu thiếu dĂ
liệu mà xác suçt cûa giá trð thiếu chî phý thuộc
vào dĂ liệu đþợc quan sát, chĀ không phý thuộc
vào phæn dĂ liệu bð thiếu. Hay nói cách khác,
các giá trð thiếu cûa một biến phý thuộc vào các
giá trð có sẵn cûa chính nó và các biến khác.
Điều này cho phép có thể þĆc tính dĂ liệu thiếu
dăa trên các biến khác. Ví dý, đánh giá học sinh
tham gia một môn học bao gồm hai bài kiểm tra:
bài kiểm tra giĂa kỳ và bài kiểm tra cuối kỳ. Để
làm bài kiểm tra cuối kỳ, học sinh phâi vþợt qua
bài kiểm tra giĂa kỳ. Giâ sā rìng một sinh viên
trþợt kỳ thi giĂa kỳ và sinh viên çy bó học. Vì
vêy, việc thiếu điểm kỳ thi cuối cûa sinh viên
này là MAR.
Thiếu dĂ liệu hoặc thiếu giá trð nghïa là cò
să tồn täi cûa các quan sát nhþng giá trð không
đþợc thu thêp hoặc mçt sau khi thu thêp hoặc
tþĄng Āng vĆi các giá trð sai (nìm ngoài phäm vi
câm biến) trong cĄ sć dĂ liệu. Việc tìm ra hoặc
hiểu các nguyên nhân gây ra dĂ liệu bð thiếu là
rçt quan trọng. Việc này giúp phát triển, đề
xuçt hoặc tìm ra một phþĄng pháp xā lý dĂ liệu
thiếu thích hợp (Moritz & cs., 2015). Nhþng
trong thăc tế, việc hiểu nguyên nhân vén là một
nhiệm vý đæy thách thĀc khi thiếu dĂ liệu hoàn
toàn không thể biết đþợc hoặc khi nhĂng dĂ liệu
này có phân phối phĀc täp (Molenberghs & cs.,
2014). Theo các nhà thống kê học, nguyên nhân
cûa việc xuçt hiện các dĂ liệu thiếu có thể phân
thành 3 trþąng hợp: “Thiếu dĂ liệu hoàn toàn
ngéu nhiên” (Missing Completely At Random,
MCAR), “Thiếu dĂ liệu là ngéu nhiên” (Missing
At Random, MAR) và “Thiếu dĂ liệu không phâi
là ngéu nhiên” (Not Missing At Random,
NMAR) (Little & cs., 2014).
Thiếu dữ liệu không ngẫu nhiên (Not
Missing At Random, NMAR)
DĂ liệu bð thiếu là kiểu thiếu dĂ liệu ngéu
nhiên nếu xác suçt xuçt hiện cûa các giá trð bð
thiếu phý thuộc vào các giá trð bð thiếu khác. Do
đò, vĆi loäi dĂ liệu bð thiếu này, chúng ta không
thể þĆc tính dĂ liệu không đæy đû tÿ các dĂ liệu
hiện có.
Lþu ý rìng các nguyên nhân gây ra să
thiếu dĂ liệu này chî là giâ đðnh về lý do thiếu
dĂ liệu trong ngĂ cânh phån tích. Do đò, theo
quan điểm giâ thuyết (các nhà thống kê học),
chúng không thể đþợc xác minh (ngoäi trÿ giâ
thuyết MCAR) các giâ thuyết này. Vì vêy, việc
gán nguyên nhân các giá trð bð thiếu cho một
loäi dĂ liệu thiếu ć trên là không rõ ràng và
chíc chín (Moritz & cs., 2015). Hiện nay hæu
hết các nghiên cĀu têp trung vào ba loäi dĂ liệu
bð thiếu ć trên để nghiên cĀu đề xuçt hoặc lăa
chọn phþĄng pháp điền dĂ liệu tþĄng Āng. Tuy
nhiên Molenberghs & cs. (2014) khuyên rìng sẽ
luôn luôn tốt hĄn khi chúng ta kiểm kiểm tra
mĀc độ chính xác cûa kết quâ phån tích đối vĆi
các giâ đðnh khác nhau.
Thiếu dữ liệu hoàn toàn ngẫu nhiên
(Missing Completely At Random, MCAR)
DĂ liệu bð thiếu đþợc coi là MCAR khi să
thiếu dĂ liệu không liên quan đến bçt kỳ giá trð
nào cûa chính biến bð thiếu hoặc các giá trð cûa
bçt kỳ biến nào khác. Điều này cò nghïa là các
điểm dĂ liệu bð thiếu này täo thành một têp hợp
con ngéu nhiên cûa dĂ liệu và hoàn toàn không
có hệ thống. Ví dý, khi một ngþąi tÿ chối tiết lộ
thu nhêp cûa mình, điều này không ânh hþćng
453
So sánh một số phương pháp xử lý dữ liệu thiếu cho chuỗi dữ liệu thời gian một chiều
Do đò, xā lý các dĂ liệu mçt mát nói chung
và mçt mát dĂ liệu trong chuỗi dĂ liệu thąi gian
nòi riêng đòng vai trñ đặc biệt quan trọng trong
học máy, khai phá và xā lý dĂ liệu thống kê, là
tiền đề để thăc hiện tiếp các mýc đðch khác nhþ
phân tích, phân lĆp, dă báo„ Trong bài báo này,
chúng tôi trình bày một số tiếp cên xā lý dĂ liệu
thiếu và thăc hiện so sánh khâ nëng điền đæy
dĂ liệu thiếu cûa một số phþĄng pháp cho các
chuỗi dĂ liệu thąi gian một chiều khác nhau.
Điều này cho phép ngþąi dùng lăa chọn phþĄng
pháp điền đæy dĂ liệu phù hợp vĆi tính chçt cûa
dĂ liệu chuỗi thąi gian một chiều.
2.1.
Bỏ
qua
các
giá
trị
thiếu
(Deletion method)
Bó qua tçt câ nhĂng quan sát không có dĂ
liệu đþợc xem nhþ phån tích trþąng hợp đæy đû
và là một trong nhĂng phþĄng pháp phổ biến
nhçt (Horton & Kleinman, 2007). Cò hai phþĄng
pháp thþąng đþợc áp dýng đò là:
2.1.1. Listwise Deletion
PhþĄng pháp Xòa Listwise thăc hiện xóa
mọi trþąng hợp dĂ liệu thiếu giá trð cho một
hoặc nhiều biến (Gelman & Hill, 2006). Cách
tiếp cên này loäi bó tçt câ các trþąng hợp dĂ liệu
có giá trð bð thiếu, dén đến một têp dĂ liệu chî
quan sát đæy đû. PhþĄng pháp này phổ biến do
tính đĄn giân và dễ thăc hiện. Một mặt, nò đâm
bâo rìng dĂ liệu không chĀa các giá trð bð thiếu
và không có giá trð ngéu nhiên nào đþợc thêm
vào. Tuy nhiên, nó làm giâm kích thþĆc cûa têp
dĂ liệu. Bìng cách loäi bó các quan sát vĆi bçt
kỳ giá trð bð thiếu nào, một số thông tin về bộ dĂ
liệu sẽ bð mçt, điều này có thể dén đến kết quâ
sai lệch.
2. PHƯƠNG PHÁP XỬ LÝ DỮ LIỆU THIẾU
Trên thăc tế, các lïnh văc khác nhau có kiểu
dĂ liệu đặc trþng và cách thĀc lþu trĂ khác
nhau. Do đò không cò phþĄng pháp chuyên
dýng nào thăc să thóa đáng đþợc khuyên dùng
cho việc xā lý dĂ liệu thiếu mà phâi tùy thuộc
vào kiểu dĂ liệu và loäi dĂ liệu thiếu để tÿ đò
quyết đðnh áp dýng hoặc đề xuçt các phþĄng
pháp phù hợp (dăa vào các phån tích để kết quâ
có sai số nhó nhçt có thể). Đặc biệt, là các
phþĄng pháp trâ ląi câu hói “Làm thế nào để có
thể xā lý đþợc dĂ liệu thiếu trong các cĄ sć dĂ
liệu lĆn?”. Trong phæn này chúng tôi trình bày
một số phþĄng pháp cĄ bân xā lý dĂ liệu thiếu
đò là: (1) Bó qua các giá trð thiếu (2) UĆc lþợng
các giá trð bð thiếu.
Bâng 2 cho thçy một ví dý về Xóa Listwise.
Têp dĂ liệu vĆi các giá trð bð thiếu đþợc hiển thð
trong bâng 1. có 10 bân ghi và sau khi thăc hiện
Xóa Listwise chî cñn 6 trþąng hợp. Đối vĆi các
bộ dĂ liệu có nhiều giá trð bð thiếu, lþợng dĂ liệu
bð loäi bó lĆn và do đò, dĂ liệu cò ý nghïa sẽ
bð mçt.
Bảng 1. Tập dữ liệu mẫu chứa các giá trị thiếu
STT
1
Ngày
1/1/2008
Giờ
Mực nước
130
Lưu lượng
1
612
?
2
1/1/2008
1/1/2008
1/1/2008
1/2/2008
1/2/2008
1/2/2008
1/2/2008
1/3/2008
1/3/2008
7
13
19
1
112
115
?
3
542
574
556
546
546
546
556
?
4
5
118
116
?
6
7
7
13
19
1
8
116
118
?
9
10
7
454
Phan Thị Thu Hồng
Bảng 2. Tập dữ liệu đầy đủ sau khi xóa các giá trị thiếu
STT
1
Ngày
Giờ
1
Mực nước
130
Lưu lượng
612
1/1/2008
1/1/2008
1/2/2008
1/2/2008
1/2/2008
1/3/2008
2
13
1
115
542
3
118
556
4
7
116
546
5
19
1
116
546
6
118
556
Bảng 3. Kết quả sử dụng phương pháp Pairwise
(a) Các biến được sử dụng phân tích
(b) Kết quả phương pháp Pairwise
STT
1
Ngày
Giờ
1
Mực nước
STT
1
Ngày
Giờ
1
Mực nước
130
1/1/2008
1/1/2008
1/1/2008
1/1/2008
1/2/2008
/2/2008
130
112
115
?
1/1/2008
1/1/2008
1/1/2008
1/2/2008
1/2/2008
1/2/2008
1//2008
2
7
2
7
112
3
13
19
1
3
13
1
115
4
4
118
5
118
116
?
5
7
116
6
7
6
19
1
116
7
1/2/2008
1/2/2008
1/32008
1/3/2008
13
19
1
7
118
8
116
118
?
9
10
7
thþĆc cûa têp dĂ liệu cuối cùng sẽ khác nhau vì
nó phý thuộc vào các biến sā dýng trong mỗi
phân tích.
2.1.2. Pairwise method (Available-Case
Analysis, ACA)
PhþĄng pháp này chî loäi bó nhĂng trþąng
hợp có các giá trð bð thiếu trong số các biến đþợc
phân tích (Gelman & Hill, 2006). Thông thþąng,
phþĄng pháp này loäi bó ít trþąng hợp hĄn
phþĄng pháp xòa Listwise. ACA vén có một
nhþợc điểm tþĄng tă nhþ Listwise, đặc biệt là
các kết quâ sai lệch, đþợc chî ra trong nghiên
cĀu cûa Ghosh và Pahwa.
2.2. Ước lượng các giá trị thiếu
Khác vĆi cách tiếp cên trên là loäi bó các
bân ghi chĀa dĂ liệu thiếu, cách tiếp cên sẽ tìm
cách thay thế các giá trð thiếu bìng các giá trð
þĆc lþợng sā dýng phþĄng pháp khác nhau.
Trong phæn này chúng tôi trình bày một số
phþĄng pháp phổ biến và cêp nhêt:
Bâng 3 minh họa phþĄng pháp Pairwisse.
Trong ví dý này, các biến đþợc sā dýng để phân
tích là Ngày, gią và măc nþĆc. Bâng 3a. là têp
dĂ liệu con cûa bộ dĂ liệu thiếu ban đæu chî có
ba biến này. Khi áp dýng phþĄng pháp
Pairwise, các hàng có giá trð bð thiếu sẽ bð xóa,
điều này täo ra têp dĂ liệu đþợc thể hiển thð ć
bâng 3. Trong trþąng hợp này, 7 trong số 10
trþąng hợp vén còn, làm giâm kích thþĆc cûa
têp dĂ liệu. Khi sā dýng phþĄng pháp này, kích
2.2.1. Thay thế dữ liệu bằng giá trị trung
bình/trung vị (Mean/median substitution)
Allison (2001) và Bishop (2006) đề xuçt
phþĄng pháp thay thế giá trð trung bình hoặc
trung vð cûa các giá trð quan sát cûa biến cho
mỗi giá trð còn thiếu. Các thuêt toán sā dýng
cùng một giá trð (trung bình hoặc trung vð) thay
thế tçt câ các giá trð bð thiếu dén đến kết quâ
sai lệch và lỗi về độ lệch chuèn (undervalue
455
So sánh một số phương pháp xử lý dữ liệu thiếu cho chuỗi dữ liệu thời gian một chiều
standard derivation) (Crawford & cs., 1995;
Sterne & cs., 2009).
mặt lý thuyết, phþĄng pháp này giâ đðnh rìng
kết quâ sẽ không thay đổi sau giá trð quan sát
cuối cùng.
2.2.2. Phương pháp sử dụng giá trị quan
sát cuối cùng (Last Value Carried
Forward, LVCF)
2.2.3 Thay thế giá trị bằng phương pháp
nội suy (Interpolation)
PhþĄng pháp nội suy sẽ täo ra các điểm dĂ
liệu mĆi tÿ một têp hợp các điểm dĂ liệu đã biết.
Đåy là phþĄng pháp cho kết quâ khá tốt khi dĂ
liệu thiếu tÿng điểm.
PhþĄng pháp này dùng giá trð quan sát
cuối cùng để điền vào các giá trð còn thiếu.
Cách tiếp cên này có thể dén đến kết quâ sai
và dþĆi hoặc quá mĀc cûa các giá trð thăc. Về
Bảng 4. Kết quả thay thế bằng giá trị trung bình hoặc trung vị
STT
Ngày
1/1/2008
Giờ
Mực nước
130
Lưu lượng
612
1
2
1
1/1/2008
1/1/2008
1/1/2008
1/2/2008
1/2/2008
1/2/2008
1/2/2008
1/3/2008
1/3/2008
7
13
19
1
112
115
560/551
542
3
4
118/116
118
574
5
556
6
7
116
546
7
13
19
1
118/116
116
546
8
546
9
118
556
10
7
118/116
560/551
Bảng 5. Kết quả điền đầy giá trị thiếu sử dụng phương pháp LCVF
STT
1
Ngày
Giờ
1
Mực nước
130
Lưu lượng
612
1/1/2008
1/1/2008
1/1/2008
1/1/2008
1/2/2008
1/2/2008
1/2/2008
1/2/2008
1/3/2008
1/3/2008
2
7
112
612
3
13
19
1
115
542
4
115
574
5
118
556
6
7
116
546
7
13
19
1
116
546
8
116
546
9
118
556
10
7
118
556
Bảng 6. Kết quả điền đầy giá trị thiếu sử dụng phương pháp nội suy
STT
1
Ngày
Giờ
1
Mực nước
130
Lưu lượng
612
1/1/2008
1/1/2008
1/1/2008
1/1/2008
1/2/2008
2
7
112
577
3
13
19
1
115
542
4
116.5
118
574
5
556
456
Phan Thị Thu Hồng
Hình 1. (1) Xây dựng cửa sổ Q trước dữ liệu thiếu;
(2) Dịch chuyển từng cửa sổ để tìm các cửa sổ tương tự với cửa sổ Q;
(3) Chọn cửa sổ tương tự nhất Qs với cửa sổ Q;
(4) Thay thế giá trị thiếu bằng giá trị cửa sổ Qfs
eDTWBI là phþĄng pháp mć rộng cûa
2.2.4. Các phương pháp ước lượng giá trị
thiếu trực tiếp dựa vào dữ liệu có sẵn
phþĄng pháp DTWBI. Hình 2 mô tâ các bþĆc þĆc
lþợng giá trð thiếu trên chuỗi dĂ liệu thąi gian
đĄn biến. Ở phþĄng pháp này, vĆi mỗi khoâng
trống dĂ liệu, dĂ liệu trþĆc và dĂ liệu sau khoâng
trống này đþợc xem xét nhþ hai chuỗi dĂ liệu
thąi gian riêng biệt. Tÿ đò phþĄng pháp DTWBI
đþợc áp dýng trên tÿng chuỗi dĂ liệu đĄn lẻ để
þĆc tính vector giá trð thiếu. Kết quâ cuối cùng để
điền đæy khoâng trống dĂ liệu là giá trð trung
bình cûa 2 vector þĆc tính trþĆc đò.
- PhþĄng pháp DTWBI (Phan & cs., 2017)
PhþĄng pháp này cho phép điền đæy khoâng
dĂ liệu thiếu lĆn cûa dĂ liệu chuỗi thąi gian đĄn
biến. Hình 1 mô tâ các bþĆc thăc hiện þĆc lþợng
giá trð thiếu cûa thuêt toán DTWBI. PhþĄng
pháp này thay thế khoâng giá trð thiếu bìng
cách tìm chuỗi con tþĄng tă nhçt (Qs, ③-Hình
1) vĆi chuỗi con trþĆc (hoặc sau) các giá trð bð
thiếu (Q - ①-Hình 1), sau đò lçp đæy khoâng dĂ
liệu trống bìng cách sao chép chuỗi con ngay
sau (tþĄng Āng ngay trþĆc) chuỗi con tþĄng tă
tiếp (Qfs - ④-Hình 1 ). Để tìm ra các chuỗi con
tþĄng tă vĆi cāa sổ Q, tÿng cāa sổ (cùng kích
thþĆc vĆi vĆi cāa sổ Q) đþợc dðch chuyển trên
chuỗi dĂ liệu (②-Hình 1) để tìm ra các chuỗi
tþĄng tă vĆi Q dăa trên độ tþĄng tă toàn cýc
(Phan & cs., 2016) và độ tþĄng tă cýc bộ DTW
(Sakoe và Chiba, 1978). Sau đò, Qs, chuỗi cò độ
khác biệt ít nhçt đþợc chọn ra tÿ têp các chuỗi
tþĄng tă vÿa tìm đþợc.
3. THỰC NGHIỆM
3.1. Miêu tả dữ liệu
Chúng tôi phân tích 3 bộ dĂ liệu để đánh
giá hiệu suçt phþĄng pháp điền đæy giá trð
thiếu. Trong đò cò bộ dĂ liệu Khách hàng hàng
không (Airpassenger) đến tÿ gói R-TSA (Chan
& Ripley, 2018). Bộ dĂ liệu này đþợc chọn vì
chúng thþąng đþợc sā dýng trong các tài liệu
nghiên cĀu. Ngoài ra, chúng tôi cüng chọn thêm
hai bộ dĂ liệu khác đến tÿ lïnh văc khác nhau ć
nhĂng đða điểm khác nhau bao gồm:
- PhþĄng pháp eDTWBI (Phan & cs., 2020)
457
So sánh một số phương pháp xử lý dữ liệu thiếu cho chuỗi dữ liệu thời gian một chiều
Hình 2. (1) Xây dựng cửa sổ Qb, Qa trước và sau dữ liệu thiếu;
(2) Dịch chuyển từng cửa sổ để tìm các cửa sổ tương tự
với cửa sổ Q trên dữ liệu trước và sau dữ liệu thiếu;
(3) Chọn cửa sổ tương tự nhất Qbs và Qas với cửa sổ Q;
(4) Thay thế giá trị thiếu bằng giá trị trung bình cửa sổ trước Qbs và sau cửa sổ Qas
- Khách hàng hàng không (Airpassenger):
Số khách hàng trung bình đi máy bay hàng
tháng. DĂ liệu đþợc thu thêp tÿ tháng 1/1960
đến tháng 12/1971.
BþĆc 1: DĂ liệu thiếu giâ lêp đþợc täo ra
bìng cách xòa các phån đoän (gồm các giá trð
liên tiếp) khói mỗi chuỗi thąi gian vĆi kích thþĆc
khác nhau.
-
Nhiệt độ không khí Phù Liễn
BþĆc 2: Sā dýng các thuêt toán điền đæy để
þĆc tính các giá trð thiếu.
(Temperature): Bộ dĂ liệu này bao gồm nhiệt độ
không khí trung bình hàng tháng täi träm
khí tþợng Phù Liễn täi Việt Nam tÿ 1/1961
đến 12/2014.
BþĆc 3: Đánh giá hiệu quâ cûa các phþĄng
pháp điền đæy giá trð thiếu.
Ở đåy, chúng tôi thăc hiện täo 5 mĀc dĂ
liệu thiếu trên 3 bộ dĂ liệu. Đối vĆi bộ dĂ liệu
khách hàng hàng không, và nhiệt độ không khí
Phù Liễn, kích thþĆc dĂ liệu thiếu læn lþợt là
6%, 7,5%, 10%, 12,5% và 15% chiều dài bộ dĂ
liệu. Đối vĆi bộ dĂ liệu măc nþĆc Hþng Yên, đåy
là một têp dĂ liệu khá lĆn, do đò, các khoâng
trống đþợc täo ra vĆi kích thþĆc 3%, 3,75%, 5%,
6,25% và 7,5% chiều dài bộ dĂ liệu.
- Măc nþĆc täi träm Hþng Yên (Water
level): Bộ dĂ liệu măc nþĆc hàng gią đþợc thu
thêp täi träm Hþng Yên tÿ 1/1/2008 đến
30/04/2008 (2904 bân ghi).
3.2. Các bước tiến hành thực nghiệm
Trên thăc tế, việc đánh giá hiệu suçt cûa
các phþĄng pháp điền đæy dĂ liệu không thể
thăc hiện đþợc do các giá trð thăc bð thiếu. Vì
vêy, chúng ta phâi täo dĂ liệu thiếu giâ lêp trên
chuỗi thąi gian đæy đû để so sánh khâ nëng cûa
các phþĄng pháp þĆc lþợng giá trð thiếu. Trong
nghiên cĀu này, một kỹ thuêt gồm ba bþĆc đþợc
sā dýng để tiến hành các thí nghiệm đþợc mô tâ
chi tiết nhþ sau:
3.3. Các chỉ số đánh giá hiệu suất
Sau khi thăc hiện điền đæy các giá trð thiếu,
chúng tôi đánh giá hiệu suçt cûa phþĄng pháp
cûa dăa trên bốn chî số khác nhau đþợc mô tâ
nhþ sau:
458
Phan Thị Thu Hồng
- Độ tþĄng tă (Similarity) - Sim (y, x) cho
biết độ tþĄng tă nhau giĂa giá trð thăc (x) và giá
trð þĆc lþợng (y) đþợc tính bći công thĀc sau:
trð quan sát cuối (na.locf, Zeileis
&
Grothendieck, 2018), phþĄng pháp thay thế bći
giá trð trung bình (na.aggregate, Zeileis &
Grothendieck, 2018), phþĄng pháp DTWBI
(Phan & cs., 2017), và eDTWBI (Phan & cs.,
2020). Bâng 7 trình bày kết quâ trung bình cûa
các phþĄng pháp điền đæy giá trð thiếu ć trên áp
dýng trên 3 bộ dĂ liệu sā dýng 4 tiêu chí để
đánh giá kết quâ: độ tþĄng tă (Sim), NMAE,
RMSE, FSD. Các kết quâ tốt nhçt cho mỗi tỷ lệ
thiếu dĂ liệu đþợc in đêm. NhĂng kết quâ này
cho thçy eDTWBI có khâ nëng þĆc lþợng dĂ liệu
thiếu tốt hĄn nhĂng phþĄng pháp điền đæy dĂ
liệu thiếu trong bài báo này.
T
1
T1
Sim y,x
yi xi
i1 1
max x min x
Trong đò, T là kích thþĆc dĂ liệu thiếu, độ
tþĄng tă nìm trong [0,1]. Độ tþĄng tă cao hĄn
cho thçy phþĄng pháp điền đæy dĂ liệu thiếu có
khâ nëng þĆc lþợng giá trð thiếu tốt hĄn.
-
NMAE (Normalized Mean Absolute
Error): Sai số tuyệt đối trung bình chuèn hóa
giĂa giá trð thăc (x) và giá trð þĆc lþợng (y) đþợc
tính nhþ sau:
Hai bộ dĂ liệu nhiệt độ Phù Liễn và măc
nþĆc Hþng Yên cò đặc điểm là chî có thành
phæn mùa vý mà không có thành phæn xu
hþĆng. Trên hai bộ dĂ liệu này, chúng ta thçy
rìng eDTWBI cho giá trð lĆn nhçt về độ tþĄng
tă (Sim), giá trð nhó nhçt ć mĀc độ sai số
(NMAE và RMSE) ć hæu hết các mĀc dĂ liệu
thiếu. Điều này cho thçy giá trð þĆc lþợng dĂ
liệu thiếu sinh bći phþĄng pháp eDTWBI là gæn
vĆi giá trð thăc. FSD là chî số so sánh hình dáng
cûa dĂ liệu dă đoán và dĂ liệu thăc. Ở chî số
FSD, so vĆi các chî số so sánh đðnh lþợng thì
eDTWBI không còn cho kết quâ tốt nhþ nhĂng
chî số nhþ Sim, NMAE và RMSE, nó chî cho kết
quâ tốt ć một số mĀc dĂ liệu thiếu trên bộ dĂ
liệu măc nþĆc Hþng Yên (3%, 3,75% và 6,25%).
Ở các mĀc dĂ liệu thiếu còn läi trên bộ dĂ liệu
măc nþĆc Hþng Yên và trên toàn bộ các khoâng
dĂ liệu cûa bộ dĂ liệu nhiệt độ Phù Liễn,
phþĄng pháp eDTWBI đĀng sau DTWBI.
T
yi xi
1 V
NMAE y,x
T i1
Vmin
max
Trong đò, Vmax, Vmin là giá trð max và min
cûa chuỗi thąi gian ban đæu. Kết quâ NMAE
nhó hĄn cho thçy phþĄng pháp điền đæy dĂ liệu
thiếu cho kết quâ sát vĆi giá trð thăc hĄn.
- RMSE (Root Mean Square Error): Lỗi
trung bình bình phþĄng giĂa giá trð thăc (x) và
giá trð þĆc lþợng (y) đþợc đðnh nghïa nhþ sau:
T
2
1
RMSE y,x
y x
i
i
T
i1
Chî số này rçt hĂu ích để đo độ chính xác
tổng thể cûa phþĄng pháp þĆc tính dĂ liệu
thiếu. PhþĄng pháp hiệu quâ hĄn khi giá trð
RMSE thçp hĄn.
- FSD (Fractional Standard Deviation): Tỷ
lệ lệch chuèn nhau giĂa giá trð thăc (x) và giá
trð þĆc lþợng (y) đþợc tính bći công thĀc:
Bộ dĂ liệu khách hàng hàng không vÿa có
tính chçt mùa vý, vÿa cò xu hþĆng tëng dæn.
Hai phþĄng pháp DTWBI và eDTWBI hoät động
tốt vĆi giâ thuyết tồn täi “méu” (pattern) ć vð trí
nào đò trên dĂ liệu, nên hai phþĄng pháp này
chî cho kết tốt hĄn các phþĄng pháp khác ć
nhĂng mĀc dĂ liệu thiếu nhó trên bộ dĂ liệu
này. Ở nhĂng khoâng dĂ liệu thiếu lĆn hĄn,
na.interp là phþĄng pháp nội suy kết hợp vĆi xā
lý tính chçt mùa vý cûa dĂ liệu, cho kết quâ tốt
hĄn ć các chî số Sim, NMAE, và RMSE. Mặc dù
vêy, ć chî số so sánh hình dáng cûa dĂ liệu dă
đoán, DTWBI vén chĀng tó đþợc thế mänh cûa
mình khi kết quâ chî số FSD có giá trð nhó nhçt
täi 4/5 mĀc dĂ liệu thiếu.
SD y SD x
FSD y,x 2*
SD y SD x
Tỷ lệ này cho biết liệu một phþĄng pháp xā
lý dĂ liệu thiếu cò đþợc chçp nhên hay không?
Giá trð cûa FSD càng gæn 0 thì các giá trð þĆc
lþợng càng gæn vĆi giá trð thăc.
4. KẾT QUẢ VÀ THẢO LUẬN
Chúng tôi tiến hành so sánh hiệu nëng cûa
các phþĄng pháp nội suy (na.interp, Hyndman
& Khandakar, 2008), phþĄng pháp sā dýng giá
459
So sánh một số phương pháp xử lý dữ liệu thiếu cho chuỗi dữ liệu thời gian một chiều
Bảng 7. Kết quả so sánh các phương pháp điền đầy dữ liệu thiếu trên 3 bộ dữ liệu
Khách hàng hàng không
Nhiệt độ Phù Liễn
Mực nước Hưng Yên
Kích
thước
Kích
thước
Phương pháp
Sim
0,73
0,81
0,75
0,75
0,56
0,81
0,85
0,78
0,80
0,64
0,73
0,80
0,81
0,78
0,71
0,69
0,81
0,81
0,82
0,76
0,74
0,77
0,83
0,80
0,70
NMAE
0,07
0,04
0,06
0,06
0,14
0,06
0,04
0,07
0,06
0,13
0,11
0,07
0,07
0,08
0,12
0,17
0,10
0,09
0,09
0,13
0,14
0,13
0,09
0,11
0,19
RMSE
45,39
28,01
34,17
38,38
75,70
37,13
21,97
41,69
40,33
77,82
67,03
45,00
42,26
51,19
70,35
105,81
64,38
61,30
60,18
79,64
80,65
72,32
62,29
76,09
114,63
FSD
0,26
0,11
0,86
2
Sim
0,88
0,93
0,79
0,78
0,79
0,89
0,89
0,79
0,79
0,79
0,90
0,92
0,79
0,79
0,80
0,88
0,90
0,79
0,75
0,79
0,89
0,91
0,78
0,79
0,80
NMAE
0,11
0,06
0,22
0,24
0,21
0,11
0,10
0,25
0,25
0,22
0,10
0,07
0,24
0,25
0,22
0,11
0,09
0,25
0,31
0,22
0,11
0,08
0,26
0,26
0,22
RMSE
2,43
1,35
4,94
5,28
4,27
2,44
2,22
5,41
5,42
4,49
2,21
1,72
4,96
5,71
4,48
2,61
2,08
5,52
6,71
4,46
2,53
1,95
5,87
5,97
4,38
FSD
0,04
0,07
1,30
2
Sim
0,78
0,83
0,80
0,79
0,79
0,81
0,81
0,82
0,78
0,77
0,84
0,85
0,84
0,80
0,83
0,83
0,85
0,80
0,76
0,83
0,87
0,89
0,84
0,82
0,84
NMAE
0,13
0,10
0,12
0,12
0,13
0,15
0,14
0,13
0,17
0,19
0,13
0,11
0,12
0,17
0,14
0,14
0,12
0,17
0,23
0,15
0,11
0,10
0,15
0,18
0,15
RMSE
27,89
20,12
26,03
25,93
26,17
27,89
27,70
27,49
34,24
37,78
27,26
24,52
25,83
36,23
29,11
29,08
24,91
35,92
47,90
31,35
23,98
20,28
31,57
36,76
30,99
FSD
0,30
0,30
0,54
2
DTWBI
6%
3%
3,75%
5%
eDTWBI
na,interp
na,locf
na,aggregate
DTWBI
2
2
2
7,50%
0,10
0,21
1,33
2
0,06
0,04
1,19
2
0,13
0,11
0,87
2
eDTWBI
na,interp
na,locf
na,aggregate
DTWBI
2
2
2
10%
0,12
0,41
1,01
2
0,02
0,04
0,91
2
0,14
0,61
0,73
2
eDTWBI
na,interp
na,locf
na,aggregate
DTWBI
2
2
2
12,5%
0,30
0,42
1,59
2
0,07
0,09
1,03
2
6,25%
0,22
0,22
0,99
2
eDTWBI
na,interp
na,locf
na,aggregate
DTWBI
2
2
2
15%
0,28
0,25
1,17
2
0,06
0,10
1,38
2
7,5%
0,14
0,18
1,44
2
eDTWBI
na,interp
na,locf
na,aggregate
2
2
2
460
Phan Thị Thu Hồng
Horton N.J. & Kleinman K.P. (2007). Much Ado
About Nothing: A Comparison of Missing Data
Methods and Software to Fit Incomplete Data
5. KẾT LUẬN
Trong bài viết này, chúng tôi đã trình bày
Regression
Models.
American
Statistical
các hþĆng tiếp cên xā lý dĂ liệu thiếu cho dĂ
liệu chuỗi thąi gian một chiều bao gồm hai
nhòm phþĄng pháp: i) Nhòm phþĄng pháp bó
qua dĂ liệu thiếu và ii) Nhòm phþĄng pháp þĆc
lþợng giá trð thiếu. Kết quâ thăc nghiệm trên 3
bộ dĂ liệu thăc tế cho thçy, phþĄng pháp
eDTWBI và DTWBI cho kết quâ þĆc lþợng khá
chính xác trong trþąng hợp dĂ liệu có tính chçt
mùa vý nhþng không cò xu hþĆng. PhþĄng pháp
na.interp cho kết quâ dă báo tốt hĄn trong
trþąng hợp dĂ liệu vÿa có tính chçt mùa vý và
cò xu hþĆng. BþĆc tiếp theo chúng tôi dă đðnh sẽ
tiếp týc mć rộng nghiên cĀu này cho dĂ liệu
chuỗi thąi gian nhiều chiều.
Association. 61. 79-90.
Hyndman R. & Khandakar Y. (2008). Automatic time
series forecasting: the forecast package for R., used
package in 2020. J. Stat. Softw. pp. 1-22.
Little R.J.A. & Rubin D.B. (2014). Statistical Analysis
with Missing Data. John Wiley & Sons. Google-
Books-ID: AyVeBAAAQBAJ.
Moritz S., Sardá A., Bartz-Beielstein T., Zaefferer M.
& Stork J. (2015). Comparison of different
Methods for Univariate Time Series Imputation in
R. arXivpreprint arXiv:1510.03924.
Molenberghs G., Fitzmaurice G., Kenward M.G.,
Verbeke G. & Tsiatis A. (2014). Handbook of
missing data methodology. CRC Press.
Phan T.T.H., Caillault E.P. & Bigand A. (2016).
Comparative study on supervised learning methods
for identifying phytoplankton species, in 2016
IEEE Sixth International Conference on
Communications and Electronics (ICCE). pp. 283-
288, doi: 10.1109/CCE.2016.7562650.
TÀI LIỆU THAM KHẢO
Allison P.D. (2001). Missing Data, Quantitative
Applications in the Social Sciences, 136. Sage
Publication.
Phan T.T.H., Poisson Caillault E., Lefebvre A. &
Bigand A. (2017). Dynamic Time Warping-based
imputation for univariate time series data, Pattern
Recognition Letters.
Buuren S. & Groothuis-Oudshoorn K. (2011). Mice:
Multivariate imputation by chained equations in R.
Journal of statistical software. 45(3).
Rousseeuw K., Caillault ÉP., Lefebvre A. & Hamad D.
(2013). Monitoring system of phytoplankton
blooms by using unsupervised classifier and time
modeling. In 2013 IEEE International Geoscience
and Remote Sensing Symposium - IGARSS.
pp. 3962-3965.
Bishop C.M. (2006). Pattern Recognition and Machine
Learning (Information Science and Statistics).
Springer-Verlag New York, Inc., Secaucus,
NJ, USA.
Chan K.S. & Ripley B. (2020). TSA: Time Series
Analysis. R package version 1.3. Retrieved from
Stekhoven D.J. & Bühlmann P. (2012). MissForest-
non-parametric missing value imputation for
mixed-type data. Bioinformatics. 28(1): 112-118.
https://CRAN.R-project.org/package=TSA,
March 10, 2020.
on
Crawford S.L., Tennstedt S.L. & McKinlay J.B.
(1995). A comparison of anlaytic methods for non-
random missingness of outcome data. J. Clin.
Epidemiol. 48(2): 209-219.
Sterne J.A.C., White I.R., Carlin J.B., Spratt M., Royston
P., Kenward M.G., Wood A.M. & Carpenter J.R.
(2009). Multiple imputation for missing data in
epidemiological and clinical research: potential and
pitfalls. BMJ (Clin. Resear. ed.).
Dong Y. & Peng J. (2013). Principled missing data
methods for researchers. SpringerPlus. 2: 222.
Sakoe H. & Chiba S. (1978). Dynamic Programming
Algorithm Optimization for Spoken Word
Recognition. IEEE Transactions On Acoustics,
Speech, And Signal Processing. 16: 43-49.
Gelman A. & Hill J. (2006). Data Analysis Using
Regression and Multilevel/Hierarchical Models,
Cambridge University Press.
Zeileis A. & Gabor Grothendieck (2005). zoo: S3
infrastructure for regular and irregular time series.
Journal of Statistical Software. 14(6): 1-27.
Ghosh S. & Pahwa P. (2008). Assessing bias associated
with missing data from joint Canada/U.S. survey
of health: An application, JSM Biometrics.
461
10 trang
21820
Free
Bạn đang xem tài liệu "So sánh một số phương pháp xử lý dữ liệu thiếu cho chuỗi dữ liệu thời gian một chiều", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- so_sanh_mot_so_phuong_phap_xu_ly_du_lieu_thieu_cho_chuoi_du.pdf
