Tóm tắt Luận án Nghiên cứu giải pháp tự động điều chỉnh tài nguyên hiệu quả trong điện toán đám mây
BỘ THÔNG TIN VÀ TRUYỀN THÔNG
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
Nguyễn Khắc Chiến
NGHIÊN CỨU GIẢI PHÁP
TỰ ĐỘNG ĐIỀU CHỈNH TÀI NGUYÊN HIỆU QUẢ
TRONG ĐIỆN TOÁN ĐÁM MÂY
Chuyên ngành: Kỹ thuật máy tính
Mã số: 9.48.01.06
TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT
Hà Nội - 2019
Công trình được hoàn thành tại: Học viện Công nghệ Bưu chính Viễn
thông
Người hướng dẫn khoa học:
1. GS. TSKH. Hồ Đắc Lộc
2. TS. Nguyễn Hồng Sơn
Phản biện:.....................................................................
.....................................................................................
Phản biện:.....................................................................
.....................................................................................
Phản biện:.....................................................................
......................................................................................
Luận án sẽ được bảo vệ trước Hội đồng cấp Học viện Công nghệ
Bưu chính Viễn thông chấm luận án tiến sĩ họp tại..
.....................................................................................
vào hồi …… giờ …… ngày …… tháng …… năm …….
Có thể tìm hiểu luận án tại:
- Thư viện Quốc gia Việt Nam
- Thư viện Học viện Công nghệ Bưu chính Viễn thông
1
MỞ ĐẦU
1. TÍNH CẤP THIẾT CỦA LUẬN ÁN
Trong điện toán đám mây (CC), tự động điều chỉnh (AS) cung cấp và giải phóng
các tài nguyên tạm thời để phục vụ cho các tải ứng dụng biến động mà không có sự
can thiệp của con người sao cho chi phí tài nguyên ít nhất và thỏa mãn mức thỏa
thuận dịch vụ (SLA) hay mục tiêu mức dịch vụ (SLO) của ứng dụng.
Hình 0.1 minh họa các trường hợp AS. Hình 0.1(a), khi nhu cầu đến tăng lên, tài
nguyên hiện tại rơi vào tình trạng quá tải, bộ AS quyết định cung cấp một số tài
nguyên tạm thời bằng cách thêm các VM mới hoặc là thêm khả năng tính toán (ví
dụ: thêm core) cho các VM hiện có. Ngược lại, trong hình 0.1(b), bộ AS giải phóng
một số tài nguyên khi số lượng yêu cầu giảm xuống bằng cách tắt một số VM hiện
có hoặc là giảm công suất của các VM hiện có (ví dụ: giảm số core).
Bộ tự động
điều chỉnh
Bộ tự động
điều chỉnh
VM VM
VM VM VM
VM VM VM
Thêm 2 Cores
2
Cores
4
Cores
VM VM VM
VM VM
Khách hàng
mới đến
Khách hàng
mới đến
Khách hàng
mới đến
(a)
Bộ tự động
điều chỉnh
Bộ tự động
điều chỉnh
Loại bỏ 3 VM
VM VM
VM VM
VM VM VM
Loại bỏ
2 VM
Loại bỏ
2 Cores
2
Cores
4
VM
Cores
VM VM VM
Khách hàng
rời khỏi
Khách hàng
rời khỏi
Khách hàng
rời khỏi
Khách hàng
rời khỏi
(b)
Hình 0.1: Ví dụ một trường hợp tự động điều chỉnh
Một số khó khăn và thách thức cần được giải quyết trong việc xây dựng các
giải pháp AS, như:
- Các nghiên cứu về AS ở mức dịch vụ còn hạn chế. AS bao gồm các mô hình
dịch vụ đám mây đa dạng, nhưng hầu hết các nghiên cứu chỉ tập trung vào mức cơ
sở hạ tầng. AS ở mức dịch vụ là quan trọng như các dịch vụ đang chạy trên một
tập hợp các VM được kết nối và QoS phụ thuộc vào cách AS xử lý các tài nguyên
cho các VM như thế nào. Các số đo mức dịch vụ như số giao dịch trên mỗi đơn vị
thời gian cần phải được ánh xạ tới các số đo mức hệ thống như là: mức sử dụng
CPU, mạng,...
- AS trong môi trường CC hỗn hợp cũng không được hỗ trợ tốt. Đám mây hỗn
hợp, trong đó có một phần ứng dụng được triển khai trên đám mây riêng và phần
2
khác được triển khai trên đám mây công cộng. Trong trường hợp này, các đám mây
công cộng và đám mây riêng có thể cung cấp các giải pháp AS khác nhau mà không
tương thích với nhau, do đó sẽ có vấn đề không tương thích giữa các tài nguyên AS
trên hai đám mây.
- Hiệu quả của AS theo độ tin cậy của quá trình AS không được quản lý tốt. Thất
bại của quá trình AS có thể dẫn đến vi phạm các yêu cầu về QoS của hệ thống như
là: vấn đề hiệu năng, khả năng co giãn và thậm chí phải chịu chi phí không cần thiết.
- Hạn chế về các nghiên cứu chỉ ra mối quan hệ giữa AS và các thuộc tính khác
như: độ sẵn sàng, độ tin cậy và độ an ninh. Ví dụ, các cuộc tấn công từ chối dịch
vụ DDoS có thể gây ra một dịch vụ AS để mở rộng hệ thống không cần thiết và do
đó làm tăng chi phí vận hành.
- Xác định ảnh hưởng của các cơ chế hệ thống cơ bản đến dịch vụ AS trong CC,
như kỹ thuật cân bằng tải, lập lịch hay di trú, từ đó đưa ra các giải pháp mới thích
nghi trong điều kiện AS nhằm nâng cao hiệu năng đám mây.
- Các giải pháp AS đã được đề xuất trong các công trình được đánh giá và thực
nghiệm trên các môi trường và công cụ khác nhau. Mỗi giải pháp đều có những ưu
và hạn chế nhất định.
Hiện nay, một số giải pháp AS vẫn phụ thuộc vào người sử dụng đám mây phải
xác định và cấu hình bộ điều khiển đám mây. Kết quả là, người sử dụng các luật đã
được định nghĩa trước có thể dẫn đến quyết định điều chỉnh tối ưu cục bộ và tốn tiền
trả cho các nhà cung cấp ứng dụng CC.
Để khắc phục hạn chế trên, luận án nghiên cứu và đề xuất giải pháp AS tài nguyên
hiệu quả trong CC bằng cách sử dụng bộ điều khiển mờ kết hợp với phương pháp
học tăng cường để điều chỉnh và cải thiện các chính sách AS khi thực hiện. Phương
pháp học tăng cường được sử dụng là học Q, cho phép hệ thống học từ sự tương tác
với môi trường, trong đó việc học được thực hiện thông qua cơ chế phần thưởng. Sự
kết hợp của điều khiển mờ và học Q mờ tạo ra một cơ chế tự thích nghi mạnh mẽ,
trong đó điều khiển mờ thực hiện việc lập luận ở mức độ trừu tượng cao hơn, lập luận
giống con người và học Q cho phép thích nghi với bộ điều khiển. Bộ AS này có thể
bắt đầu làm việc mà không cần có tri thức ban đầu (với tri thức ban đầu rỗng), và tri
thức sẽ có được trong quá trình thực hiện, thông qua cơ chế tiến hóa tri thức để học
được tập luật tối ưu dùng để điều chỉnh tài nguyên theo các tham số đầu vào.
Ngoài ra, luận án còn nghiên cứu một số vấn đề có ảnh hưởng đến hiệu năng
của hoạt động dịch vụ AS như các kỹ thuật cơ bản của CC: kỹ thuật cân bằng tải,
di trú. Tiếp theo, luận án cũng nghiên cứu các mô hình hàng đợi để mô hình hệ
thống CC và đề xuất một mô hình CC sử dụng mạng hàng đợi – mạng jackson mở
nhằm đánh giá một số số đo hiệu năng trong hệ thống CC.
3
2. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU
Đối tượng nghiên cứu của luận án là các giải pháp kỹ thuật cơ bản như kỹ thuật
cân bằng tải và di trú trong CC; mô hình hóa môi trường CC bằng một mô hình
mạng hàng đợi mở; và giải pháp AS tài nguyên hiệu quả trong CC.
Phạm vi nghiên cứu của luận án tập trung áp dụng các giải pháp, kỹ thuật trên
nền tảng cơ sở hạ tầng CC.
3. PHƯƠNG PHÁP NGHIÊN CỨU
Phương pháp nghiêu cứu của luận án là:
- Với nội dung 1: Luận án nghiên cứu các kỹ thuật cân bằng tải và di trú trong
CC hiện có, chỉ ra vấn đề hạn chế, sau đó đề xuất giải pháp để khắc phục những
hạn chế đó. Sử dụng thực nghiệm để đánh giá tính hiệu quả của kỹ thuật đề xuất.
- Với nội dung 2: Luận án nghiên cứu các mô hình mạng hàng đợi – mạng
Jackson mở, để đề xuất ra một mô hình cho hệ thống CC. Sử dụng mô phỏng để
đánh giá tính đúng đắn của mô hình được đề xuất.
- Với nội dung 3: Luận án nghiên cứu logic mờ và học tăng cường để đề xuất
ra bộ AS hiệu quả cho CC. Sử dụng thực nghiệm để so sánh, đánh giá với các giải
pháp hiện có.
Về thực nghiệm và mô phỏng: Luận án thực hiện thử nghiệm các kỹ thuật, giải
pháp đề xuất dựa vào công cụ mô phỏng CC hoặc tự lập trình mô phỏng trên ngôn
ngữ lập trình Java: CloudSim, sử dụng cơ sở dữ liệu sinh ngẫu nhiên, hoặc có thể
lấy bộ dữ liệu trên Internet, hoặc được thiết lập cố định theo cấu hình nhất định,…
4. CÁC ĐÓNG GÓP CỦA LUẬN ÁN
Đóng góp của luận án bao gồm:
- Đề xuất một kỹ thuật cân bằng tải hiệu quả và một kỹ thuật di trú hiệu quả trong
CC tạo điều kiện thuận lợi cho việc điều chỉnh tài nguyên giúp cải thiện hiệu năng của
các trung tâm CC. Đã minh chứng cơ chế cân bằng tải có ảnh hưởng đến tính hiệu quả
của cơ chế AS tài nguyên và kỹ thuật cân bằng tải được đề xuất có tác động tích cực
đến AS tài nguyên. Kết quả nghiên cứu được công bố trong các công trình TCNN1,
TCTN1, HNQT1, HNQT2 và được trình bày trong Chương 2 của luận án.
- Đề xuất một mô hình CC sử dụng mạng hàng đợi - mạng Jackson mở, làm cơ
sở để đánh giá các thông số quan trọng về hiệu năng của CC. Kết quả được công bố
trong công trình TCNN3 và được trình bày trong Chương 3 của luận án.
- Đề xuất một giải pháp AS tài nguyên hiệu quả trong CC: xây dựng một bộ AS
sử dụng kết hợp kỹ thuật học tăng cường và điều khiển logic mờ. Kết quả được
công bố trong các công trình TCNN2, HNQT3, HNTN1 và được trình bày trong
Chương 4 của luận án.
4
5. BỐ CỤC CỦA LUẬN ÁN
Luận án được xây dựng thành bốn chương như sau: Chương 1 trình bày tổng
quan về tự động điều chỉnh tài nguyên trong điện toán đám mây, giới thiệu tổng
quan về AS trong CC, trình bày các khái niệm liên quan. Chương 2 trình bày các
đề xuất cơ chế cơ bản có ảnh hưởng đến tự động điều chỉnh tài nguyên trong điện
toán đám mây. Chương 3 trình bày đề xuất một mô hình mạng hàng đợi cho hệ
thống điện toán đám mây. Chương 4 trình bày giải pháp tự động điều chỉnh tài
nguyên cho ứng dụng đa tầng trên điện toán đám mây. Cuối cùng là một số kết luận
và hướng phát triển của luận án.
CHƯƠNG 1 : TỔNG QUAN VỀ TỰ ĐỘNG ĐIỀU CHỈNH TÀI NGUYÊN
TRONG ĐIỆN TOÁN ĐÁM MÂY
1.1. CƠ SỞ LÝ THUYẾT
1.1.1. Khái niệm về tự động điều chỉnh
AS là cách để điều chỉnh tăng lên hoặc điều chỉnh giảm xuống một cách tự động
số lượng tài nguyên tính toán đang được cấp phát cho các ứng dụng của khách hàng
dựa vào nhu cầu của khách hàng ở bất kỳ thời điểm nào.
Theo quan điểm học thuật, AS là khả năng của cơ sở hạ tầng CC cho phép cung
cấp tự động các tài nguyên ảo hóa. Tài nguyên được sử dụng bởi các ứng dụng dựa
trên đám mây có thể được tự động tăng lên hoặc giảm xuống, do đó thích hợp cho
việc sử dụng tài nguyên theo nhu cầu của ứng dụng.
1.1.2. Vòng lặp điều khiển MAPE
Đây là bài toán điều khiển tự động cổ điển, đòi hỏi một hệ thống AS các loại
tài nguyên và số lượng tài nguyên được cấp phát để đạt được mục tiêu hiệu năng
nhất định, được phản ánh trong SLA. Nó thường được thực hiện như một vòng lặp
điều khiển MAPE. Chu kỳ kiểm soát liên tục lặp đi lặp lại theo thời gian. Các giai
đoạn trong vòng lặp MAPE gồm: giai đoạn giám sát (M), giai đoạn phân tích (A),
giai đoạn lập kế hoạch (P) và giai được thực hiện (E).
1.1.3. Phương pháp điều chỉnh
PHƯƠNG PHÁP
ĐIỀU CHỈNH
ĐIỀU CHỈNH THEO
CHIỀU DỌC
ĐIỀU CHỈNH THEO
CHIỀU NGANG
Hình 1.1: Phương pháp điều chỉnh trong CC
5
1.1.4. Kỹ thuật tự động điều chỉnh
Kỹ thuật
tự động điều chỉnh
Kỹ thuật sử
dụng luật dựa
vào ngưỡng
Kỹ thuật sử
dụng học tăng
cường
Kỹ thuật sử
dụng lý thuyết
hàng đợi
Kỹ thuật sử
dụng lý thuyết
điều khiển
Kỹ thuật sử
dụng phân tích
chuỗi thời gian
Hình 1.2: Phân loại các kỹ thuật AS
1.1.5. Kiến trúc ứng dụng đa tầng
Các ứng dụng đa tầng bao gồm các tầng kết nối tuần tự. Tại mỗi tầng, các yêu
cầu dựa vào tầng trước để hoàn thành xử lý hoặc nó được chuyển đến tầng tiếp theo
để xử lý và cuối cùng, kết quả xử lý chuyển đến người dùng.
Một kiến trúc thích nghi mở rộng thuộc loại này thường bao gồm ba tầng: một
tầng trước, một tầng logic ứng dụng và một tầng cơ sở dữ liệu (ví dụ hình 1.6). Tầng
cơ sở dữ liệu thường được xem xét là ít điều chỉnh và thường bỏ qua tính năng AS.
Website
Amazon EC2
Load Balancer
VM – 1
VM – 2
...
VM – n
Replication
Master
DB
Slave
DB
EBS EBS EBS
Vol Vol Vol
EBS EBS EBS
Vol Vol Vol
Backup
(Snapshots)
Amazon S3
Hình 1.3: Ví dụ một ứng dụng web có kiến trúc ba tầng
Trong luận án này nghiên cứu các kỹ thuật AS theo chiều ngang, tức là AS số
lượng VM tăng lên hoặc giảm xuống theo nhu cầu của tải công việc làm sao tối thiểu
việc sử dụng các tài nguyên tính toán. Đối với ứng dụng đa tầng, mỗi tầng có thể sử
dụng nhiều VM.
1.1.6. Nền tảng thực nghiệm
Các kỹ thuật AS hiện có thường được thực nghiệm trong các điều kiện rất khác
nhau, do đó khó có được một đánh giá so sánh công bằng. Các nhà nghiên cứu trong
lĩnh vực này đã tự xây dựng các nền tảng đánh giá riêng, phù hợp với nhu cầu riêng.
Các nền tảng đánh giá này có thể được phân loại thành các chương trình mô phỏng,
6
các bộ dữ liệu mẫu tùy chỉnh và các nhà cung cấp đám mây công cộng. Ngoại trừ các
chương trình mô phỏng đơn giản, một tiêu chuẩn ứng dụng có thể mở rộng phải được
thực hiện trên nền tảng để thực hiện đánh giá.
Một số công cụ mô phỏng đám mây dùng cho hướng nghiên cứu là CloudSim,
GreenCloud và GroudSim.
1.1.7. Tải công việc
Tải công việc đầu vào cho ứng dụng có thể là dữ liệu (tải công việc) tổng hợp,
được tạo bằng các chương trình cụ thể hoặc thu được từ người dùng thực tế.
Hệ thống dựa trên đám mây xử lý hai loại tải công việc chính: lô (batch) và giao
tác. Tải công việc theo lô bao gồm các công việc tùy ý, kéo dài, các công việc đòi
hỏi nhiều tài nguyên, như các chương trình khoa học hoặc chuyển mã video. Ví dụ
về tải công việc giao tác là các ứng dụng web được xây dựng để phục vụ các khách
hàng HTTP trực tuyến. Các hệ thống này thường phục vụ các loại nội dung như
các trang HTML, hình ảnh hoặc luồng video. Có thể được lưu trữ tĩnh hoặc được
hiển thị tự động bởi các máy chủ.
1.2. TỔNG QUAN VỀ CÁC CÔNG TRÌNH LIÊN QUAN
Phần này sẽ trình bày tổng quan về các công trình liên quan đến các các kỹ thuật
tự động điều chỉnh trong CC, phân tích những ưu điểm và hạn chế của chúng nhằm
đề xuất hướng nghiên cứu tiếp theo.
KẾT LUẬN CHƯƠNG 1:
Chương 1 đã trình bày về cơ sở lý thuyết được sử dụng trong luận án như khái
niệm về AS và những vấn đề liên quan. Các công trình liên quan đến luận án được
trình bày theo từng kỹ thuật AS. Trong đó, luận án tập trung vào các kỹ thuật sử
dụng lý thuyết hàng đợi, lý thuyết điều khiển và học tăng cường.
CHƯƠNG 2 : CÁC ĐỀ XUẤT CƠ CHẾ CƠ BẢN CÓ ẢNH HƯỞNG ĐẾN TỰ
ĐỘNG ĐIỀU CHỈNH TÀI NGUYÊN TRONG ĐIỆN TOÁN ĐÁM MÂY
2.1. ĐẶT VẤN ĐỀ
Chương này được tổng hợp từ các công trình TCNN1, TCTN1, HNQT1,
HNQT2.
2.2. ĐỀ XUẤT MỘT KỸ THUẬT CÂN BẰNG TẢI ĐỘNG HIỆU QUẢ
TRONG ĐIỆN TOÁN ĐÁM MÂY
2.2.1. Cơ chế chia sẻ tài nguyên trong điện toán đám mây
Kỹ thuật cân bằng tải trong CC có thể áp dụng ở những mức khác nhau, đó là
mức PM hoặc mức VM. Có hai chính sách lập lịch áp dụng ở mức PM để thực hiện
cung cấp các VM là time-shared (TS) hoặc space-share (SS) và cũng có hai chính
7
sách lập lịch áp dụng ở mức VM để thực hiện cung cấp cho các tác vụ là TS hoặc
SS.
Hình 2.2 là một ví dụ về việc chia sẻ tài nguyên dựa vào các chính sách khác
nhau ở các 2 mức: Trong ví dụ này, một PM có hai core CPU nhận yêu cầu lưu giữ
hai VM. Mỗi VM yêu cầu hai core và có kế hoạch lưu giữ bốn đơn vị tác vụ. Cụ
thể, các tác vụ t1, t2, t3, t4 được lưu giữ trong 푉푀1, và các tác vụ t5, t6, t7 và t8
được lưu giữ trong 푉푀2. Mỗi tác vụ yêu cầu một core xử lý.
Hình 2.2(a) trình bày một trường hợp cung cấp, trong đó chính sách SS được
áp dụng cho việc phân bổ cho cả VM và các đơn vị tác vụ.
Hình 2.2(b), chính sách SS được áp dụng để phân bổ VM tới các PM và chính
sách TS để phân bổ các đơn vị tác vụ tới core xử lý bên trong một VM.
Cores
Cores
vm1
vm2
vm1
vm2
2
t4
t3
t2
t1
t8
t7
t6
t5
2
1
t2
t1
t6
t5
t4
t3
t8
t7
1
Time
Time
(b)
(a)
Cores
2
Cores
2
t8
vm
vm
vm
vm
t7
t6
t4
t3
t2
t1
vm
vm
vm
vm
t8
t7
t6
t5
t5
t4
t3
t2
t1
1
1
Time
Time
(d)
(c)
Hình 2.1: Ảnh hưởng của các chính sách khác nhau đối với việc thực thi các tác vụ
Hình 2.2 (c), VM sử dụng chính sách cung cấp TS, trong khi các tác vụ được
cung cấp dựa trên chính sách SS.
Hình 2.2(d), chính sách phân bổ TS áp dụng cho cả VM và tác vụ.
2.2.2. Phân tích kỹ thuật cân bằng tải động được đề xuất
1
Trong công trình đưa ra thuật toán cân bằng tải giám sát tích cực (gọi tắt là:
AMLB-Old). Thuật toán AMLB-Old chưa tính đến kích thước của tải công việc và
khả năng xử lý còn lại của các VM.
VM1
VM2
Yêu cầu
mới đến
T7
T4
T3
T2
T6
T5
T1
Hình 2.2: Ví dụ có 2 VM đang hoạt động như trên
1
James, Jasmin and Verma, Bhupendra (2012), "Efficient VM load balancing algorithm for a cloud computing
environment", International Journal on Computer Science and Engineering. 4(9), p. 1658.
8
Xem ví dụ Hình 2.2, với hai VM: 푉푀1, 푉푀2. Hiện tại, 푉푀1 chứa 4 yêu cầu T1,
T2, T3, T4 và VM2 chứa 3 yêu cầu T5, T6, T7. VM1 chứa số yêu cầu nhiều hơn
푉푀2, nhưng công suất xử lý còn lại của 푉푀2 lại ít hơn 푉푀1. Khi một yêu cầu mới
đến, theo thuật toán AMLB-Old, yêu cầu mới này sẽ được cấp phát cho 푉푀2 để xử
lý. Do đó, 푉푀2 có thể bị quá tải, mặc dù số lượng yêu cầu của nó là ít hơn.
Thuật toán AMLB-New có tính đến cả sức mạnh xử lý hiện tại của VM và kích
thước của các yêu cầu được giao.
Thời gian đáp ứng dự kiến có thể được xác định theo công thức sau:
Response Time = Fint − Arrt + TDelay,
(0.1)
trong đó, Arrt là thời điểm đến của yêu cầu; Fint là thời điểm hoàn thành yêu cầu
(tác vụ) người dùng và TDelay là độ trễ truyền tải.
+ Nếu chính sách lập lịch là SS-SS hoặc TS-SS, Fint có thể tính như sau:
rl
( )
Fint = est p +
.
(0.2)
(0.3)
(0.4)
Capacity × cores(p)
+ Nếu chính sách lập lịch là SS-TS hoặc TS-TS, Fint có thể tính như sau:
rl
Fint = ct +
.
Capacity × cores(p)
Thời gian thực hiện của một tác vụ 푝 có thể tính như sau:
rl
Execution Time =
.
Capacity × Cores(p)
trong đó, est(p) là thời gian mà tác vụ p được bắt đầu; ct là thời gian mô phỏng
hiện tại; rl là tổng số chỉ thị của tác vụ p (đơn vị tính MI); Cores(p) là số core hoặc
các thành phần xử lý theo yêu cầu của tác vụ (đơn vị là MIPS); Capacity là công
suất xử lý trung bình (tính theo MIPS) của một core cho tác vụ.
Tham số Capacity xác định công suất thực sự cho việc xử lý các yêu cầu (tác
vụ) trên mỗi VM. Ở đây, đề xuất các công thức để tính toán Capacity trong từng
trường hợp để sử dụng trong thuật toán AMLB-New:
(1) Chính sách lập lịch VM là SS, chính sách lập lịch tác vụ là SS:
np
Cap(i)
(0.5)
Capacity = ∑
,
np
i=1
trong đó, Cap(i) là sức mạnh xử lý của core thứ i, np là số lượng core thực có của
PM đã được xem xét.
(2) Chính sách lập lịch VM là SS, chính sách lập lịch tác vụ là TS:
9
np
∑
i=1 Cap(i)
Capacity =
,
(0.6)
α
∑
( )
Max( j=1 Cores j , np)
trong đó, Cores(j) là số core mà tác vụ j yêu cầu. là tổng số tác vụ trong VM có
chứa tác vụ.
(3) Chính sách lập lịch VM là TS, chính sách lập lịch tác vụ là SS:
np
∑
i=1 Cap(i)
Capacity =
,
(0.7)
β
k=1
γ
∑
∑
( )
Max(
j=1 Cores j , np)
trong đó, là số VM trong PM hiện tại. là số lượng các tác vụ đang chạy đồng
thời trong VM thứ k.
(4) Chính sách lập lịch VM là TS, chính sách lập lịch tác vụ là TS:
np
∑
i=1 Cap(i)
Capacity =
,
(0.8)
δ
∑
( )
Max( j=1 Cores j , np)
trong đó, là tổng số tác vụ của PM được xem xét.
Ở đây chỉ xét các thuật toán cân bằng tải thực hiện trong một trong tâm dữ liệu,
nên tham số độ trễ truyền dữ liệu có thể bỏ qua (TDelay = 0).
2.2.3. Thực nghiệm và đánh giá
Thực nghiệm so sánh ba thuật toán AMLB-Old, Thuật toán cân bằng tải
Throttled (TLB) và Thuật toán đề xuất (AMLB-New). Việc đánh giá dựa trên hai
số đo: thời gian đáp ứng trung bình và thời gian xử lý trung bình.
Average Response Time (SS-SS)
Average Processing Time (SS-SS)
100000
90000
80000
70000
60000
50000
40000
30000
20000
10000
0
16000
14000
12000
10000
8000
6000
4000
2000
0
10
20
30
40
50
60
70
80
90
100
Number of Cloudlets
10
20
30
40
50
60
70
TLB
80
90
100
AMLB-Old
AMLB-New
AMLB-Old
AMLB-New
TLB
Hình 2.4: Thời gian xử lý trung bình theo
trường hợp1
Hình 2.3: Thời gian đáp ứng trung bình
theo trường hợp 1
a. Trường hợp 1: Ở mức PM và mức VM được cung cấp theo chính sách lập
lịch SS, gọi là SS-SS.
b. Trường hợp 2: Ở mức PM, chính sách lập lịch VM là TS và ở mức VM,
chính sách lập lịch tác vụ là SS, gọi là TS-SS.
10
Average Processing Time (TS-SS)
Average Response Time (TS-SS)
16000
14000
12000
10000
8000
6000
4000
2000
0
100000
90000
80000
70000
60000
50000
40000
30000
20000
10000
0
10
20
30
40
50
60
70
80
90
100
10
20
30
40
50
60
70
80
90
100
Number of Cloudlets
Number of Cloudlets
AMLB-Old
AMLB-New
TLB
AMLB-Old
AMLB-New
TLB
Hình 2.6: Thời gian xử lý trung bình theo trường
hợp 2
Hình 2.5: Thời gian đáp ứng trung bình theo
trường hợp 2
c. Trường hợp 3: Ở mức PM, chính sách lập lịch cho VM là SS và ở mức VM,
chính sách lập lịch tác vụ là TS, gọi là SS-TS.
Average Processing Time (SS-TS)
Average Response Time (SS-TS)
100000
90000
80000
70000
60000
50000
40000
30000
20000
10000
0
16000
14000
12000
10000
8000
6000
4000
2000
0
10
20
30
40
50
60
70
80
90
100
10
20
30
40
50
60
70
80
90
100
Number of Cloudlets
Number of Cloudlets
AMLB-Old
AMLB-New
TLB
AMLB-Old
AMLB-New
TLB
Hình 2.7: Thời gian đáp ứng trung bình theo
Hình 2.8: Thời gian xử lý trung bình theo
trường hợp 3
trường hợp 3
d. Trường hợp 4: Ở mức PMvà mức VM được cung cấp theo chính sách lập
lịch TS, gọi là TS-TS.
Average Response Time (TS-TS)
Average Processing Time (TS-TS)
100000
90000
80000
70000
60000
50000
40000
30000
20000
10000
0
16000
14000
12000
10000
8000
6000
4000
2000
0
10
20
30
40
50
60
70
80
90
100
10
20
30
40
50
60
70
80
90
100
Number of Cloudlets
Number of Cloudlets
AMLB-Old
AMLB-New
TLB
AMLB-Old
AMLB-New
TLB
Hình 2.9: Thời gian đáp ứng trung bình
Hình 2.10: Thời gian xử lý trung bình theo
theo trường hợp 4
trường hợp 4
Trong cả bốn trường hợp trên, thời gian đáp ứng trung bình của thuật toán
AMLB-New tốt nhất so với các thuật toán AMLB-Old và TLB. Về thời gian xử lý
trung bình, thuật toán AMLB-New là tốt nhất cho hai trường hợp SS-SS và TS-SS.
Trong trường hợp SS-TS và TS-TS, thuật toán AMLB-New vượt trội hơn thuật
toán AMLB-Old nhưng không tốt bằng thuật toán TLB.
11
2.3. ĐỀ XUẤT MỘT KỸ THUẬT DI TRÚ HIỆU QUẢ TRONG ĐIỆN TOÁN
ĐÁM MÂY
2.3.1. Phân tích kỹ thuật di trú được đề xuất
2
Thuật toán MM-Old có ưu điểm là số lần di trú là ít nhất. Tuy nhiên, trong
trường hợp phải di trú nhiều hơn một VM, thì thuật toán MM-Old không khai thác
được tối đa tài nguyên của PM (duy trì PM hoạt động với khả năng cao nhất có thể)
trong một số trường hợp. Hãy xét ví dụ hình 2.15.
hostUtil (25)
VM5 (9)
UT (15)
VM4 (6)
VM3 (5)
VM2 (4)
VM1 (1)
Hình 2.11: Ví dụ cho trường hợp phải di trú nhiều VM
Hình 2.15 mức sử dụng hiện tại của PM là ℎ표푠푡푈푡ꢀ푙 = 25, ngưỡng trên là 푈푇 =
15. PM này được cấp phát 5 VM với các mức sử dụng tương ứng như trên. Như
vậy, PM này đang hoạt động quá tải, độ chênh lệch mức sử dụng vượt là
푑ꢀ푓푓푈푡ꢀ푙 = 25 − 15 = 10.
Theo thuật toán MM-Old, thì VM5 (9) sẽ được chọn đầu tiên để di trú là. Sau
đó, VM2 (4) sẽ được chọn tiếp theo để di trú và sẽ đưa PM về mức sử dụng xuống
dưới ngưỡng UT. Do đó, sau khi di trú, mức sử dụng CPU của PM là: 25 − 13 =
12.
Tuy nhiên, có thể thấy nếu chọn hai máy ảo VM4 (6) và VM3(5) để di trú thì
vẫn thỏa mãn số lần di trú ít nhất đồng thời có thể duy trì mức hoạt động của PM
cao nhất có thể. Mức sử dụng của PM khi di trú VM4 và VM5 là: 25 − 11 = 14.
Luận án đề xuất chính sách di trú với số lần ít nhất (MM-New) có thể phát biểu
lại như sau:
Cho V là một tập hợp các VM được cấp phát cho PM j. Gọi P(V ) là tập công
j
j
suất (mức sử dụng) của V . Chính sách MM-New tìm một tập R V được định
j
j
nghĩa như sau:
2 Beloglazov, Anton, Abawajy, Jemal, and Buyya, Rajkumar (2012), "Energy-aware resource allocation heuristics for
efficient management of data centers for cloud computing", Future generation computer systems. 28(5).
12
( )
ua v < 푈푇,
S|S ∈ 푉 , hostUtilj −
∑
푗
( )
v ∈푃(푉 )
v ∈ S,u
a
푗
, nếu hostUtilj > UT;
}
| |
S → min,
( )
ua v → min
∑
R =
(0.9)
( )
v ∈푃(푉 )
v ∈ S,u
{
a
푗
V , nếu hostUtilj < LT;
j
{
∅, còn lại.
trong đó UT là ngưỡng sử dụng trên; LT là ngưỡng sử dụng dưới; hostUtilj là mức
sử dụng CPU hiện tại của PM j; và ua(v) là một phần mức sử dụng CPU được cấp
phát cho VM v.
2.3.2. Thực nghiệm và đánh giá
Thực nghiệm tiến hành so sánh thuật toán đề xuất MM-New với thuật toán MM-
Old và cho kết quả như hình 2.16.
Hình 2.12: Kết quả so sánh hài thuật toán MM-Old và MM-New
Kết quả cho thấy, thuật toán MM-New sẽ tốt hơn thuật toán MM-Old trong
trường hợp phải di trú nhiều VM.
2.4. ẢNH HƯỞNG CỦA CÂN BẰNG TẢI ĐẾN CƠ CHẾ TỰ ĐỘNG ĐIỀU
CHỈNH TÀI NGUYÊN
2.4.1. Mô hình trung tâm dữ liệu có bộ điều chỉnh tài nguyên tự động
Cho trung tâm dữ liệu (DC) có N VM: VM1, VM2, . . . , VMN. Trong đó, mỗi
VM có sức mạnh xử lý Pivà tải công việc Li(t) tại thời điểm t.
VM1(L1(t), P )
1
VM2(L2(t), P )
2
. . . . . .
VMN(LN(t), PN)
′
Gọi l(t) là tải công việc mới (yêu cầu mới) đến tại thời điểm t. Gọi Li(t) là tải
công việc của VMi sau khi bộ cân bằng tải đã phân bố tải l(t) đến:
13
′
Li(t) = Li(t) + ai(t). l(t); i = 1. . N
với ai(t) lấy giá trị 1 hoặc 0. Khi sử dụng thuật toán Round Robin:
0 nếu VMi không được gán tải,
(0.10)
(0.11)
( )
ai t = {
1 nếu VMi được gán.
( )
Với thuật toán cân bằng tải giám sát tích cực (ALMB-New), ai t như sau:
1 nếu VMi có thời gian hoàn thành
( )
ai t = { dự kiến sớm nhất được gán tải,
(0.12)
, được tính như sau:
(0.13)
0 nếu ngược lại.
( )
t
Thời gian phục vụ còn lại của VM, được gọi là
T
left,i
Li(t)
( )
t =
T
left,i
P
i
Gọi Dev(t) là sự khác biệt giữa thời gian phục vụ còn lại nhỏ nhất và thời gian
phục vụ còn lại lớn nhất của các VM bên trong hệ thống được xem xét.
Li(t)
Li(t)
( )
Dev t = (
)
− (
)
(0.14)
P
i
P
i
max
min
( )
푉ớꢀ 푡푟ườ푛푔 ℎợ푝 푙ý 푡ưở푛푔 푙à: 퐷푒푣 푡 → 0 푘ℎꢀ 푡 → ∞
( )
t
Gọi Tav
sau:
thời gian phục vụ còn lại trung bình tại thời điểm t, được tính như
N Li(t)
∑
i
( )
Tav t =
(0.15)
N P
∑
i
i
Nếu gọi N′(t) là số lượng máy trong hệ thống được xem xét tại thời điểm t thì
N′(t) được tính theo công thức sau:
′( )
N t = N t + n(t)
( )
(0.16)
n(t) là số máy tạm thời được bổ sung vào hệ thống được xem xét tại thời điểm
t. Bộ AS tuân theo quy tắc sau:
( )
0 Thresholdlow ≤ Tav t ≤ Thresholdhigh
,
( )
n t = {
( )
1 Tav t > Thresholdhigh
,
(0.17)
( )
−1 Tav t < Thresholdlow
.
2.4.2. Thực nghiệm và đánh giá
Thực nghiệm sử dụng dữ liệu tải đầu vào như hình 2.17. So sánh việc sử dụng
các thuật toán cân bằng tải: Round Robin và kỹ thuật cân bằng tải giám sát tích cực
AMLB-New. Việc mô phỏng bao gồm một bộ AS hoạt động dựa trên ngưỡng.
14
Hình 2.14: Số lượng VM được bổ sung khi
Hình 2.13: Phấn bố tải công việc đến trong
sử dụng Round Robin
ClarkNet trace3
Hình 2.15: Số lượng VM được bổ sung khi
sử dụng AMLB-New
Hình 2.16: Độ lệch Dev(t) theo bộ cân bằng tải
sử dụng Round Robin và sử dụng AMLB-New
Kết quả cho thấy việc bổ sung VM và duy trì hiệu suất của bộ AS khi sử dụng kỹ
thuật cân bằng tải AMLB-New tốt hơn khi sử dụng Round Robin.
KẾT LUẬN CHƯƠNG 2:
Chương này, luận án đã đề xuất một kỹ thuật cân bằng tải động hiệu quả và một
kỹ thuật di trú hiệu quả trong CC. Cuối cùng là đánh giá ảnh hưởng của các kỹ
thuật cân bằng tải trong CC có cơ chế AS tài nguyên, các kết quả thực hiện và mô
phỏng đã chỉ ra tính hiệu quả của các kỹ thuật được đề xuất và đánh giá được vai
trò, sự ảnh hưởng của các kỹ thuật cân bằng tải trong một trường CC có cơ chế AS.
CHƯƠNG 3 : ĐỀ XUẤT MỘT MÔ HÌNH MẠNG HÀNG ĐỢI CHO HỆ
THỐNG ĐIỆN TOÁN ĐÁM MÂY
3.1. ĐẶT VẤN ĐỀ
Nội dung chương này được tổng hợp từ công trình TCNN3.
3.2. MÔ HÌNH HÓA ỨNG DỤNG ĐA TẦNG TRÊN ĐIỆN TOÁN ĐÁM MÂY
3.2.1. Mô hình hàng đợi mở cho ứng dụng đa tầng
Hình 3.1 là mô hình mạng hàng đợi mở được đề xuất cho ứng dụng đa tầng.
3
HTTP, ClarkNet ClarkNet HTTP Trace, truy cập 9/7/2018, from http://ita.ee.lbl.gov/html/contrib/ClarkNet-
15
Tầng xử lý nghiệp vụ
λ1
μ1
Bộ cân bằng tải
Máy chủ cơ sở dữ liệu
λ
λ2
μ1
λ
δ
...
λm
μm
Hình 3.1: Mô hình mạng hàng đợi mở cho ứng dụng đa tầng trên CC
Ở đây tập trung vào tính không đồng nhất của VM, giả sử mỗi VM ꢀ có ci core
xử lý, tốc độ thực thi của mỗi core là s đo bằng giga lệnh trên mỗi giây (GIPS).
Tốc độ phục vụ của VM ꢀ được tính như sau:
s ∗ ci
μi =
,
(0.18)
̅
Z
̅
trong đó, Z là số chỉ thị trung bình của một yêu cầu được thi tại VM ꢀ.
Mỗi nút là một VM có tốc độ phụ vụ μi.
Mô hình đề xuất trong hình 3.1 thỏa mãn yêu cầu của một mạng hàng đợi
Jackson mở.
3.2.2. Phân tích mô hình đề xuất
Gọi rij là xác suất chuyển trạng thái sau khi yêu cầu được xử lý xong tại nút i
sẽ chuyển đến nút j. Ta có, tổng các xác suất chuyển trạng thái trong mạng hàng
đợi mở là 1 (ở đây: ri0 là xác suất chuyển ra ngoài mạng từ nút i):
N
[
]
ri0 = 1 − ∑ rij, i ∈ 1, N
(0.19)
j=1,j≠i
Gọi λi là tốc độ đến từ bên ngoài vào nút thứ i và Λi là tổng tốc độ đến của nút
thứ i (bao gồm cả tốc độ đến từ bên ngoài và tốc độ chuyển đến từ các nút bên trong
hệ thống mạng đến nút thứ i), khi đó ta có:
N
[
]
Λi = λi + ∑ Λjrji , i ∈ 1, N
(0.20)
j=1,j≠i
T
[
]
Gọi Λ = Λ1, Λ2, … , ΛN là vector tổng tốc độ đến các hàng đợi của các nút.
Gọi λ = λ1, λ2, … , λN T là vector tốc độ đến từ bên ngoài, khi đó công thức (3.13)
[
]
có thể được viết lại dưới dạng phương trình ma trận sau:
Λ = λ + RTΛ,
(0.21)
với R là ma trận xác suất chuyển trạng thái (RT là ma trận chuyển vị của ma trận R).
16
r11 r12
r21 r12
⋯
⋯
⋱
r1N
r2N
⋮
R = (
)
(0.22)
⋮
⋮
rN1 rN1
⋯
rNN
Một mạng Jackson mở được xem xét như một chuỗi Markov thời gian liên tục
với vector trạng thái:
(
)
,
x̅ = x1, x2, … , xN
(0.23)
trong đó với xi là số lượng yêu cầu đang có tại VM i. Sử dụng phương trình trạng
thái cân bằng dựa trên hệ thống Markov.
Trong Bảng 3.2, mô tả các trạng thái có thể:
Bảng 3.1. Bảng mô tả trạng thái
Trạng thái
Ký hiệu
x1, … , xi−1, xi, xi+1, … , xN
x̅
x1, … , xi−1, xi + 1, xi+1, … , xN
x̅; i+
x̅; i−
x1, … , xi−1, xi − 1, xi+1, … , xN
x1, … , xi−1, xi + 1, xi+1, … , xj−1, xj − 1, xj+1, … , xN
x̅; i+j−
Sử dụng nguyên lý cân bằng trạng thái luồng vào trạng thái x̅ bằng luồng ra
khỏi trạng thái x̅, giả sử xi ≥ 1 tại mọi VM:
N
N
N
N
−
+ −
+
∑ λi px̅;i + ∑ ∑ μirijpx̅;i
+ ∑ μiri0px̅;i
j
i=1
j=1 i=1
i=1
푁
푁
= ∑ 휇푖(1 − 푟 ) 푝푥 + ∑ 휆푖 푝푥
(0.24)
푖푖
̅
̅
푖=1
푖=1
Định lý: Phân bố cân bằng cho mạng Jackson mở là:
N
Λi
x
i
px̅ = C ∏ ρi , với ρi = < 1.
μi
i=1
Việc cung cấp phân bố chung cho tất cả VM trong hệ thống, giải pháp trạng
thái ổn định cho phương trình (3.17) là:
푥
1
푥
2
푥
푁
(
)
(
)
(
)
푝푥 ≡ 푝푥
̅
= 1 − 휌1 휌1 1 − 휌2 휌2 … 1 − 휌푁 휌푁
,푥 ,…,푥
2 푁
1
푁
(0.25)
푥
푖
(
)
= ∏ 1 − 휌푖 휌푖
.
푖=1
N
(
)
với C = ∏ 1 − ρi .
i=1
Số lượng yêu cầu trung bình Li tại mỗi VM i cho hàng đợi M/M/1 với tổng tốc
độ đến Λi:
17
ρi
Li =
, i = 1,2, … , N
(0.26)
(0.27)
(0.28)
1 − ρi
Tổng số lượng yêu cầu trung bình của toàn mạng được tính như sau:
N
ρi
L = L1 + L2 + ⋯ + LN = ∑
.
1 − ρi
i=1
Thời gian đợi trung bình của yêu cầu trong mạng với Luật của Little:
L
W = ,
β
N
∑
trong đó β = i=1 λi là tổng tốc độ đến từ bên ngoài vào mạng. Thời gian đáp ứng
trung bình của một yêu cầu trong mạng tại mỗi VM thứ i (i = 1,2, … , N):
Li
1
W =
i
=
,
(0.29)
Λi μi(1 − ρi)
trong đó Λi được tính theo công thức (3.4) và W ≠ W1 + W2 + ⋯ + WN.
3.3. THỰC NGHIỆM VÀ ĐÁNH GIÁ
Kết quả thực nghiệm được tiến hành với 2 cụm VM phục vụ yêu cầu từ khách
hàng sử dụng dịch vụ web (cụm VMC#1 gồm 7 máy có cấu hình CPU đồng nhất,
cụm VMC#2 gồm 7 máy có cấu hình CPU không đồng nhất ).
Thực nghiệm 1 nhằm đánh giá các tham số trong mô hình, cho số lượng yêu
cầu đến là 1000, γ= {158,161,164,167,170,173,176,179,181,185, 188} tốc độ xử
γ
lý (phục vụ) của bộ cân bằng tải là μLB
=
.
ρ
LB
Hình 3.2: Thời gian đợi trung bình của cụm VM cho thực nghiệm 1
Thực nghiệm 2 với λ = 185, được thực hiện 30 lần và tính thời gian đợi trung
̅
bình W. Sau đó, tính toán độ tin cậy 95% cho dữ liệu thực nghiệm và dữ liệu tính
toán từ mô hình.
18
Hình 3.3: Thời gian đợi trung bình của các VM cho thực nghiệm 2
Kết quả ở Hình 3.3 cho thấy thời gian đáp ứng trung bình của VM1 và VM7 là
rất nhỏ ở cả hai cụm VMC#1 và VMC#2.
Thực nghiệm 3 nhằm phân tích mối quan hệ của thông số trong mô hình với tốc
độ đến trung bình λ = 185, điều chỉnh mức độ sử dụng tài nguyên trung bình ρi của
các VM ở tầng xử lý nghiệp vụ của ứng dụng từ 0.71 đến 0.79. Kết quả thực nghiệm
được thể hiện trong bảng 3.2 và hình 3.4.
Hình 3.4: Thời gian đợi trung bình của các VM cho thực nghiệm 3
Bảng 3.2. Khoảng tin cậy 95% của thời gian đợi trung bình của mỗi VM trong từng cụm
̅
Thời gian đợi trung bình W
VM
ρi
VMC
Trung bình
6.39069
Cận dưới
6.20901
Cận trên
6.57238
VMC#1
VMC#2
VMC#1
VMC#2
VMC#1
VMC#2
VMC#1
VMC#2
VMC#1
VMC#2
VMC#1
VMC#2
VMC#1
VMC#2
1
0.8
6.37414
3987.14
4115.76
5256.16
803.147
3430.45
434.463
4127.60
277.476
3756.96
236.522
73.9026
69.6167
6.16965
3126.29
3241.04
4211.63
701.051
2538.11
401.364
3154.68
249.991
2980.27
219.641
68.5611
65.9044
6.57863
4848.00
4990.49
6300.7
2
3
4
5
6
7
0.71
0.73
0.75
0.77
0.79
0.81
905.243
4322.80
467.562
5100.51
304.960
4533.66
253.403
79.2442
73.3289
KẾT LUẬN CHƯƠNG 3
Chương này đã đề xuất được một mô hình CC sử dụng mạng Jackson mở, nhằm
đánh giá các số đo hiệu năng của hệ thống. Với kết quả thực nghiệm, bước đầu đã
đánh giá được sự đúng đắn của mô hình, đưa ra các số đo của hệ thống có thể tin
cậy.
Tải về để xem bản đầy đủ
30 trang
24260
Free
Bạn đang xem 20 trang mẫu của tài liệu "Tóm tắt Luận án Nghiên cứu giải pháp tự động điều chỉnh tài nguyên hiệu quả trong điện toán đám mây", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- tom_tat_luan_an_nghien_cuu_giai_phap_tu_dong_dieu_chinh_tai.pdf
