Giám sát và đánh giá chất lượng trải nghiệm (QoE) cho ứng dụng web
Hoàng Mạnh Quang, Hoàng Đăng Hải
GIÁM SÁT VÀ ĐÁNH GIÁ
CHẤT LƯỢNG TRẢI NGHIỆM (QoE)
CHO ỨNG DỤNG WEB
Hoàng Mạnh Quang, Hoàng Đăng Hải
Học viện Công nghệ Bưu chính Viễn thông
Các yếu tố tác động đến sự gia tăng của các ứng dụng
và dịch vụ trên Internet gồm:
Tóm tắt: Cung cấp chất lượng trải nghiệm (Quality of
Experience –QoE) đáp ứng nhu cầu người dùng là yêu
cầu rất quan trọng đối với các nhà cung cấp dịch vụ ứng
dụng Web. Nhiều thách thức đặt ra đối với giám sát và
đánh giá QoE do vẫn chưa có một mô hình phù hợp cho
định lượng QoE. Các nghiên cứu tới nay chủ yếu tập
trung vào cải thiện QoE về các tham số liên quan đến
thời gian, mối quan hệ tương tác giữa QoS và QoE, mối
quan hệ giữa QoE và MOS (Mean Opinion Scores). Tuy
nhiên, vấn đề giám sát QoE theo thời gian thực vẫn chưa
được quan tâm đúng mức. Mặt khác, hầu hết các mô hình
QoE tới nay đều dựa trên các tham số do ITU đề xuất cho
mạng và ứng dụng đa phương tiện, chưa có mô hình cho
ứng dụng Web. Dựa trên cơ sở các tham số theo tiêu
chuẩn của ITU, bài báo này đề xuất một mô hình tham
chiếu cho giám sát và đánh giá QoE cho ứng dụng Web.
Mô hình tham chiếu WebQoE-RefMod có các đặc trưng:
1) Xác định tập hồ sơ tham chiếu để so sánh, đánh giá
QoE, 2) Xác định tập các điểm đo tham chiếu, 3) Tính
giá trị QoE là hàm của các chỉ số KPI và KQI, 4) Giám
sát và đánh giá QoE theo công thức tính thống kê khoảng
cách tới giá trị Ref-QoE.1
- Sự phát triển của hạ tầng mạng và công nghệ (ví dụ
các giao thức mạng và công nghệ mạng mới), hạ
tầng điện toán đám mây [3] sử dụng cho lưu trữ và
xử lý một lượng lớn dữ liệu trên mạng;
- Sự phát triển của các ứng dụng trên nền Web sử
dụng trình duyệt là chuẩn để truy nhập hầu hết các
dịch vụ Internet hiện nay;
- Sự phát triển của các mạng cung cấp nội dung số
(Content Delivery Networks);
- Sự phát triển của các thiết bị di động có truy nhập
Internet mọi lúc, mọi nơi.
Yêu cầu luôn đặt ra đối với các nhà cung cấp dịch vụ
mạng (Network Service Providers hay Internet Service
Providers) là kiểm soát và bảo đảm chất lượng dịch vụ
(QoS – Quality of Service) cũng như chất lượng trải
nghiệm cho người dùng dịch vụ (QoE – Quality of
Experience) để duy trì khách hàng và tăng doanh thu.
QoS là những tham số liên quan đến hiệu năng mạng
(thông lượng, băng thông, độ trễ, tỷ lệ mất gói) biểu thị
khả năng mạng hỗ trợ và đáp ứng các yêu cầu kỹ thuật về
chất lượng của ứng dụng người dùng.
Từ khóa: Ứng dụng Web, QoS, QoE, giám sát QoE,
đánh giá định lượng QoE
Ngược lại với QoS, QoE được xem như cảm nhận chủ
quan của người dùng về chất lượng dịch vụ được nhà
mạng cung cấp. Theo nghĩa rộng, QoE được xem là tác
động, hiệu năng của việc truyền tải nội dung thông tin trên
mạng [1]. Khái niệm và định nghĩa về QoE thay đổi trong
thời gian qua. Tuy nhiên, một định nghĩa tổng hợp về
QoE đã được đưa ra bởi Cộng đồng Chất lượng mạng
Châu Âu (EU Qualinet Community) [4] như sau:
I. MỞ ĐẦU
Mạng Internet đang phát triển theo hướng chuyển từ
cung cấp thông tin truyền thống sang cung cấp dịch vụ
[1]. Việc chuyển đổi này tạo ra những cơ hội đầy tiềm
năng cho phát triển và cung cấp các dịch vụ mới trên
Internet. Mặt khác, các ứng dụng Web đã phát triển từ các
trang Web tĩnh đơn lẻ sang các hệ thống có độ phức tạp
cao, có tính động và giàu nội dung thông tin hơn, đặc biệt
là các nội dung đa phương tiện. Ngày càng có nhiều ứng
dụng Web chứa đựng các nội dung đa phương tiện như
các dòng video trực tuyến (Video Streaming). Theo số
liệu thống kê đưa ra trong [2], lưu lượng Internet toàn cầu
năm 2015 có chứa tới 70% nội dung là dòng video trực
tuyến và dự báo sẽ tăng tới 82% trong năm 2020. Một
phần quan trọng trong lưu lượng dòng video trực tuyến là
các dịch vụ như Netfix, YouTube, MyTV, v.v. bao gồm
cả video theo yêu cầu (Video On Demand), Internet
Television (IPTV).
“Chất lượng trải nghiệm (QoE) là cấp độ hài lòng
hoặc thấy phiền toái của người dùng đối với một dịch vụ
hoặc một ứng dụng. Đó là kết quả của việc đáp ứng sự
mong đợi của người dùng về tính năng và/hoặc công dụng
của ứng dụng hoặc dịch vụ dưới góc độ cá nhân người
dùng và trạng thái hiện tại của họ. Trong ngữ cảnh dịch
vụ truyền thông, QoE chịu ảnh hưởng của dịch vụ, nội
dung, thiết bị, ứng dụng và ngữ cảnh sử dụng”.
Với định nghĩa trên, QoE không chỉ phụ thuộc vào
hiệu năng mạng và chuỗi cung cấp dịch vụ, mà còn phụ
thuộc vào nhiều yếu tố khác như nội dung, ứng dụng,
mong đợi của người dùng, mục đích của họ và ngữ cảnh
Tác giả liên hệ: Hoàng Mạnh Quang
Email: hoangmquang@gmail.com
Đến tòa soạn: 07/2019, chỉnh sửa: 8/2019, chấp nhận đăng: 8/2019.
SỐ 02 (CS.01) 2019
TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG 19
GIÁM SÁT VÀ ĐÁNH GIÁ CHẤT LƯỢNG TRẢI NGHIỆM (QoE) CHO ỨNG DỤNG WEB
sử dụng. Các ứng dụng và dịch vụ khác nhau có thể có
các QoE khác nhau [5].
vụ như IPTV hay dòng video (Streaming Video) [11].
Vẫn còn rất ít mô hình QoE cho các ứng dụng Web.
Cộng đồng mạng và các nhà cung cấp dịch vụ mạng
đã dần nhận thức được tầm quan trọng của QoE thay vì
chỉ quan tâm đến QoS [1, 5, 6, 7]. Như đã nêu ở trên, yêu
cầu đối với nhà cung cấp dịch vụ mạng là giám sát và đo
lường được chất lượng trải nghiệm dịch vụ QoE. Tuy
nhiên, mô hình giám sát QoE cho các dịch vụ và ứng dụng
khác nhau có thể rất khác nhau [8]. Các chỉ số đánh giá
QoE và cách thức đo lường các chỉ số này cũng khác nhau
[9, 6, 7, 10]. Thách thức đặt ra là liệu có thể đưa ra được
một mô hình tham chiếu chung để giám sát và đánh giá
QoE cũng như cách thức đo lường các chỉ số để đánh giá.
Mặt khác, mô hình này cần đáp ứng yêu cầu cho mạng
mới và ứng dụng mới [1, 8].
Trong các sản phẩm trình duyệt như Google và
Mozilla, đã có những phương thức được đưa ra nhằm tăng
QoE bằng cách tăng tốc độ truyền tải nội dung, giảm kích
thước nội dung [12]. Giao thức HTTP/2 đã được đưa ra
bới hiệp hội Web Performance Group [13]. HTTP/2 tăng
tốc thời gian tải trang thông qua việc sử dụng truyền tải
nội dung nhị phân thay vì nội dung văn bản, nén phần tiêu
đề để giảm tải dư thừa, ép máy chủ phản hồi chủ động cho
trình duyệt [13]. Một phương thức nén cũng đã được đưa
ra bởi Google năm 2016 là tạo ra định dạng ảnh mới cho
phép giảm 26% so với ảnh PNG truyền thống [13].
Cho tới nay, QoE vẫn còn được hiểu theo các cách
khác nhau. Khái niệm QoE được chấp nhận phổ biến nhất
là sự thể mức độ cảm nhận của người dùng về chất lượng
của một dịch vụ hay mạng. Tuy nhiên, khái niệm này
mang tính chủ quan của mỗi người dùng. Do vậy, cần có
một định nghĩa QoE mang tính khách quan hơn. Đã có
nhiều định nghĩa về QoE khác nhau đã được đưa ra (xem
[5]). Từ góc độ khách quan và trên quan điểm của nhà
cung cấp dịch vụ mạng, một khái niệm về QoE được ITU
đưa ra như sau: “QoE là mức độ chấp nhận cho một dịch
vụ ứng dụng, bao hàm các yếu tố ảnh hưởng trên toàn
tuyến đầu cuối từ mạng, hạ tầng dịch vụ, thiết bị đầu
cuối” [14].
Cung cấp chất lượng trải nghiệm (Quality of
Experience –QoE) đáp ứng nhu cầu người dùng là một
yêu cầu hết sức quan trọng đối với các nhà cung cấp dịch
vụ ứng dụng Web. Tuy nhiên, qua khảo sát của các tác giả
cho thấy, vẫn chưa có một mô hình phù hợp cho định
lượng QoE. Các nghiên cứu tới nay chủ yếu tập trung vào
cải thiện QoE về các tham số liên quan đến thời gian [2, 6,
7, 9, 10], mối quan hệ tương tác giữa QoS và QoE [1, 3, 6,
8], mối quan hệ giữa QoE và MOS (Mean Opinion
Scores) [4, 5, 8].
Nhiều thách thức đặt ra đối với giám sát và đánh giá
QoE, song vấn đề giám sát QoE theo thời gian thực vẫn
chưa được quan tâm đúng mức. Hầu hết các mô hình QoE
tới nay đều dựa trên các tham số do ITU đề xuất cho
mạng và ứng dụng đa phương tiện, chưa có mô hình cho
ứng dụng Web [8].
Đã có một số mô hình QoE cho ứng dụng Web được
đề xuất, điển hình như mô hình QoE của Schatz và Egger
[15], mô hình tương tác QoE [16], mô hình quan hệ QoS-
QoE [17],… Mô hình trong [15] nghiên cứu sự liên hệ
giữa QoS và QoE nhận được dựa trên hàm dự đoán QoE
sử dụng các chỉ số hiệu năng chính (Key Performance
Indicators – KPI), song việc xác định QoE vẫn phụ thuộc
nhiều vào yếu tố con người, tác động của ngữ cảnh dịch
vụ. Trong [16], các tác giả đưa ra mô hình ánh xạ giữa
nhu cầu chất lượng dịch vụ kết hợp với yêu tố công nghệ,
chỉ ra mối quan hệ tương tác giữa chúng tạo nên QoE.
Trong [17], các tác giả đưa ra mô hình quan hệ QoS-QoE
xem xét sự liên quan giữa băng thông, thời gian chờ dịch
vụ với sự hài lòng của người dùng. Một số mô hình khác
đưa ra mối quan hệ giữa Web QoE và thời gian phản hồi
Web, thời gian tải trang (Page Load Time), thời gian biểu
thị trên màn hình trình duyệt,…
Trên cơ sở đó, bài báo này đề xuất một mô hình tham
chiếu cho giám sát và đánh giá QoE cho ứng dụng Web
dựa trên cơ sở các tham số theo tiêu chuẩn của ITU. Mô
hình tham chiếu WebQoE-RefMod được bài báo đề xuất
có các đặc trưng sau:
- 1) Xác định tập hồ sơ tham chiếu để so sánh, đánh
giá QoE.
- 2) Xác định tập các điểm đo tham chiếu,
- 3) Tính giá trị QoE là hàm của các chỉ số KPI và
KQI,
Một mô hình QoE cho ứng dụng Web đang được
nhiều nghiên cứu mới đây quan tâm. Trong [11], một mô
hình QoE được gọi là QoEWA được đề xuất với việc tích
hợp các cấu trúc tạo ra thẻ điểm cân bằng (Balanced
Scorecard) cho QoE tổng thể trên quan điểm người thiết
kế Web. Mô hình tích hợp chỉ số KPI (Key Performance
Indicators) và chỉ số KQI (Key Quality Indicators). Mô
hình trong [7] xem xét vấn đề đánh giá QoE trên cơ sở các
đại lượng đo như ATF (Above The Fold), PLT (Page
Load Time), thực hiện phân tích chỉ số tốc độ (SI – Speed
Index) để xem xét mối quan hệ giữa SI và MOS (Mean
Opinion Scores). Các tác giả trong [9] đề xuất một hệ
thống đo lường hiệu năng Web với các công cụ đo hiệu
năng Web, độ phức tạp, thời gian biểu diễn Web. Bài báo
[6] đưa ra phương thức đo hiệu năng Web và Web QoE
trong mạng di động với việc sử dụng các đặc trưng như
thời gian kết nối TCP, thời gian TTFB (Time To First
Byte), các tham số QoE như PLT (Page Load Time) và
ATF (Above The Fold) time. Bài báo [8] chỉ ra mối quan
hệ giữa các tham số QoE trong một hệ thống mạng, mối
- 4) Giám sát và đánh giá QoE theo công thức tính
thống kê khoảng cách tới giá trị Ref-QoE.
WebQoE-RefMod là mô hình đầu tiên đưa ra ý tưởng
về tập hồ sơ tham chiếu (Reference Profile) dùng để so
sánh đánh giá các giá trị QoE đo được theo thời gian thực
trên mạng và cũng là mô hình đầu tiên đưa ra ý tưởng
đánh giá theo công thức tính thống kê khoảng cách tới giá
trị Ref-QoE.
Nội dung tiếp theo của bài báo gồm: Phần 2 trình bày
các nghiên cứu liên quan, Phần 3 trình bày mô hình tham
chiếu giám sát và đánh giá QoE cho ứng dụng Web, Phần
4 là một số thử nghiệm với MOS, Phần 5 là kết luận và
hướng phát triển tiếp.
II. CÁC NGHIÊN CỨU LIÊN QUAN
Mặc dù QoE có tầm quan trọng đối với các nhà cung
cấp dịch vụ mạng, song các nghiên cứu về QoE tới nay
vẫn chủ yếu tập trung vào các mô hình đo chất lượng dịch
SỐ 02 (CS.01) 2019
TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG 20
Hoàng Mạnh Quang, Hoàng Đăng Hải
quan hệ giữa QoE và các giá trị MOS (Mean Opinion
Scores).
- Mô hình WebQoE-RefMod đưa ra một tập hồ sơ
bình thường (Normal Profile) được gọi là tập tham
chiếu (Reference Profile) cho các điểm đo QoE, so
sánh tập dữ liệu đo được với tập hồ sơ bình thường
để giám sát và đánh giá QoE
Sự ra đời của các giao thức mới nhằm tăng tốc trình
duyệt Web như HTTP/2, QUIC đã thúc đẩy nhiều nghiên
cứu về QoE cho ứng dụng Web [18]. Điển hình là các
công trình nghiên cứu như: tăng tốc trình duyệt Web và
cải thiện Web QoE trên di động [19], mô hình hóa Web
QoE trên trình duyệt Web [20], nghiên cứu ảnh hưởng của
biến đổi băng thông mạng tới Web QoE [21, 22], nghiên
cứu về ảnh hưởng của các yếu tố như hiển thị trực quan
(Visual Appeal) và độ khả dụng (Usuability) tới Web QoE
[23, 24], các nghiên cứu về tác động của thời gian chờ tới
Web QoE [18, 25, 26, 27]. Một số mô hình xem xét QoE
dựa theo phiên [28], hay dựa trên tác vụ [29].
- Mô hình WebQoE-RefMod xác định một tập điểm
đo tham chiếu cho ứng dụng Web.
A. Mô hình WebQoE-RefMod
Mô hình WebQoE-RefMod được mô tả trên hình 1,
gồm các thành phần sau:
- Thiết lập tệp hồ sơ tham chiếu: Căn cứ tập các điểm
đo tham chiếu được xác định từ thời điểm thiết lập
dịch vụ ứng dụng Web, thực hiện đo các chỉ số KPI
và KQI. Tính toán giá trị Ref-QoE dựa trên các chỉ
số KPI và KQI.
Có thể phân loại các mô hình Web QoE theo hai loại
chính là: 1) Mô hình Web QoE dựa trên các đo lường
trình duyệt hay dựa theo Page Load Time (PLT) [30, 17,
31], định nghĩa một hàm QoE của PLT và tổng hợp các
tham số thiết kế vào một bảng tham chiếu; 2) Mô hình
dựa theo dữ kiện (Data-driven), sử dụng các tham số thời
gian làm đặc trưng và áp dụng học máy để phân tích dữ
liệu [32, 33, 27].
- Đo dữ liệu tại các điểm tham chiếu: Thực hiện thu
thập dữ liệu tại các điểm đo tham chiếu phục vụ cho
tính toán QoE.
- Tính giá trị QoE là hàm của KPI và KQI
- Giám sát và đánh giá QoE: So sánh QoE tính được
với giá trị QoE tham chiếu (Ref-QoE) để xác định
mức độ chất lượng trải nghiệm dịch vụ cho ứng
dụng Web theo yêu cầu.
Liên quan đến QoE, tổ chức tiêu chuẩn quốc tế (ISO -
International Standard Organisation) và Hiệp hội viễn
thông thế giới (ITU - International Telecommunications
Union) cũng đưa ra một số khuyến nghị như ISO 9241-11
[34], Khuyến nghị P.801 về MOS (Mean Opinion Scores)
[35], Khuyến nghị G.1031 về các tham số QoE cho trình
duyệt Web [36], Khuyến nghị G.1080 về QoE cho ứng
dụng IPTV [37], tiêu chuẩn ISO/IEC TR 9126-3 cho các
chỉ số trong thiết kế và chất lượng sản phẩm [38].
- Kết quả đánh giá QoE: Hiển thị kết quả giám sát và
đánh giá QoE
B. Thiết lập các điểm giám sát
Mô hình tổng quát cung cấp ứng dụng Web được mô
tả trên hình 2 gồm 4 miền mạng: Miền cung cấp nội dung
Web, miền cung cấp dịch vụ Web, miền cung cấp dịch vụ
mạng và miền người sử dụng ứng dụng Web.
III. MÔ HÌNH THAM CHIẾU GIÁM SÁT VÀ ĐÁNH
GIÁ QOE CHO ỨNG DỤNG WEB
Dựa theo các khuyến nghị của tiêu chuẩn ITU [36], ta
có thể xác định ra 5 vị trí giám sát chất lượng dịch vụ (các
điểm giám sát – Check Point CP) như trên hình 3 cho
chuỗi cung cấp dịch vụ ứng dụng Web. Các điểm giám sát
CPi là các điểm tham chiếu để đo dữ liệu cho 4 miền
mạng như mô tả trên hình 2. Một hệ thống giám sát QoE
Ý tưởng của mô hình tham chiếu giám sát và đánh giá
QoE cho ứng dụng Web (WebQoE-RefMod) được xây
dựng dựa theo mô hình QoEWA [11]. Mô hình WebQoE-
RefMod cũng sử dụng các chỉ số KPI (Key Performance
Indicators) và KQI (Key Quality Indicators) như mô hình
QoEWA. Tuy nhiên, mô hình QoEWA là mô hình dựa
Thiết lập tệp hồ sơ
tham chiếu
Đo dữ liệu tại các
điểm tham chiếu
Tính QoE = f(KPI,
KQI)
Giám sát và đánh
Kết quả đánh giá
giá QoE
QoE
Hình 1. Mô hình tham chiếu giám sát và đánh giá QoE
theo dữ kiện (data-driven model), sử dụng các tập dữ liệu
huấn luyện để dự đoán QoE.
tập trung sẽ thực hiện thu thập dữ liệu đo được tại các
điểm tham chiếu phục vụ tính toán QoE cho ứng dụng
Web.
Mô hình WebQoE-RefMod khác biệt so với mô hình
QoEWA [11] ở hai đặc điểm sau:
SỐ 02 (CS.01) 2019
TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG 21
GIÁM SÁT VÀ ĐÁNH GIÁ CHẤT LƯỢNG TRẢI NGHIỆM (QoE) CHO ỨNG DỤNG WEB
Người dùng
Web
Nhà cung cấp
hạ tầng mạng
Nhà cung cấp
dịch vụ Web
Nhà cung cấp
nội dung Web
Miền 4
Miền 3
Miền 2
Miền 1
Hình 2. Mô hình cung cấp dịch vụ Web với bốn miền mạng
Người
dùng
Web
Mạng truy nhập
Mạng trục IP
Nhà cung cấp
dịch vụ Web
Nhà cung cấp
nội dung Web
CP3
CP2
CP5
CP4
CP1
Hình 3. Mô hình cung cấp dịch vụ Web với bốn miền mạng
Bảng 1. Vị trí và mô tả các điểm đo giám sát QoE cho dịch vụ IPTV (theo ITU [37])
Tên điểm đo
Vị trí
Mô tả
Điểm đo 1
Điểm giữa miền cung cấp nội dung Gám sát chất lượng nội dung (video, audio), xác
và miền cung cấp dịch vụ thực dữ liệu metadata.
Điểm đo 2
Điểm đo 3
Điểm giữa miền cung cấp dịch vụ Giám sát chất lượng luồng dữ liệu gốc, phân phối
và miền cung cấp hạ tầng mạng dịch vụ.
Điểm giữa miền lõi IP (IP Core) và Giám sát các tham số hiệu năng liên quan lớp
mạng truy nhập (IP Edge mạng IP (Network Performance Monitoring).
Networks).
Điểm đo 4
Điểm đo 5
Điểm giữa mạng truy nhập và miền Giám sát chất lượng luồng dữ liệu, chất lượng
mạng của người dùng.
audio-visual, các thuộc tính dịch vụ.
Điểm giữa giao diện mạng người End-point, liên quan trực tiếp tới QoE người
dùng và thiết bị người dùng. dùng cuối.
Bảng 1 mô tả ví dụ về các điểm đo giám sát chất
lượng ứng dụng IPTV theo ITU [37].
Trong đó: “obj” biểu thị các chỉ số khách quan, “sub”
biểu thị các chỉ số chủ quan.
KPI biểu thị các chỉ số khách quan, thường được tham
chiếu theo các tham số QoS của mạng như độ trễ, độ rung
trễ, tỷ lệ mất gói,… [36, 39].
C. Đo dữ liệu tại các điểm tham chiếu
Căn cứ các tiêu chuẩn như ISO 9241‐ 11 [34],
ISO/IEC TR 9126‐ 3 [38] và OASIS [35], ta xác định các
chỉ số KPI gồm F1, F2, F3, F4, F5 và các chỉ số về độ khả
dụng F6, F7, F8, F9 như đã nêu trong [11].
KQI biểu thị các chỉ số chủ quan, được thực hiện chủ
yếu qua đánh giá MOS (Mean Opinion Scores) [35] với 5
thang bậc là: (1) bad, (2) poor, (3) fair, (4) good, (5)
excellent.
Các tập chỉ số KPI và KQI được xác định như sau.
KPI Score = { F1obj, F2obj, F3obj, F4obj, F5obj,
F6obj, F7obj, F8obj, F9obj }
Theo [34, 35, 38], các tham số Fi được định nghĩa như
trên Bảng 2.
KQI Score = { F1sub, F2sub, F3sub, F4sub, F5sub,
F6sub, F7sub, F8sub, F9sub }
SỐ 02 (CS.01) 2019
TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG 22
Hoàng Mạnh Quang, Hoàng Đăng Hải
Bảng 2. Các chỉ số F biểu thị KPI, KQI
Chỉ số
F1
KPI / KQI
Mô tả
Hiệu năng
Hài lòng với thời gian từ khi gửi yêu cầu tới khi nhận được phản hồi
Hài lòng với thời gian từ khi gửi yêu cầu tới khi nhận được phản hồi
Hài lòng với số tác vụ thành công trong 1 khoảng thời gian
Hài lòng với tính sẵn sàng của ứng dụng
Độ tin cậy
F2
Tính sẵn sàng
F3
Khả năng truy cập
Khả năng thành công
Khả năng học
F4
Hài lòng với tỷ lệ phản hồi nhận được sau khi yêu cầu tác vụ
Hài lòng với sự đơn giản và chức năng trợ giúp
F5
F6
Khả năng hoạt động
Độ khả dụng về số tác vụ
Độ khả dụng về hiệu quả
Hài lòng với số giao dịch thực hiện nhất quán
F7
Hài lòng với số tác vụ thành công trong một khoảng thời gian đã cho
Hài lòng với thời gian để nhận một phản hồi từ hỗ trợ người dùng
F8
F9
Ft
Bước 1
Tính KPI
(từ các dữ liệu đo
khách quan)
Fa
Ánh xạ QoE
KPI
100%
5
.
.
.
Tính KQI
(từ các dữ liệu đo
chủ quan)
.
4
.
.
.
.
. .
. .
KPI
100%
3
Bước 2
2
.
.
1
KPI
100%
Hình 4. Tính giá trị QoE
Giá trị định lượng QoE được tính theo công thức sau
[11]:
D. Tính giá trị QoE
QoE được coi là một hàm của KPI và KQI như đã nêu
trong [11]. Phương pháp tính QoE có thể sử dụng như
trong [11] như mô tả trên hình 4, trong đó:
n
Fa
,k
QoE
F
Fa = Giá trị QoE đo được thực tế (Actual Measured
QoE)
k´1
t,k
- Bước 2: Ước lượng QoE theo phương pháp đưa ra
trong [11]. Giá trị ước lượng QoE tương ứng với
một trong 5 thang bậc của MOS (Mean Opinion
Scores) là: (1) bad, (2) poor, (3) fair, (4) good, (5)
excellent.
Ft = Giá trị QoE đích (Target QoE).
Các ô tròn với con số biểu thị 5 thang bậc của MOS
(Mean Opinion Scores) theo [35]: (1) bad, (2) poor, (3)
fair, (4) good, (5) excellent.
Như biểu thị trên hình, phương pháp tính QoE được
thực hiện qua hai bước:
E. Giám sát và đánh giá QoE
- Bước 1: Tính định lượng mối quan hệ giữa các tham
số chủ quan và khách quan từ các dữ liệu đo được.
Sơ đồ giám sát và đánh giá QoE cho một ứng dụng
Web được biểu thị trên hình 5.
Các giá trị Fa và Ft được tính theo công thức sau [11].
Tệp hồ sơ tham chiếu được xác định ở thời điểm thiết
lập dịch vụ ứng dụng Web. Căn cứ vào các dữ liệu đo
được tại các điểm giám sát, các giá trị KPI và KQI được
tính toán. Giá trị Ref-QoE được tính dựa trên các chỉ số
KPI và KQI.
Ft = Ft (KPI) * Ft (KQI)
Fa = Fa (KPI) * Fa (KQI)
(1)
(2)
SỐ 02 (CS.01) 2019
TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG 23
GIÁM SÁT VÀ ĐÁNH GIÁ CHẤT LƯỢNG TRẢI NGHIỆM (QoE) CHO ỨNG DỤNG WEB
Trong quá trình giám sát và đánh giá QoE thực tế,
thực hiện đo dữ liệu tại các điểm giám sát, thực hiện đo
Mức ngưỡng được xác định khi so sánh kết quả giữa
giá trị Ref-QoE và giá trị QoE đo được. Theo [40], mức
Đo dữ liệu tại các điểm
tham chiếu
Thiết lập tệp hồ sơ
tham chiếu
Tính QoE = f(KPI, KQI)
Tính khoảng cách D
So sánh mức ngưỡng
Kết quả đánh giá QoE
Ref-QoE
Hình 5. Giám sát và đánh giá QoE theo khoảng cách và mức ngưỡng
Mạng thử nghiệm
Client Browser
Web Server
CP2
CP1
Hình 6. Sơ đồ thử nghiệm QoE cho ứng dụng Web với hai điểm đo giám sát
các chỉ số KPI và KQI, tính toán giá trị QoE dựa trên các
ngưỡng thống kê có thể xác định nhờ phân bố thống kê F
hoặc phân bố Chi-square 2.
chỉ số KPI và KQI. Tiếp đó, thực hiện tính khoảng cách
giữa Ref-QoE và giá trị QoE đo được. Các phương pháp
tính khoảng cách có thể áp dụng phổ biến là: Euclidean
hay Mahalanobis [40].
Khoảng cách Euclidean giữa hai điểm x và µ được
tính như sau:
Trong xác suất thống kê, hàm phân bố tích luỹ
(Cumulative distribution function - CDF) được định nghĩa
như sau:
p
Euclid
(x )T (x )
F(t) = P(D ≤ DN)
(5)
(3)
nghĩa là xác suất để khoảng cách D nh hơn hoặc bằng
mức ngưỡng DN.
i1
Trong đó x các điểm dữ liệu đo được, µ là các điểm dữ
liệu tham chiếu của Ref-QoE, p là số lượng tham số sử
dụng khi tính toán KPI và KQI.
Giá trị mức ngưỡng có thể lấy từ bảng phân bố thống
kê F hoặc phân bố Chi-square 2 [40].
x = (x1, x2,…, xp)
µ = (µ1, µ2,…, µn)
IV. THỬ NGHIỆM
Công thức tính khoảng cách Mahalanobis xem xét đến
tính tương quan giữa các tham số:
Hình 6 mô tả mô hình triển khai thử nghiệm giám sát
và đánh giá QoE cho ứng dụng Web với hai điểm giám
sát CP1 và CP2.
Maha (x )T S 1 (x )
(4)
Trong thử nghiệm này, ta thực hiện khảo sát MOS
(Mean Opinion Scores) theo các tham số QoS là tỷ lệ mất
gói (Packet Loss Rate - PLR), Trễ (Delay) và Độ rung trễ
(Delay Jitter). Các tham số KPI được coi là các tham số
QoS đo được.
S-1 là nghịch đảo của ma trận hiệp phương sai giữa x
và µ. Vai trò của S cũng là trọng số để giảm sự khác biệt
giữa các tham số.
SỐ 02 (CS.01) 2019
TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG 24
Hoàng Mạnh Quang, Hoàng Đăng Hải
Lưu lượng Web ứng với các dịch vụ mạng mới được
mô tả trong [41]. Theo [35], phân mức các lớp QoS với
các tham số trễ, độ rung trễ, tỷ lệ mất gói như trên Bảng 3.
MOS = 13.96*exp(-1.133*Delay) – 8.783
MOS = 98.78*exp(-0.1219*JItter) – 94.21
MOS = 2.198*exp(-11.06*PLR) + 1.391
Bảng 3. Phân mức các lớp QoS với các tham số
PLR Ví dụ các ứng dụng
Lớp
Delay
Jitter
QoS
0
1
2
3
4
5
6
100 ms
400 ms
100 ms
400 ms
1 s
50 ms
1 x 10–3 Real-time, nhạy cảm với jitter, độ trễ thấp, có tính tương tác cao
1 x 10–3 Real-time, nhạy cảm với jitter, trễ trung bình, có tính tương tác
1 x 10–3 Trao đổi dữ liệu, độ trễ thấp, có tính tương tác cao
1 x 10–3 Trao đổi dữ liệu, trễ trung bình, có tính tương tác
1 x 10–3 Mất gói thấp
50 ms
50 ms
50 ms
50 ms
U
U
U
Best effort (U = undefined)
100 ms
50 ms
1 x 10–5 Tốc độ bit cao, yêu cầu khắt khe mất gói thấp, độ trễ thấp, có tính
tương tác cao
7
400 ms
50 ms
1 x 10–5 Tốc độ bit cao, yêu cầu khắt khe mất gói thấp, trễ trung bình, có
tính tương tác
Thực hiện thử nghiệm với việc đặt lần lượt các giá trị
sau cho Delay, Jitter, PLR
Bảng 4 và đồ thị hình 7 là kết quả khảo sát mối quan
hệ giữa MOS và Delay (tính bằng giây). Bảng 5 và đồ thị
hình 8 là kết quả khảo sát mối quan hệ giữa MOS và Jitter
(tính bằng giây). Bảng 6 và đồ thị hình 9 là kết quả khảo
sát mối quan hệ giữa MOS và tỷ lệ mất gói (Packet Loss
Rate).
- Delay: 0, 100, 150, 200, 250, 300, 350 và 400 ms
- Jitter: 0, 100, 150, 200, 250, 300, 350 ms
- PLR: 0, 0.025, 0.05, 0.075, 0.10, 0.125, 0.15, 0.175,
0.20, 0.225, 0.25
Bảng 4. Tính giá trị MOS theo Delay
0.15 0.2 0.25
2.9951 2.3465 1.7335
Delay
MOS
0
0.1
3.6816
0.3
1.1543
0.35
0.6070
0.4
0.0899
5.177
Bảng 5. Tính giá trị MOS theo Jitter
Jitter
MOS
0
0.1
3.3732
0.15
2.7802
0.2
2.1909
0.25
1.6051
0.3
1.0229
0.35
0.4442
4.5700
Bảng 6. Tính giá trị MOS theo Pakcet Loss Rate (PLR)
PLR
MOS
0
3.59
0.025
3.06
0.05
2.66
0.075
2.35
0.10
2.12
0.125
1.95
0.15
1.81
0.175
1.71
0.20
1.64
0.225
1.58
0.25
1.53
Mục đích của việc thử nghiệm là xem xét mối quan hệ
giữa QoE và QoS. Do đó, ta sử dụng phương pháp tính
thống kê đơn giản cho QoE theo các tham số QoS như đã
chỉ ra trong [39] như sau:
QoEa*exp(b*QoS)c
(6)
Trong đó a và b là các hệ số, QoS là các giá trị trễ, độ
rung trễ và tỷ lệ mất gói.
Các công thức tương ứng biểu thị mối quan hệ giữa
MOS với trễ (Delay), độ rung trễ (Jitter) và tỷ lệ mất gói
(PLR) được đưa ra trong [39] là:
SỐ 02 (CS.01) 2019
TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG 25
GIÁM SÁT VÀ ĐÁNH GIÁ CHẤT LƯỢNG TRẢI NGHIỆM (QoE) CHO ỨNG DỤNG WEB
dịch vụ (QoS) và chất lượng trải nghiệm (QoE) cho người
dùng là vấn đề quan trọng đối với các nhà cung cấp dịch
vụ ứng dụng, điển hình là các ứng dụng Web trực tuyến
như Youtube, MyTV, IPTV,….
QoS và QoE đã được quan tâm từ nhiều năm, song
vẫn chưa có một mô hình phù hợp cho định lượng QoE.
Các mô hình đánh giá QoE có thể rất khác nhau cho mỗi
loại dịch vụ, ứng dụng Web.
Để theo dõi chất lượng trải nghiệm QoE cho ứng dụng
Web theo thời gian thực, cần có một mô hình giám sát và
đánh giá QoE trực tuyến, xem xét mối quan hệ giữa QoS
và QoE, mối quan hệ giữa QoE và MOS.
Bài báo đã đề xuất một mô hình tham chiếu cho giám
sát và đánh giá QoE cho ứng dụng Web dựa trên cơ sở các
tham số theo tiêu chuẩn của ITU. Mô hình tham chiếu
WebQoE-RefMod được đề xuất với các đặc trưng: xác
định một tập hồ sơ tham chiếu QoE phục vụ cho việc so
sánh, đánh giá định lượng QoE trên cơ sở so sánh với mức
QoE tham chiếu; xác định một tập các điểm tham chiếu để
đo QoE; tính giá trị QoE theo các chỉ số KPI và KQI;
giám sát và đánh giá QoE theo công thức thống kê khoảng
cách tới giá trị Ref-QoE.
Hình 7. Quan hệ giữa MOS và Delay
Bài báo đã đưa ra thử nghiệm khảo sát mối quan hệ
giữa MOS với các tham số QoS (xấp xỉ cho chỉ tiêu KPI)
gồm: trễ (Delay), độ rung trễ (Jitter), tỷ lệ mất gói (PLR).
Trong khuôn khổ bài báo, những công việc cụ thể về
thu thập dữ liệu tại các điểm đo giám sát, phương pháp đo
thu thập dữ liệu, cách thức tính KPI và KQI từ các dữ liệu
đo được, cách so sánh QoE và Ref-QoE với mức ngưỡng
vẫn còn chưa được trình bày chi tiết. Đó là các chủ đề
nghiên cứu tiếp theo.
LỜI CẢM ƠN
Hình 8. Quan hệ giữa MOS và Jitter
Các tác giả trân trọng cảm ơn nguồn tài trợ của đề tài
cấp Nhà nước mã số KC.01.08/16-20 của Bộ KH&CN
cho nhóm nghiên cứu.
TÀI LIỆU THAM KHẢO
[1] R.Schatz, S. Schwarzmann, T. Zinner, et.al. QoE
Management for Future Networks. Autonomous Control
for a Reliable Internet of Services. Lecture Notes in
Computer Science (LNCS), Vol.10768, May 2018, pp. 49-
80.
[2] L. Kosskimies, T. Taleb, M. Bagaa. QoE Estimation–based
Server Benchmarking for virtual Video Delivery Platform.
Proc. of 2017 IEEE International Conference on
Communications (ICC), July 2017
[3] Enrico, Bocchi. Network Traffic Measurements,
Applications to Internet Services and Security. PhD thesis.
Politecnico Di Torino, Telecom ParisTech. 2017.
[4] Qualinet White Paper on Definitions of Quality of
Experience, 2012, March 2013
Hình 9. Quan hệ giữa MOS và PLR
[5] Elias Allayiotis. Characterization of Mobile Web Quality
of Experience using
a non-intrusive, context-aware,
mobile-to-cloud system approach. PhD Thesis. University
of Central Lansashire. UK. June 2017.
V. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN TIẾP
[6] A.S. Asrese, E.A. Walelgne, V. Bajpai, et.al. Measuring
Web Quality of Experience in Cellular Networks. Proc of
Internl. Conference on Passive and Active Network
Measurement (PAM 2019), LNCS 11419, 2019. pp.18-33.
Mạng Internet ngày càng phát triển, có thêm nhiều
dịch vụ ứng dụng mới đa dạng trên nền tảng IP và di
động. Các ứng dụng Web được sử dụng rộng rãi, có độ
phức tạp ngày càng cao và nội dung đa dạng, đặc biệt là
các nội dung đa phương tiện. Đáp ứng yêu cầu chất lượng
[7] T. Hossfeld, F. Metzger, D. Rossi. Speed Index: Relating
the Industrial Standard for User Perceived Web
SỐ 02 (CS.01) 2019
TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG 26
Hoàng Mạnh Quang, Hoàng Đăng Hải
Computer Communication Review, vol. 46, no. 4, pp. 8–
Performance to Web QoE. Proc. of 10th
Conference on Quality of Multimedia Experience
(QoMEX). 29th May-1st June 2018.
Internl.
13, 2016
[26] S. Egger, T. Hoßfeld, R. Schatz, and M. Fiedler, “Waiting
times in quality of experience for web based services,” in
Quality of Multimedia Experience (QoMEX). IEEE, 2012,
pp. 86–96
[8] T. Hossfeld, P.E. Heegaard, L.S. Kapov, M. Varela.
Fundamental Relationships for Deriving QoE in Systems.
Proc. of 11th Internl. Conference on Quality of Multimedia
Experience (QoMEX). June 2019.
[27] D. Da Hora, A. Asrese, V. Christophides, R. Teixeira, and
D. Rossi, “Narrowing the gap between qos metrics and
web qoe using above-thefold metrics,” in PAM 2018-
International Conference on Passive and Active Network
Measurement, 2018, pp. 1–13
[9] A. Asrese, E.S. Jacob, B. Vaibhav, et.al. Measuring Web
Latency and Rendering Performance: Method, Tools &
Longitudinal Dataset. IEEE Transactions on Network and
Service Management. 16(2), pp.535-549. June 2019.
[28] T. Hoßfeld, S. Biedermann, R. Schatz, A. Platzer, S.
Egger, and M. Fiedler, “The memory effect and its
implications on web qoe modeling,” in Teletraffic
Congress (ITC), 2011 23rd International. IEEE, 2011, pp.
103–110
[10] D.d. Hora, D. Rossi, V. Christophides, R. Teixeira. A
practical method for measuring Web above-the-fold time.
Proc. of ACM SIGCOMM 2018, Aug. 2018.
[29] D. Strohmeier, S. Jumisko-Pyykkö, and A. Raake,
“Toward taskdependent evaluation of web-qoe: Free
exploration vs. “who ate what?”,” in Globecom
Workshops (GC Wkshps), 2012 IEEE. IEEE, 2012, pp.
1309–1313
[11] M. Lycett, O. Radwan. Developing
Experience (QoE) model for Web Applications. Journal of
Information Systems, 05 Mar. 2018,
a Quality of
[12] Google Inc. (2013) SPDY: An experimental protocol for a
org/spdy/spdy-whitepaper.
[30] S. Egger, P. Reichl, T. Hoßfeld, and R. Schatz, ““Time is
bandwidth”? Narrowing the gap between subjective time
perception
and
Quality
of
Experience,”
in
[13] Google Inc. (2016) WebP — A new image format for the
Communications (ICC), 2012 IEEE International
Conference on. IEEE, 2012, pp. 1325–1330
Web,
WebP.
Available
at:
google.com/speed/webp/.
[31] E. Ibarrola, I. Taboada, R. Ortega et al., “Web qoe
evaluation in multi-agent networks: Validation of itu-t g.
1030,” in Autonomic and Autonomous Systems, 2009.
ICAS’09. Fifth International Conference on. IEEE, 2009,
pp. 289–294
[14] ITU-T P.800. Methods for subjective determination of
transmission quality. 1996.
[15] R. Schatz, S. Egger. On the Impact of Terminal
Performance and Screen Size on QoE. in proc of ETSI
Workshop on Selected Items on Telecommunication
Quality Matters. Vienna, Austria: ETSI. 2012.
[32] Q. Gao, P. Dey, and P. Ahammad, “Perceived performance
of top retail webpages in the wild: Insights from large-
scale crowdsourcing of above-the-fold qoe,” in Workshop
on QoE-based Analysis and Management of Data
Communication Networks. ACM, 2017, pp. 13–18
[16] Rehman K. Laghari, K. Connelly. Toward total quality of
experience: A QoE model in a communication ecosystem.
IEEE Communications Magazine, 50(4), pp. 58–65. doi:
10.1109/MCOM. 2012.6178834
[33] A. Balachandran, V. Aggarwal, E. Halepovic, J. Pang, S.
[17] S. Egger, T. Hossfeld, R. Schatz, M. Fiedler. Waiting
Times in Quality of Experience For Web Based Services.
Proc of QoMEX 2012, pp. 86–96.
Seshan, S. Venkataraman, and H. Yan, “Modeling web
quality-of-experience
on
cellular
networks,”
in
Proceedings of the 20th annual international conference on
Mobile computing and networking. ACM, 2014, pp. 213–
224
[18] A. Saverimoutou, B. Mathieu, S. Vaton. Web Browsing
Measurements: An Above-The-Fold Browser-Based
Technique. Proc of IEEE Internl. Conference on
Distributed Computing Systems (ICDCS), Mar. 2019.
[34] ISO 9241‐ 11:1998, Ergonomic requirements for office
work with visual display terminals (VDTs)—Part 11:
std: iso:9241:‐ 11:ed‐ 1:v1:en
[19] A. Balachandran, V. Aggarwal, E. Halepovic, J. Pang, S.
Seshan, S. Venkataraman, and H. Yan, “Modeling web
quality-of-experience
on
cellular
networks,”
in
Proceedings of the 20th annual international conference on
Mobile computing and networking. ACM, 2014, pp. 213–
224
[35] ITU‐ T. Recommendation P. 800.1: Mean opinion score
(MOS) terminology. ITU‐ T P‐ Series, The International
Telecommunication Union (ITU). 2006.
[20] S. Barakovic and L. Skorin-Kapov, “Survey of research on
quality of ´ experience modelling for web browsing,”
Quality and User Experience, vol. 2, no. 1, p. 6, 2017.
[36] ITU‐ T. (2014). Recommendation G.1031: QoE factors in
web‐ browsing. ITU‐ T G‐ Series, The International
Telecommunication Union (ITU). 2014.
[21] A. Sackl, S. Egger, and R. Schatz, “The influence of
network quality fluctuations on web qoe,” in Quality of
Multimedia Experience (QoMEX). IEEE, 2014, pp. 123–
128
[37] ITU-T G.1080 (Quality of Experience Requirements for
IPTV services). 2008.
[22] A. Sackl, P. Casas, R. Schatz, L. Janowski, and R. Irmer,
“Quantifying the impact of network bandwidth
fluctuations and outages on web qoe,” in Quality of
Multimedia Experience (QoMEX). IEEE, 2015, pp. 1–6
[38] ISO/IEC TR 9126‐ 3. (2002). Software engineering—
Product quality—Part 3: Internal metrics. 2002.
[39] A. Vizzarri, F. Davide. Simulation of VoLTE Services for
QoE Estimation. Proceedings of the 9th EUROSIM & the
57th SIMS. Pp.388-394.
[23] M. Varela, T. Mäki, L. Skorin-Kapov, and T. Hoßfeld,
“Towards an understanding of visual appeal in website
design,” in Quality of Multimedia Experience (QoMEX).
IEEE, 2013, pp. 70–75
[40] Richard A. Johnson, Dean W.Wichern, Applied
Multivariate Statistical Analysis (6th Edition). Pearson
Publisher 2007. ISBN-10: 0131877151.
[24] M. Varela, L. Skorin-Kapov, T. Mäki, and T. Hoßfeld,
“Qoe in the web: A dance of design and performance,” in
Quality of Multimedia Experience (QoMEX). IEEE, 2015,
pp. 1–7
[41] S. Ihm and V. S. Pai, “Towards Understanding Modern
Web Traffic,”ser. ACM IMC, 2011. [Online]. Available:
ttp://doi.acm.org/10.1145/2068816.2068845
[25] E. Bocchi, L. De Cicco, and D. Rossi, “Measuring the
quality of experience of web users,” ACM SIGCOMM
SỐ 02 (CS.01) 2019
TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG 27
GIÁM SÁT VÀ ĐÁNH GIÁ CHẤT LƯỢNG TRẢI NGHIỆM (QoE) CHO ỨNG DỤNG WEB
MONITORING AND EVALUATION OF QUALITY
OF EXPERIENCE (QoE) FOR WEB
APPLICATIONS
Abstract: Providing Quality of Experience (QoE) for
satisfying user’s requests is being an essential demand
for Web applications and service providers. Several
challenges have been posed to QoE monitoring and
evaluating, since there is still no suitable model for
quantifying QoE. Until now, research work has mainly
focused on improving QoE regarding time related
parameters, the interactive relationship between QoS and
QoE, the relationship between QoE and MOS (Mean
Opinion Scores). However, the problem of real-time QoE
monitoring still not receives adequate attention. On the
other hand, most QoE models to date are based on
parameters proposed by the ITU for networks and
multimedia applications. There is still no model for Web
applications. Based on parameters according to ITU
standards, this paper proposes a reference model for
monitoring and evaluation of QoE for Web applications.
This reference model WebQoE-RefMod has following
properties: 1) Determining a reference profile for QoE
comparison and evaluation, 2) Determining a set of
reference measurement points, 3) Calculating QoE as a
function of KPI and KQI metrics, 4) Monitoring and
evaluating QoE using a formula for the statistical
distance to the Ref-QoE values.
Keywords: Web Applications, QoS, QoE, QoE
monitoring, quantified QoE assessment.
Hoàng Mạnh Quang. ThS. tại Đại
học Bách Khoa Hà Nội.
Học viện Công nghệ Bưu chính
Viễn thông. Lĩnh vực nghiên cứu:
Chất lượng dịch vụ (QoS), chất
lượng trải nghiệm (QoE), mạng
máy tính, mạng viễn thông, đo
kiểm mạng lưới.
Hoàng Đăng Hải, TS. (1999),
TSKH. (2002) tại CHLB Đức, PGS
(2009). Hiện đang đang công tác
tại Học viện Công nghệ Bưu
chính Viễn thông. Lĩnh vực nghiên
cứu: Mạng và hệ thống thông tin,
các giao thức truyền thông, chất
lượng dịch vụ, mạng IoT, an toàn
thông tin
SỐ 02 (CS.01) 2019
TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG 28
10 trang
19580
Free
Bạn đang xem tài liệu "Giám sát và đánh giá chất lượng trải nghiệm (QoE) cho ứng dụng web", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- giam_sat_va_danh_gia_chat_luong_trai_nghiem_qoe_cho_ung_dung.pdf
