Một số phương pháp gợi ý và ứng dụng trong thương mại điện tử

Vietnam J. Agri. Sci. 2021, Vol. 19, No. 4: 520-534  
Tạp chí Khoa học Nông nghiệp Việt Nam 2021, 19(4): 520-534  
MỘT SỐ PHƯƠNG PHÁP GỢI Ý VÀ ỨNG DỤNG TRONG THƯƠNG MẠI ĐIỆN TỬ  
Hoàng Thị Hà1*, Ngô Nguyễn Thức2  
1Khoa Công nghệ thông tin, Học viện Nông nghiệp Việt Nam  
2Sinh viên K57 - Khoa Công nghệ thông tin, Học viện Nông nghiệp Việt Nam  
*Tác giả liên hệ: [email protected].vn  
Ngày nhận bài: 20.07.2020  
Ngày chấp nhận đăng: 29.03.2020  
TÓM TẮT  
Hệ gợi ý (Recommender System) là công cụ được thiết kế nhằm cung cấp những khuyến nghị hữu ích về sản  
phẩm, dịch vụ,…cho người dùng. Hệ gợi ý dựa trên dữ liệu về mối quan hệ giữa người dùng, sản phẩm và các hành  
vi của người dùng trong quá khứ đối với sản phẩm để đưa ra những gợi ý thông minh, phù hợp với sở thích của  
từng khách hàng. Hệ gợi ý giúp khách hàng nhanh chóng định vị được những sản phẩm họ quan tâm để từ đó đưa  
ra quyết định đúng đắn khi mua sắm online. Trong bài báo này, chúng tôi trình bày tổng quan một số phương pháp  
gợi ý, đánh giá điểm mạnh, điểm yếu, so sánh hiệu quả thực hiện của mỗi phương pháp. Chúng tôi chỉ ra lợi ích mà  
các hệ gợi ý mang lại cho thương mại điện tử, đồng thời nêu ra những thách thức và giải pháp khắc phục. Kết quả  
thực nghiệm của chúng tôi trên 4 tập dữ liệu chuẩn (Movielens, Epinions, BookCrossing, LastFM) cho thấy mỗi  
phương pháp đều có những ưu điểm và hạn chế riêng, không có phương pháp nào là tốt nhất trên tất cả các tiêu chí.  
Ngoài ra, chúng tôi cũng đưa ra quy trình chung để xây dựng hệ gợi ý trong các website thương mại và thực hiện tích  
hợp các kỹ thuật hệ gợi ý trong website thương mại điện tử khắc phục vấn đề người dùng mới, sản phẩm mới (vấn  
đề này còn gọi là “Cold start problem”) của các phương pháp gợi ý cá nhân hóa.  
Từ khóa: Hệ gợi ý, lọc cộng tác, gợi ý dựa trên nội dung, hệ gợi ý kết hợp, thương mại điện tử.  
Some Methods of Recommender System and its Application in E-Commerce  
ABSTRACT  
The designed recommender system is a tool to provide important suggestions forusers or customers. Based on  
the datasets of user relationships, products, andprevious behavior of consumers, smart recommendations for the  
preferences of eachconsumer are given, which helps consumers tomake good decisions while shopping online. In  
this article, we present an overview of some methodologies of recommendation systems, techniques of recommender  
systems, and evaluate the strengths and weaknesses of each technique, as well as comparedsome benefits of  
recommender systems in e-commerce. Moreover, we report some challenges that the recommender systems are  
facing and list some solutions to solve these challenges. Our experimental results on the four datasets  
(Movielens100k, Epinions,BookCrossing, LastFM) showed that there was no best recommendation algorithm in all  
evaluation metrics. Finally, we built an e-commerce website that integrated some different techniques of  
recommender systems such as non-personalized methods, personalized methods to recommend the right product for  
each customer. The experimental system gives some diverse suggestions to overcome the problem "Cold start  
problem" of personalized methods.  
Keywords: Recommender systems, collaborative filtering, content-based filtering, hyper filtering, E-Commerce.  
đổi hình thĀc giao dðch truyền thống. Ngày càng  
1. ĐẶT VẤN ĐỀ  
có nhiều ngþąi lăa chọn hình thĀc mua sím trăc  
tuyến. Trong khi đò, để mć rộng thð trþąng kinh  
doanh, các doanh nghiệp đã xåy dăng Āng dýng  
thþĄng mäi điện tā và cung cçp rçt nhiều sân  
phèm trên website. Tuy nhiên, khi thông tin  
Trong nhĂng nëm gæn đåy, cùng vĆi să phổ  
biến cûa mäng Internet và máy tính, thþĄng  
mäi điện tā đã phát triển nhanh chóng trên  
phäm vi toàn cæu. ThþĄng mäi điện tā đã thay  
520  
Hoàng Thị Hà, Ngô Nguyễn Thức  
quá nhiều, khách hàng sẽ tốn thąi gian để tìm  
sân phèm họ cæn. Điều này, làm giâm să hài  
lòng và să trung thành cûa khách. Để giâi quyết  
vçn đề này, ý tþćng chính cûa các chuyên gia  
thþĄng mäi điện tā là thiết lêp hệ thống gợi ý  
thông minh nhìm khám phá ra các mặt hàng  
phù hợp nhçt cho tÿng ngþąi dùng. VĆi hệ thống  
gợi ý tă động, khách hàng có thể nhanh chóng  
truy cêp đþợc sân phèm hợp vĆi sć thích và nhu  
cæu cûa họ, tiết kiệm thąi gian tìm sân phèm  
cho ngþąi dùng (Thomas, 2006).  
động đþa ra nhĂng gợi ý thông minh, đa däng  
tĆi ngþąi dùng.  
2. CÁC KỸ THUẬT HỆ GỢI Ý  
Các kỹ thuêt hệ gợi ý thþąng đþợc chia  
thành hai nhóm chính là: hệ gợi ý cá nhân hóa  
và hệ gợi ý không cá nhân hóa. Chúng tôi têp  
trung giĆi thiệu tóm tít phþĄng pháp gợi ý  
không cá nhân hóa và một số thuêt toán gợi ý cá  
nhân hóa tiêu biểu thþąng đþợc sā dýng trong  
các trang thþĄng mäi điện tā.  
NhĂng nëm gæn đåy, các kỹ thuêt hệ gợi đã  
và đang đþợc nghiên cĀu, Āng dýng ć nhiều lïnh  
văc. Trong thþĄng mäi điện tā, hệ gợi ý mang  
läi nhiều lợi ích cho câ ngþąi cung cçp dðch vý  
và ngþąi sā dýng dðch vý (Ionos, 2017). Hæu hết  
các công ty thþĄng mäi lĆn nhþ: Amazon  
(Amazon.com), CDNOW (www.cdnow.com),  
2.1. Hệ gợi ý không cá nhân hóa (non-  
personalized recommender systems )  
Là nhòm phþĄng pháp không dăa vào hồ sĄ  
cá nhân tÿng khách hàng mà chî dăa vào đặc  
tính cûa sân phèm (sân phèm mĆi) và đánh giá  
tÿ cộng đồng nhþ: sân phèm bán chäy nhçt, sân  
phèm đþợc đánh giá tốt nhçt,„ (Singh, 2019)  
eBay  
(eBay.com),  
Alibaba  
(Alibaba.com),  
MovieFinder (MovieFinder.com), Youtube.com,  
Facebook.com,„ đều sā dýng các kỹ thuêt gợi ý  
trong website cûa họ để nâng cao trâi nghiệm  
cho khách hàng, nâng cao chçt lþợng dðch vý và  
tëng doanh thu bán hàng. Tuy nhiên, ć Việt  
Nam - một quốc gia có rçt nhiều tiềm nëng về  
thþĄng mäi điện tā (Viễn Thông, 2020) läi có số  
lþợng website thþĄng mäi tích hợp hệ gợi ý  
không nhiều (Nguyễn Hùng Düng & Nguyễn  
Thái Nghe, 2013). Hiện Việt Nam đang cò 44%  
doanh nghiệp đã tham gia xåy dăng website  
thþĄng mäi, nhþng chî có 32% doanh nghiệp  
đþợc đánh giá cao kênh bán hàng thông qua  
trang web (Nguyễn Thanh Hþng, 2019).  
2.2. Hệ gợi ý cá nhân hóa (personalized  
recommender systems)  
Nhòm phþĄng pháp này đþợc đánh giá là  
mang läi hiệu quâ cao đối vĆi thþĄng mäi điện tā.  
Nếu doanh nghiệp hiểu rõ tÿng khách hàng cûa  
mình dăa trên nhĂng gì họ tþĄng tác và mua  
hàng trên mäng, doanh nghiệp có thể tþ vçn cho  
khách hàng nhĂng sân phèm phù hợp vĆi mong  
muốn và sć thích cûa khách hĄn (Google &  
Temasek, 2018). Khách hàng sẽ tiết kiệm đþợc  
thąi gian tìm kiếm sân phèm, mua đþợc nhĂng  
mòn hàng đúng sć thích. Tÿ đò, doanh nghiệp sẽ  
tëng đþợc số lþợng ngþąi mua hàng, tëng giá trð  
đĄn hàng, tëng doanh số bán hàng.  
Bài báo này trình bày tổng quan các  
phþĄng pháp gợi ý, đánh giá hiệu quâ cûa các  
thuêt toán gợi ý (Content-based, user-based và  
item-based) trên một số têp dĂ liệu chuèn bao  
gồm: Movielens, Epinions, BookCrossing và  
LastFM. Chúng tôi thâo luên nhĂng điểm  
mänh, điểm yếu cûa mỗi phþĄng pháp, thách  
thĀc và giâi pháp khíc phýc khi xây dăng hệ gợi  
ý trong thþĄng mäi điện tā. Đồng thąi, chúng tôi  
đþa ra quy trình xåy dăng hệ gợi ý trong các  
website thþĄng mäi và thăc hiện cài đặt các kỹ  
thuêt hệ gợi ý trong website thþĄng mäi điện tā.  
Kết quâ cài đặt cho thçy, khi website đþợc tích  
hợp các phþĄng pháp hệ gợi ý hệ thống sẽ tă  
Theo nghiên cĀu cûa Schafer & cs. (2001),  
nếu doanh nghiệp sā dýng phþĄng pháp gợi ý cá  
nhân hòa để gāi email tĆi khách hàng thì tỷ lệ  
giao dðch thông qua email cao hĄn gçp hai læn  
so vĆi các email đþợc gāi không áp dýng phþĄng  
pháp này (Stephan, 2019). Do đò, các phþĄng  
pháp gợi ý cá nhån hòa làm tëng mĀc độ tþĄng  
tác và chuyển đổi trong giao dðch thþĄng mäi  
điện tā.  
Một số phþĄng pháp gợi ý thuộc loäi cá  
nhân hóa nhþ sau:  
521  
Một số phương pháp gợi ý và ứng dụng trong thương mại điện tử  
ngþąi dùng đò kết hợp quan điểm cûa nhĂng  
2.2.1. Gợi ý dựa trên nội dung (Content-  
ngþąi dùng khác. Đåy là kỹ thuêt mänh và đã  
đþợc áp dýng khá thành công trong các hệ  
thống thþĄng mäi lĆn. Lọc cộng tác thu thêp  
phân hồi tÿ nhiều ngþąi dùng đối vĆi sân phèm,  
lþu trĂ phân hồi cûa ngþąi dùng dþĆi däng ma  
trên ngþąi dùng (users) - sân phèm (items). Mỗi  
dòng là một vectĄ chĀa giá trð phân hồi cûa  
ngþąi dùng đối vĆi các sân phèm. Sau đò, tính  
độ tþĄng tă giĂa các users hoặc giĂa các items  
trong hệ thống, tìm ra mối tþĄng quan và đþa  
ra gợi ý phù hợp. Độ tþĄng tă giĂa các user hoặc  
giĂa các item đþợc tính theo công thĀc Cosin  
hoặc Pearson.  
based filtering)  
PhþĄng pháp gợi ý này dăa trên mô tâ cûa  
sân phèm và profile cûa tÿng ngþąi dùng  
(không quan tåm đến ngþąi dùng khác). Gợi ý  
dăa trên nội dung sẽ thu thêp hồ sĄ cûa ngþąi  
dùng: họ tên, giĆi tính, nghề nghiệp... và tþĄng  
tác cûa cá nhån ngþąi dùng trên các sân phèm,  
sau đò so sánh đặc điểm các sân phèm trong cĄ  
sć dĂ liệu vĆi đặc điểm các sân phèm mà khách  
hàng đã quan tåm để gợi ý cho khách hàng.  
2.2.2.  
Lọc  
cộng  
tác  
(Collaborative  
Filtering - CF)  
Bâng 1 là ma trên biểu diễn đánh giá cûa  
ngþąi dùng trên các sân phèm.  
Lọc cộng tác gợi ý sân phèm tĆi ngþąi dùng  
dăa trên lðch sā tþĄng tác sân phèm cûa chính  
Hình 1. Mô hình hệ gợi ý dựa trên nội dung  
Bâng 1. Ma trận biểu diễn người dùng - sân phẩm của tiếp cận lọc cộng tác  
522  
Hoàng Thị Hà, Ngô Nguyễn Thức  
Cò hai phþĄng pháp lọc cộng tác:  
mäi điện tā lĆn nhþ Amazon, Tiki, Youtube  
và Facebook.  
User-based: Dă đoán dăa trên să tþĄng tă  
giĂa các users. Ý tþćng quan trọng cûa phþĄng  
pháp này là nhĂng khách hàng tþĄng tă có xu  
hþĆng sā dýng nhĂng sân phèm tþĄng tă  
(Singh & Pramod, 2019). Nếu hai khách hàng A,  
B có lðch sā đánh giá các sân phèm tþĄng tă  
nhau thì User-basedsẽ dă đoán khách hàng A  
có khâ nëng sẽ quan tâm tĆi nhĂng sân phèm  
chþa đþợc trâi nghiệm nhþng đã đþợc khách  
hàng B thích và ngþợc läi. PhþĄng pháp này  
phân tích ma trên user-item để tìm ra nhĂng  
ngþąi dùng tþĄng tă.  
2.2.3.  
Phương  
pháp  
kết  
hợp  
(hybrid method)  
PhþĄng pháp này kết hợp giĂa kỹ thuêt gợi  
ý dăa trên nội dung và lọc cộng tác. Kỹ thuêt  
này đþợc xem là khá hiệu quâ và giâi quyết  
đþợc vçn đề “cold - start problem” trong rçt  
nhiều nghiên cĀu. Trang thþĄng mäi điện tā  
điển hình đã Āng dýng phþĄng pháp này là  
Spotify.com. Họ đã tích hợp phþĄng pháp hệ gợi  
ý tổng hợp để täo ra danh sách các bài hát hàng  
tuæn cho tÿng khách hàng riêng biệt. Website  
đã tổng hợp dĂ liệu ngþąi dùng dăa trên thói  
quen nghe nhäc và nhĂng ngþąi dùng tþĄng tă  
để täo ra một danh sách các bài hát độc đáo phù  
hợp vĆi sć thích cûa tÿng khách hàng.  
Item-based : Dă đoán dăa trên să tþĄng tă  
giĂa các items. Hai sân phèm i và i’ đã đþợc  
cộng đồng đánh giá tþĄng tă nhau thì có thể sẽ  
đþợc đánh giá tþĄng tă bći nhĂng ngþąi dùng  
còn läi. PhþĄng pháp này phån tích ma trên  
user-item để nhên diện các sân phèm tþĄng tă.  
2.3. Mục tiêu của các phương pháp gợi ý  
Ngày nay, kỹ thuêt lọc cộng tác đþợc sā  
dýng khá phổ biến trên các trang thþĄng  
Mýc tiêu cûa các phþĄng pháp gợi ý đþợc  
thể hiện trong bâng 2.  
Hình 2.Tiến trình lọc cộng tác  
Hình 3. Lọc cộng tác dựa trên User-based và Item-based  
523  
Một số phương pháp gợi ý và ứng dụng trong thương mại điện tử  
Hình 4. Mô hình hệ gợi ý kết hợp  
Bâng 2. Mục tiêu khái niệm của các phương pháp gợi ý  
Phương pháp (Methods)  
Mục tiêu (concept goals)  
Đầu vào (Inputs)  
Gợi ý không cá nhân hóa  
(Non-personalized  
Gợi ý những sản phẩm mà người dùng có thể thích  
dựa trên sản phẩm mới hoặc ý kiến cộng đồng.  
recommender systems)  
Lọc dựa trên nội dung  
(Content-based filtering)  
Gợi ý những sản phẩm khách hàng có thể thích dựa  
trên hồ sơ cá nhân của người dùng và độ tương tự  
giữa các sản phẩm trong cơ sở dữ liệu với những sản  
phẩm mà khách hàng đã thích trong quá khứ.  
Thuộc tính (item attributes) của sản phẩm  
hoặc Profiles của người dùng.  
Lọc cộng tác (Collaborative Gợi ý những sản phẩm mà người dùng có thể thích  
Đánh giá của User + Đánh giá của cộng  
đồng  
Filtering)  
dựa trên những người dùng có sở thích tương tự.  
Phương pháp kết hợp  
(Hybrid method)  
Gợi ý những sản phẩm mà người dùng có thể thích  
dựa trên việc kết hợp Content-based filtering và  
Collaborative Filtering.  
Thuộc tính của sản phẩm+ đánh giá của  
Users và cộng đồng.  
- Xây dăng lòng trung thành (Building  
Loyalty): Trong chiến lþợc kinh doanh, việc đät  
đþợc lòng trung thành cûa ngþąi tiêu dùng là  
một điều cæn thiết. Khi lòng trung thành cûa  
khách hàng tëng lên, lợi nhuên cüng sẽ tëng lên  
(Reichheld & F., 1993). Các hệ thống gợi ý câi  
tiếnlòng trung thành bìng cách tìm hiểu, thu  
thêp thông tin, nhu cæu, sć thích và các mối  
quan tâm cûa khách. Tÿ đò, sā dýng các thuêt  
toán thông minh cá nhån hòa để gợi ý phù hợp  
chotÿng khách hàng, giúp họ hài lòng, có niềm  
tin quay läi trang web để mua hàng.  
3. VAI TRÒ CỦA HỆ GỢI Ý TRONG  
THƯƠNG MẠI ĐIỆN TỬ  
Trong thþĄng mäi điện tā, hệ gợi ý đòng vai  
trñ nhþ một “chuyên gia” thông minh hỗ trợ  
khách hàng trong quá trình tìm và chọn mua  
sân phèm. Hệ gợi ý thúc đèy thþĄng mäi điện tā  
(Schafer & cs., 2001) theo các cách sau:  
- Chuyển khách vãng lai thành ngþąi mua  
hàng (Converting Browsers into Buyers): Khách  
vãng lai thþąng ghé thëm website để xem trang  
web mà không mua hàng. Các hệ thống gợi ý sẽ  
hiểu nhu cæu cûa khách, hiển thð nhĂng sân  
phèm mà khách thích, hoặc đang muốn tìm  
mua. Bìng cách này, hệ thống sẽ chuyển nhĂng  
khách vãng lai thành khách mua hàng.  
VĆi nhĂng khâ nëng trên, hệ gợi ý mang läi  
trâi nghiệm tốt cho khách hàng, giúp khách  
hàng giâm thąi gian tìm kiếm sân phèm, nâng  
cao tỷ lệ chuyển đổi mua hàng, câi thiện việc bó  
gió hàng và giĂ khách quay trć läi mua hàng.  
Tÿ đò, hệ gợi ý giúp các thþĄng nhån tëng giá  
trð đĄn hàng trung bình, tëng doanh thu  
bán hàng (Dias & cs., 2008; Jordan, 2016;  
Stephan, 2019).  
- Tëng cþąng bán chéo (Increasing Cross-  
sell): Các hệ thống gợi ý câi thiện bán chéo bìng  
cách đề xuçt các mặt hàng liên quan đến sân  
phèm, các sân phèm phý kiện bổ sung cho  
khách mua hàng.  
524  
Hoàng Thị Hà, Ngô Nguyễn Thức  
website, lþợng khách hàng đánh giá trênsân  
phèm rçt ít, nên các thuêt toán gợi ý khò đoán  
đþợc sć thích cûa ngþąi dùng. Đåy cüng là một  
vçn đề lĆn cûa các hệ gợi ý (Sharma & Gera,  
2013). Bći dĂ liệu phâi đû lĆn các thuêt toán gợi  
ý mĆi có nhĂng gợi ý chính xác. Các nhà khoa học  
đã và đang cố gíng nghiên cĀu để làm giâm vçn  
đề này, nhþng hiện vén còn là một bài toán khó  
cæn đþợc nghiên cĀu nhiều hĄn. DþĆi đåy là một  
số giâi pháp đþợc đề xuçt (Khusro & cs., 2016):  
4. THÁCH THỨC CỦA HỆ GỢI Ý TRONG  
THƯƠNG MẠI ĐIỆN TỬ VÀ GIẢI PHÁP  
KHẮC PHỤC  
4.1. Vấn đề khách hàng mới, sân phẩm mới  
(Cold-startproblem)  
Một trong nhĂng thách thĀc đối vĆi bçt kỳ  
hệ thống gợi ý nào là vçn đề ngþąi dùng mĆi (new  
user) hoặc sân phèm mĆi (new item). Hồ sĄ cûa  
ngþąi dùng rỗng và họ chþa xếp häng bçt kỳ sân  
phèm nào. Vì vêy, các giâi thuêt gợi ý không thể  
hiểu đþợc khách hàng và không dă đoán đþợc sć  
thích, nhu cæu cûa họ (Sharma & Gera, 2013).  
Vçn đề này gọi là “Cold start problem” và có thể  
đþợc giâi quyết bìng cách sā dýng hệ gợi ý không  
cá nhån hòa để gợi ý nhĂng sân phèm mĆi,  
nhĂng sân phèm bán chäy, nhĂng sân phèm  
đþợc nhiều ngþąi đánh giá cao,... (Schafer & cs.,  
2007; Mohamed & cs., 2019).  
Giâi pháp 1: Sā dýng mô hình gợi ý đa  
chiều (Adomavicius & cs., 2005) và sā dýng các  
kỹ thuêt hiệu quâ giâi quyết bài toán dă đoán  
đối vĆi ma trên thþa nhþ giâi pháp cûa Xue &  
cs. (2015), giâi pháp cûa Lei & cs. (2019).  
Giâi pháp 2: Dăa trên nhĂng phân hồi tiềm  
èn cûa ngþąi dùng (implicit feedback) nhþ: lðch  
sā xem hàng, mua hàng„ để bổ sung dĂ liệu vào  
ma trên ngþąi dùng - sân phèm nhìm hän chế  
mĀc độ thþa cûa ma trên ít ngþąi dùng đánh giá.  
4.2. Vấn đề khâ năng mở rộng và hiệu suất  
thời gian thực  
Giâi pháp 3: Chia sẻ thông tin ngþąi dùng  
giĂa các trang web không có cänh tranh, đặc  
biệt có thể khai thác thêm dĂ liệu tÿ các trang  
mäng xã hội. Thông tin ngþąi dùng càng nhiều,  
càng đæy đû sẽ giúp các thuêt toán gợi ý hiểu  
khách hàng hĄn và tþ vçn chính xác hĄn. Lþu ý,  
các bên khi chia sẻ dĂ liệu ngþąi dùng phâi cam  
kết chî dùng dĂ liệu đþợc chia sẻ để phýc vý tþ  
vçn tốt hĄn và có trách nhiệm bâo vệ thông tin  
ngþąi dùng.  
Khi lþợng dĂ liệu ngày càng lĆn dæn lên,  
làm thế nào để các hệ gợi ý làm việc hiệu quâ  
đang là mối quan tâm cûa các nhà khoa học và  
cûa doanh nhân sā dýng hệ thống thþĄng mäi  
điện tā. VĆi website lĆn, hệ thống phâi täo ra  
các gợi ý trong vñng đĄn vð giây trong khi phýc  
vý hàng trëm hoặc hàng ngàn ngþąi tiêu dùng  
cùng một lúc. Số lþợng yêu cæu gợi ý đồng thąi  
ngày càng lĆn, số lþợng sân phèm ngày càng  
tëng, hành vi tþĄng tác cûa ngþąi dùng trên các  
sân phèm ngày càng nhiều. Hiện täi, để giâi  
quyết phæn nào vçn đề này ngoài việc đæu tþ lĆn  
hĄn cho các hệ thống tính toán mänh cæn phâi  
áp dýng thêm các thuêt toán giâm chiều, xā lý  
song song và đặc biệt nên chäy các thuêt toán  
offline để có thể gợi ý online nhanh hĄn (Khusro  
& cs., 2016). Tuy nhiên, đåy là vçn đề khó và  
đang là một thách thĀc cûa các hệ thống gợi ý.  
5. ĐÁNH GIÁ CÁC PHƯƠNG PHÁP GỢI Ý  
5.1. Điểm mänh và điểm yếu của các  
phương pháp hệ gợi ý  
Bâng 3 là kết luên cûa chúng tôi về nhĂng  
þu điểm và hän chế cûa các phþĄng pháp hệ  
gợi ý.  
5.2. Đánh giá độ chính xác của các phương  
pháp gợi ý  
4.3. Vấn đề thưa thớt của dữ liệu đánh giá  
(Sparsity)  
5.2.1. Dữ liệu thực nghiệm  
Chúng tôi đánh giá hiệu quâ thăc hiện cûa  
các thuêt toán content-based, user-based, item  
based đã đþợc giĆi thiệu ć trên bìng cách chäy  
thā nghiệm trên 4 têp dĂ liệu chuèn: Movielens  
Một thách thĀc nĂa đối vĆi hệ gợi ý täi các  
trang thþĄng mäi điện tā là să thþa thĆt về dĂ  
liệu khách hàng đánh giá sân phèm. Rçt nhiều  
525  
Một số phương pháp gợi ý và ứng dụng trong thương mại điện tử  
(GroupLens, 1998), Epinions (Trademark  
Notice, 2003), BookCrossing (University of  
Freiburg, 2004), LastFM (GroupLens, 2011).  
RMSE  
Ratingmax Ratingmin  
NRMSE   
Trong đò:  
5.2.2. Phương pháp đánh giá và môi trường  
thử nghiệm  
n
2
1
RMSE  
p r  
i   
n   
i
1
a. Phương pháp đánh giá  
vĆi n là số quan sát, pi là giá trð dă đoán  
đánh giá cûa sân phèm i và ri là giá trð đánh giá  
thăc tế cûa sân phèm i.  
Chúng tôi chia têp dĂ liệu ra làm 2 phæn,  
lçy ngéu nhiên 70% têp dĂ liệu để training và  
30% dĂ liệu còn läi để testing. Chúng tôi thăc  
hiện 5 læn lặp trên các têp dĂ liệu.Độ đo  
NRMSE (Normalized Root Mean Square Error)  
và thąi gian thăc hiện (time) đþợc chúng tôi sā  
dýng để đánh giá hiệu quâ cûa các thuêt toán.  
Ratingmax, Ratingmin læn lþợt là điểm lĆn nhçt  
và nhó nhçt cho phép ngþąi dùng đánh giá.  
b. Môi trường thử nghiệm  
Môi trþąng đþợc sā dýng thā nghiệm là  
máy tính Intel(R) Corei5-6300U, CPU  
2.5GHz, RAM 8GB và ngôn ngĂ Python trên hệ  
điều hành Microsoft Window 10.  
@
Độ đo NRMSE dùng để xác đðnh sai số  
chuèn hóa cûa các thuêt toán và đþợc xác đðnh  
bìng công thĀc:  
Bâng 3. Điểm mänh và điểm yếu của các phương pháp gợi ý  
STT  
1
Phương pháp  
Điểm mạnh  
Điểm yếu  
Gợi ý không cá nhân  
hóa (Non-personalized  
recommender  
1. Đơn giản  
1. Gợi ý chung chung, không cá nhân hóa  
đến từng khách hàng. Vì vậy mọi khách đều  
có kết quả gợi ý giống nhau.  
2. Gợi ý không phụ thuộc vào dữ liệu của  
khách hàng trên hệ thống nên áp dụng được  
cho mọi khách hàng, giúp tăng cơ hội chuyển  
đổi khách hàng.  
systems)  
2
Lọc dựa trên nội dung  
(Content-based  
filtering)  
1. Hệ thống không sử dụng dữ liệu của người  
dùng khác mà vẫn gợi ý được những sản  
phẩm phù hợp với sở thích của từng khác  
hhàng riêng biệt.  
1. Hệ thống phải phân tích và dò tìm tất cả  
các đặc trưng của sản phẩm để tạo ra danh  
sách gợi ý, nên có thể chậm hoặc nếu hồ sơ  
về sản phẩm không đúng có thể dẫn đến  
gợi ý sai.  
2. Có khả năng gợi ý được cả những sản  
phẩm mới cho người dùng.  
2. Không thể gợi ý nếu khách hàng không  
có lịch sử đánh giá xem/thích các sản phẩm  
trên hệ thống.Với khách hàng mới, hệ thống  
không thể cung cấp gợi ý phù hợp.  
3. Không gợi ý được thêm các sở thích mới  
của khách.  
4
Lọc cộng tác  
(Collaborative  
Filtering)  
1. Hệ thống không cần sử dụng đến hồ sơ  
nhân khẩu học của người dùng để gợi ý  
sản phẩm.  
1. Không thể gợi ý nếu khách hàng chưa  
từng tương tác với các mặt hàng.  
2. Không thể gợi ý được các sản phẩm mới  
hoặc sản phẩm chưa được ai đánh giá.  
2. Có khả năng dự đoán được sở thích và nhu  
cầu của người dùng mà không cần hiểu sản  
phẩm.  
3. Khi lượng sản phẩm lớn nhưng số lượng  
khách hàng đánh giá không nhiều thì  
phương pháp này không hiệu quả.  
3. Có thể gợi ý tới người dùng những sản  
phẩm bên ngoài sở thích đang có.  
Nhữngnhững sản phẩm này có thể phù hợp sở  
thích mới của họ.  
5
Phương pháp tổng  
hợp (Hybrid method)  
1. Kết hợp tất cả các ưu điểm của phương  
pháp Content-based filtering và Collaborative  
Filtering.  
1. Không thể gợi ý cho người dùng mới  
2. Khi lượng sản phẩm lớn nhưng số lượng  
khách hàng đánh giá không nhiều thì  
phương pháp này không hiệu quả.  
526  
Hoàng Thị Hà, Ngô Nguyễn Thức  
Bâng 4. Thông tin các tập dữ liệu thử nghiệm  
Datasets  
#Items  
1,700  
#Users  
1,000  
# Rating  
100,000  
Range Rating  
1÷5  
Mô tả  
Movielens 100K  
Chứa đánh giá của người dùng trên các các  
bộ phim. Mỗi bộ phim có các đặc trưng (id,  
title, realise date, type, rating, time )  
Epinion  
138,738  
49,290  
139,738  
1÷5  
Chứa quan điểm của người dùng về các  
sản phẩm thương mại  
BookCrossing  
LastFM  
271,379  
17,632  
278,858  
1,892  
1,149,780  
92,834  
1÷10  
Chứa đánh giá của người dùng về sách.  
Số lần các bài hát  
được bật bởi  
users  
Chứa danh sách top những bài hát được  
người dùng nghe nhiều nhất (2100 users  
and 18,745)  
thuêt gợi ý cá nhån hòa nhþ: phþĄng pháp gợi ý  
dăa trên nội dung, phþĄng pháp gợi ý lọc cộng  
tác để thông báo cho khách hàng nhĂng sân  
phèm họ có thể thích, hỗ trợ khách hàng trong  
quá trình tìm mua sân phèm.  
5.2.3. Kết quâ thử nghiệm  
Kết quâ ć bâng 5 cho thçy, thuêt toán  
Content - based có thąi gian chäy nhanh hĄn  
User-based và Item-based, nhþng độ chính xác  
không cao. GiĂa thuêt toán User-based và  
Item-based, nếu xét về sai số cûa dă đoán  
thìtiếp cên lọc cộng tác dăa trên sân phèm  
(Item-based) cho sai số thçp hĄn (hay cho độ  
chính xác cao hĄn) tiếp cên lọc cộng tác dăa  
trênngþąi dùng (User - based) vĆi tỷ lệ 3/4 têp  
dĂ liệu. Tuy nhiên, xét về thąi gian thăc hiện  
thì phþĄng pháp lọc cộng tác dăa trên ngþąi  
dùng thăc hiện nhanh hĄn nhiều so vĆi phþĄng  
pháp lọc cộng tác dăa trên sân phèm câ giai  
đoän huçn luyện (training) và giai đoän kiểm  
thā (testing) ć câ 4 têp dĂ liệu. Do đò, cò thể nói  
phþĄng pháp lọc cộng tác dăa trên User - based  
sẽ có khâ nëng mć rộng (scability) tốt hĄn  
phþĄng pháp Item - based. Vì vêy, khó có thuêt  
toán nào là tốt nhçt trên mọi tiêu chí. Tùy theo  
mýc đích gợi ý và Āng dýng thăc tế để chọn  
phþĄng pháp gợi ý phù hợp.  
6.1. Tổng quan về cách tiếp cận  
Cách tiếp cên tổng quan cûa chúng tôi đþợc  
thể hiện trong hình 5.  
6.2. Luồng xử lý chính trong hệ thống  
Luồng xā lý chính trong hệ thống đþợc thể  
hiện trong hình 6.  
Giâi thích: Hệ thống sẽ kiểm tra xem khách  
hàng cò đëng nhêp hay không. Nếu khách hàng  
cò đëng nhêp, hệ thống sẽ kiểm tra xem khách  
hàng đã cò độ tþĄngtă vĆi ngþąi khác hay chþa,  
nếu có thì sẽ sā dýng mô hình lọc cộng tác để  
hiển thð thông tin gợi ý, ngþợc läi hệ thống sẽ  
kiểm tra xem khách hàng có thông tin cá nhân  
để quyết đðnh lăa chọn mô hình nhân khèu học  
hoặc không cá nhån để đþa ra gợi ý cho khách  
hàng. Trþąng hợp gợi ý dăa trên mô hình không  
cá nhân thì sẽ đþa ra nhĂng sân phèm mĆi, sân  
phèm bán chäy, sân phèm đþợc nhiều khách  
hàng quan tâm.  
6. TÍCH HỢP HỆ GỢI Ý TRONG HỆ THỐNG  
BÁN HÀNG TRỰC TUYẾN  
Để thā nghiệm trăc quan hệ gợi ý Āng dýng  
trong thþĄng mäi điện tā, chúng tôi tiến hành  
xây dăng hệ thống bán sách trăc tuyến tích hợp  
vĆi các thuêt toán gợi ý đã trình bày ć trên.  
Trong trþąng hợp khách hàng không đëng  
nhêp, hệ thống sẽ kiểm tra lðch sā khách hàng  
đã tÿng truy cêp vào trang web dăa vào IP  
máy tính mà khách hàng truy cêp, hệ thống sẽ  
lþu vết läi lðch sā quá trình truy cêp. Nếu có  
thông tin dăa theo đða chî IP, hệ thống sẽ đþa  
ra gợi ý về nhĂng sân phèm mà khách hàng đã  
tÿng xem.  
Hệ thống sā dýng thuêt toán gợi ý không cá  
nhån hòa để hiển thð các sân phèm mĆi, sân  
phèm bán chäy nhçt, sân phèm đþợc þa thích  
nhçt. Đặc biệt, hệ thống tích hợp một số kỹ  
527  
Một số phương pháp gợi ý và ứng dụng trong thương mại điện tử  
Bâng 5. Sai số dự đoán và thời gian thực hiện trung bình 5 lần chäy  
của các phương pháp lọc cộng tác  
Thời gian(sec)  
Dataset  
Thuật toán  
NRMSE  
Training  
0,093  
1,126  
0,147  
6,515  
7,518  
9,126  
20,142  
4,313  
39,326  
testing  
0,027  
Movielens (100K)  
Content - based  
User - based  
Item - based  
User - based  
Item - based  
User - based  
Item - based  
User - based  
Item - based  
0,317  
0,280  
0,288  
0,285  
0,254  
0,248  
0,282  
0,0131  
0,0103  
3,107  
7,793  
Epinion  
158,91  
3869,7  
171,73  
4030,5  
165,398  
4431,387  
BookCrossing  
LastFM  
Ghi chú: giá trị tốt nhất của các tiêu chí trên mỗi tập dữ liệu được tô đậm.  
Thông tin  
về Users  
Recommender System  
Thông tin về sản phẩm  
Tương tác của User-item  
(User product interactions)  
(products cataluge)  
(products cataluge)  
Danh sách các sản phẩm  
gợi ý cho khách  
Hình 5. Tổng quan về cách tiếp cận  
sân phèm mĆi, sân phèm bán chäy, sân phèm  
đþợc nhiều ngþąi đánh giá.  
6.3. Tiến trình gợi ý trong hệ thống website  
thương mäi  
- Nhóm 2: Sā dýng nhóm thuêt toán cá  
nhån hòa đã trình bày ć mýc 2.2 để gợi ý cho  
khách hàng: thuêt toán nhân khèu học, thuêt  
toán gợi ý dăa trên nội dung (content - based),  
thuêt toán lọc cộng tác (Collaborative filtering)  
để đoán các sân phèm phù hợp vĆi khách hàng.  
Tiến trình gợi ý sân phèm trong hệ thống  
thþĄng mäi điện tā đþợc thể hiện trong hình 7.  
Tiến trình này bao gồm 3 giai đoän:  
Giai đoän 1: Thu thêp thông tin ngþąi dùng  
Để có thể dă đoán đþợc sć thích cûa ngþąi  
dùng, hệ thống phâi học một mô hình ngþąi  
dùng (User model). Mô hình ngþąi dùng mà  
chúng tôi thu thêp là các dĂ liệu cûa ngþąi dùng  
nhþ: thông tin cá nhån, thông tin lðch sā tþĄng  
tác cûa ngþąi dùng trên sân phèm.  
Giai đoän 3: Gợi ý: Giai đoän này, cën cĀ  
vào tÿng đặc điểm cûa khách hàng, hệ thống sẽ  
dă đoán và gợi ý nhĂng sân phèm mà khách  
hàng có thể thích.  
Giai đoän 2: Sā dýng các thuêt toán gợi ý:  
Giai đoän này, chúng tôi sā dýng dĂ liệu thu  
thêp đþợc ć giai đoän 1 và dĂ liệu sân phèm để  
chäy 2 nhóm thuêt toán:  
6.4. Một số giao diện kết quâ chính ứng với  
3 giai đoän gợi ý của hệ thống  
6.4.1. Trang đánh giá sản phẩm  
Giao diện đánh giá sân phèm đþợc thể hiện  
trong hình 8.  
- Nhóm 1: Sā dýng thuêt toán gợi ý không  
cá nhân hóa (Non - personalized) để gợi ý các  
528  
Hoàng Thị Hà, Ngô Nguyễn Thức  
Hình 6. Luồng xử lý chính trong hệ thống  
Thu thập thông tin  
(Information collection)  
Phản hồi  
(Feedback)  
Học  
(Learning)  
Dự đoán/Gợi ý  
(Recommender System)  
Hình 7. Tiến trình gợi ý trong hệ thống  
kiếm một sân phèm, hệ thống sẽ hiển thð danh  
6.4.2. Một số trang huấn luyện mô hình  
- Trang thống kê đánh giá sân phèm cûa  
ngþąi dùng đþợc thể hiện trong hình hình 9.  
- Trang đo lþąng độ tþĄng tă giĂa các ngþąi  
dùng đþợc thể hiện trong hình 10.  
sách nhĂng sân phèm mĆi và nhĂng sân phèm  
tþĄng tă mà nhiều ngþąi quan tåm để gợi ý cho  
khách hàng.  
b. Đối với khách hàng thành viên  
Nếu khách hàng là thành viên cûa hệ  
thống, tÿng cò đánh giá sân phèm, website sẽ  
gợi ý nhĂng sân phèm mĆi, sân phèm nhiều  
ngþąi quan tâm, sân phèm tþĄng tă. Ngoài ra,  
hệ thống còn dăa vào độ tþĄng tă giĂa các ngþąi  
6.4.3. Các kết quả gợi ý sản phẩm  
a. Đối với khách hàng mới  
Nếu là khách hàng mĆi (khách hàng chþa  
đánh giá bçt kỳ sân phèm nào), khi họ tìm  
529  
Một số phương pháp gợi ý và ứng dụng trong thương mại điện tử  
dùng để hiển thð nhĂng sân phèm mà khách  
Nhþ vêy, bìng việc xây dăng một Āng dýng  
thþĄng mäi điện tā có tích hợp đa däng các  
phþĄng pháp hệ gợi ý, website đã tă động đþa ra  
cho khách hàng các gợi ý khá thông minh, đa  
däng, trăc quan, phù hợp vĆi tÿng cá nhân khách  
hàng và đã khíc phýc đþợc vçn đề ngþąi dùng  
mĆi, sân phèm mĆi. VĆi nhĂng khâ nëng trên cho  
thçy, hệ gợi ý mang läi trâi nghiệm tốt chokhách  
hàng, giúp khách hàng giâm thąi gian tìm kiếm  
sân phèm, tëng độ hài lñng, tëng cĄ hội mua  
hàng và nâng cao tỷ lệ chuyển đổi mua hàng.  
hàng chþa đþợc trâi nghiệm nhþng đã đþợc các  
khách hàng tþĄng tă khác đánh giá cao.  
- Trang gợi ý nhĂng sân phèm ngþąi dùng  
có thể thích đþợc thể hiện trong hình 12.  
- Trang hiển thð nhĂng sân phèm khách  
hàng đã xem hoặc đã mua đþợc thể hiện trong  
hình 13.  
- Trang gợi ý sân phèm có thể đþợc mua  
cùng nhau đþợc thể hiện trong hình 14.  
Hình 8. Giao diện đánh giá sân phẩm của người dùng  
Hình 9. Giao diện kết quâ đánh giá sân phẩm của người dùng  
530  
Hoàng Thị Hà, Ngô Nguyễn Thức  
Hình 10. Giao diện đo lường độ tương tự giữa các người dùng  
Hình 11. Giao diện gợi ý cho người dùng mới  
531  
Một số phương pháp gợi ý và ứng dụng trong thương mại điện tử  
Hình 12. Giao diện gợi ý các sân phẩm người dùng có thể thích  
Hình 13. Giao diện hiển thị những sân phẩm người dùng đã xem/mua  
Hình 14. Giao diện gợi ý các sân phẩm hay mua cùng nhau  
532  
Hoàng Thị Hà, Ngô Nguyễn Thức  
TÀI LIỆU THAM KHẢO  
7. KẾT LUẬN  
Hệ gợi ý có vai trò rçt quan trọng trong  
Adomavicius G., Sankaranarayanan R., Sen S. &  
Tuzhilin A. (2005). Incorporating contextual  
information in recommender systems using a  
multidimensional approach.. ACM Transactions on  
Information Systems (TOIS). pp. 103-145.  
thþĄng mäi điện tā. Nó là một trong nhĂng vü  
khí mänh mẽ giúp nhiều doanh nghiệp tëng  
doanh số bán hàng, là một trong nhĂng nhân tố  
täo nên să thành công cûa các trang thþĄng mäi  
điện tā và sẽ đþợc Āng dýng rộng rãi trong  
tþĄng lai.  
Dias M.B., Locher D., Li M., El-Deredy W. & Lisboa  
P.J. (2008). The value of personalised  
recommender systems to e-business: a case study.  
Proceedings of the 2008 ACM conference on  
Recommender systems. pp. 291-294.  
Trong nghiên cĀu này, chúng tôi đã trình  
bày tổng quan về hệ gợi ý, khám phá nhĂng tác  
động cûa hệ gợi ý đối vĆi thþĄng mäi điện tā.  
Bìng thăc nghiệm, chúng tôi đã so sánh đþợc  
hiệu quâ thăc hiện cûa các phþĄng pháp gợi ý  
Content-based, User-based và Item-based,  
đánh giá đþợc nhĂng điểm mänh, điểm yếu cûa  
mỗi phþĄng pháp gợi ý. Ngoài ra, chúng tôi báo  
cáo thách thĀc cûa các phþĄng pháp gợi ý khi áp  
dýng trong thþĄng mäi điện tā và chî ra giâi  
pháp khíc phýc. Cuối cùng, chúng tôi đã xåy  
dăng thành công hệ thống bán hàng trăc tuyến  
có tích hợp các phþĄng pháp gợi ý khác nhau,  
bao gồm kỹ thuêt gợi ý không cá nhân hóa  
(Non-personalized) và các kỹ thuêt gợi ý cá  
nhân hóa hiệu quâ nhþ: gợi ý dăa trên nội dung  
(Content-based filtering), lọc cộng tác (User-  
based, Item-based). Qua đò, ngþąi đọc hiểu đþợc  
nền tâng lý thuyết hệ gợi ý, điểm mänh, điểm  
yếu cûa các hệ gợi ý cüng nhþ quy trình xåy  
dăng một Āng dýng thþĄng mäi điện tā có tích  
hợp các phþĄng pháp gợi ý trong thăc tế.  
GroupLens (1998). MovieLens 100K Dataset,  
movielens/ on October 03, 2020.  
Grouplens (2011). Last.FM. Retrieved from  
October 03, 2020.  
on  
Google & Temasek (2018). Báo cáoReport e-Conomy  
SEA 2018, Retrieved from  
.
Temasek_v.pdf on March 20, 2020.  
Ionos (2017). Recommendation systems in e-  
commerce. US: IONOS Inc. Retrieved from  
eting/online-sales/how-to-use-recommendation-  
systems-in-e-commerce on May 15, 2020.  
Jordan T. (2016). New insight from Experian  
Marketing Services helps brands prepare for the  
Khusro S., Ali Z. & Ullah I. (2016). Recommender  
systems: issues, challenges, and research  
opportunities. In Information Science and  
Applications (ICISA) 2016. Springer. In  
Information Science and Applications (ICISA).  
Lei Tang, Zongtao Duan, Yishui Zhu, Junchi Ma &  
Zihang Liu (2019). Recommendation for  
HþĆng nghiên cĀu trong tþĄng lai cûa lïnh  
văc này còn khá rộng mć, đặc biệt là các kỹ  
thuêt gợi ý cá nhân hóa. Chúng tôi sẽ tiếp týc  
nghiên cĀu, câi tiến Āng dýng các thuêt toán gợi  
Ridesharing  
Groups  
Through  
Destination  
Prediction on Trajectory Data. IEEE Transactions  
on Intelligent Transportation Systems. 99: 14.  
Mohamed M.H., Khafagy M.H. & Ibrahim M.H. (2019).  
Recommender Systems Challenges and Solutions  
survey. International Conference on Innovative  
Trends in Computer Engineering (ITCE)  
ý
trong lïnh văc e-commerce, lïnh văc  
e-learning để trợ giúp ngþąi dùng trong quá  
trình mua hàng, tìm kiếm tài liệu cüng nhþ hỗ  
trợ quá trình học têp trăc tuyến.  
Nguyễn Hùng Dũng & Nguyễn Thái Nghe (2013). Hệ  
thống gợi ý sản phẩm trong bán hàng trực tuyến sử  
dụng kỹ thuật lọc cộng tác Tạp chí Khoa học,  
Trường Đại học Cần Thơ. 31: 15.  
LỜI CẢM ƠN  
Nguyễn Thanh Hưng (2019). Báo cáo chỉ số thương  
mại điện tử 2019. Hiệp hội thương mại điện tử  
Việt Nam.  
Chúng tôi câm Ąn Khoa Công nghệ thông  
tin, Học viện Nông nghiệp Việt Nam đã täo  
điều kiện tốt nhçt để chúng tôi thăc hiện  
nghiên cĀu này.  
Reichheld & F.F. (1993). Loyalty-based management.  
Harvard business review. 71(2): 64-73.  
533  
Một số phương pháp gợi ý và ứng dụng trong thương mại điện tử  
International Conference Proceeding Series. ACM  
press. New York, USA. 8.  
Schafer Ben J., Joseph Konstan & John Riedl (2001).  
E-commence Recommendation Applications.  
Data Mining and Knowledge Discovery.  
5(1-2): 115-153.  
Trademark Notice (2003). Epinions dataset. Retrieved  
October 03, 2020.  
Sharma L.  
& Gera A. (2013). A survey of  
recommendation system: Research challenges.  
International Journal of Engineering Trends and  
Technology (IJETT). 4(5): 1989-1992.  
University of Freiburg (2004). BookCrossing,  
Retrieved  
from  
freiburg.de/~cziegler/BX/ on October 03, 2020  
Singh P. (2019). A Survey of Recommendation  
Systems in Electronic Commerce. Apress,  
Berkeley, CA. pp. 123-157.  
Viễn Thông (2020). Thương mại điện tử Việt Nam  
2020  
sẽ  
ra  
sao?  
Truy  
cập  
từ  
tu-viet-nam-2020-se-ra-sao-4045309.html, ngày10  
tháng 3 năm 2020.  
Stephan  
S.  
(2019).  
Personalized  
Product  
Recommendation Tips and Stats. Retrieved  
product-recommendations-stats/ on Feb 25, 2020.  
Xue A.Y., Qi J., Xie X., Zhang R., Huang J. & Li Y.  
(2015). Solving the data sparsity problem in  
destination prediction. The VLDB Journal.  
24(2): 219-243.  
Thomas T. (2006). Designing recommender systems  
for e-commerce: an integration approach. ACM  
534  
pdf 15 trang yennguyen 16100 Free
Bạn đang xem tài liệu "Một số phương pháp gợi ý và ứng dụng trong thương mại điện tử", để tải tài liệu gốc về máy hãy click vào nút Download ở trên

File đính kèm:

  • pdfmot_so_phuong_phap_goi_y_va_ung_dung_trong_thuong_mai_dien_t.pdf