Machine Translated by Google

B5894
Ngày: 1 tháng 7 năm 2017

ZSO LT K AT ONA
B RI AN CHUÔNG

Nhiên liệu tên lửa: Đo lường hiệu quả của trực tuyến
Quảng cáo1

“Thử nghiệm và học hỏi — bí quyết quảng cáo thành công cho con

người và máy tính như nhau”.

—CLARA DEMIDENKO, NHIÊN LIỆU ROCKET

Đó là một buổi sáng có sương mù điển hình ở Khu vực Vịnh San Francisco vào tháng 2 năm 2016 khi những đám
mây thấp bị gió biển đẩy vào vào đêm hôm trước đang từ từ bắt đầu bốc cháy.
Căng thẳng đang tăng cao tại trụ sở thành phố Redwood của Rocket Fuel khi Clara Demidenko, một giám đốc
tài khoản kỹ thuật và nhóm của cô ấy đang hoàn thiện những bước cuối cùng cho một bài thuyết trình cho một
cuộc họp khách hàng quan trọng. Các đại diện của khách hàng từ TaskaBella Inc., một nhà sản xuất phụ kiện
sang trọng cho phụ nữ, đã đến muộn khi chuyến bay buổi sáng của họ đến SFO gần đó là
bị trì hoãn do tầm nhìn thấp tại sân bay. Hai giờ thêm có ích cho Demidenko
để xem lại bài thuyết trình với nhóm của cô ấy lần cuối. Mục tiêu của họ là thuyết phục
TaskaBella rằng chiến dịch quảng cáo thử nghiệm mà Rocket Fuel đã hoàn thành gần đây đã có hiệu quả
và đưa ra bằng chứng mạnh mẽ rằng lợi tức đầu tư (ROI) là tích cực. Cổ phần rất cao do TaskaBella đang
trong quá trình phân bổ lại một phần đáng kể ngân sách quảng cáo dành cho túi xách và các phụ kiện
liên quan và đang kết thúc một loạt nghiên cứu thử nghiệm để quyết định cách tiếp tục.

Rocket Fuel Inc. (NASDAQ: FUEL) được thành lập vào tháng 3 năm 2008 với tầm nhìn chuyển đổi ngành quảng
cáo kỹ thuật số thông qua dữ liệu lớn và trí tuệ nhân tạo. Vào thời điểm khi đặt giá thầu theo thời gian
thực (RTB) và trao đổi quảng cáo vẫn còn sơ khai, Rocket Fuel đã nhanh chóng trở thành công ty dẫn đầu
trong ngành bằng cách đưa tính chính xác và kết luận của khoa học vào thế giới tiếp thị để thúc đẩy ROI
cao hơn. Đến năm 2016, Rocket Fuel đã phát triển thành một doanh nghiệp với gần nửa tỷ

1
Một số tên và số liệu nhất định đã được thay đổi trong nghiên cứu điển hình để bảo vệ danh tính của các thực thể liên quan.

Phó giáo sư Zsolt Katona và Brian Bell (MBA'18) đã chuẩn bị trường hợp này làm cơ sở cho thảo luận trong lớp hơn là để minh họa cho

việc xử lý một tình huống hành chính hiệu quả hay không hiệu quả.

Bản quyền © 2017 của Đại học California tại Trường Kinh doanh Berkeley Haas. Đã đăng ký Bản quyền. Không một phần nào của ấn phẩm này có
thể được sao chép, lưu trữ trong hệ thống truy xuất, sử dụng trong bảng tính, hoặc truyền tải dưới bất kỳ hình thức nào hoặc bằng bất kỳ
phương tiện nào mà không có sự cho phép rõ ràng bằng văn bản của Berkeley-Haas Case Series.
Machine Translated by Google

NHIÊN LIỆU ROCKET 2

đô la trong doanh thu hàng năm. Nền tảng tiếp thị có lập trình đầy đủ của Rocket Fuel được thiết kế để tận

dụng trí tuệ nhân tạo (AI) để xác định những hành động tiếp thị cần thực hiện với một người cụ thể trong một

thời điểm cụ thể. Sử dụng các kỹ thuật Máy học (ML), nền tảng này liên tục cập nhật các tính năng của mô hình

cơ bản để cải thiện hiệu quả chiến dịch trong thời gian thực.

Chỉ sáu tháng trước cuộc họp tháng 2 năm 2016, TaskaBella đã tiếp cận Rocket Fuel để thực hiện một chiến dịch

thử nghiệm cho một mẫu túi xách mới ra mắt. Hai nhóm đã thảo luận về phạm vi tổng thể của chiến dịch với mục tiêu

nhắm mục tiêu khoảng nửa triệu người tiêu dùng trực tuyến bằng quảng cáo túi xách của TaskaBella. Hơn một nửa

cuộc thảo luận tập trung vào việc đo lường sự thành công của chiến dịch. TaskaBella chủ yếu lo lắng về việc đạt

được mức tỷ lệ chuyển đổi đủ cao để số tiền quảng cáo dẫn đến đủ số lượng mua hàng để biện minh cho việc chi tiêu.

Demidenko giải thích rằng CPM (giá mỗi nghìn) thay đổi và bị ảnh hưởng bởi nhiều yếu tố, nhưng với các trang web

mục tiêu và dân số mà TaskaBella lưu ý, họ có thể trả trung bình khoảng 9 đô la cho một nghìn lần hiển thị.

TaskaBella ước tính rằng với thẻ giá trên

100 đô la trên túi xách và với chi phí biến đổi liên quan đến một đơn vị, một người dùng chuyển đổi có giá
trị khoảng 40,2 đô la

Lúc đầu, các con số phối cảnh trông rất hứa hẹn với TaskaBella; dựa trên dữ liệu từ các chiến dịch trước

đó chạy với các nhà cung cấp khác, họ ước tính rằng CPM khoảng 10 đô la sẽ chuyển thành chi phí khoảng 10 đến

15 đô la cho mỗi chuyển đổi. Tuy nhiên, Adam Burrup, giám đốc tiếp thị kỹ thuật số của TaskaBella, chỉ ra rằng

vì nhà sản xuất đã có sự hiện diện mạnh mẽ trên mạng xã hội, nên nhiều người tiêu dùng có thể mua chiếc túi

xách mới do được truyền miệng, sau khi nghe bạn bè về nó. Do đó, điều quan trọng là phải biết mức độ chuyển

đổi có thể được phân bổ cho chiến dịch quảng cáo. Demidenko đồng ý và chỉ ra rằng một trong những mục tiêu

chính của Rocket Fuel trong mọi chiến dịch là cung cấp bằng chứng rằng các quảng cáo tạo ra sự khác biệt. Họ

làm như vậy bằng cách chọn ra một phần nhỏ người dùng đã tiếp cận trong chiến dịch để tạo thành một nhóm kiểm

soát. Người dùng trong nhóm kiểm soát sẽ được hiển thị thông báo dịch vụ công cộng (PSA), chẳng hạn như phòng

chống cháy rừng hoặc Các bà mẹ chống lại việc lái xe say rượu (MADD), thay vì quảng cáo có cùng kích thước và vị

trí trên trang (Xem ví dụ về PSA trong Phần trình bày 1). Bằng cách chọn ngẫu nhiên người dùng nào trong nhóm

kiểm soát và người dùng nào được tiếp xúc, sau đó họ có thể đo lường mức độ khác biệt của quảng cáo.

Sau một số tính toán ngắn gọn, TaskaBella và Rocket Fuel đã quyết định quy mô nhóm kiểm soát là bốn phần trăm.

Trong khi nền tảng của Rocket Fuel tự động tính toán kích thước của nhóm điều khiển dựa trên các thông số của chiến

dịch, đại diện của TaskaBella muốn hiểu các yếu tố quyết định kích thước kết quả. Lưu ý rằng việc phục vụ PSA cho

nhóm kiểm soát sẽ tốn kém tiền bạc và gây mất cơ hội chuyển đổi khách hàng tiềm năng, TaskaBella muốn tránh có quá

lớn nhóm kiểm soát. Demidenko thường gặp những khách hàng muốn giảm quy mô nhóm kiểm soát — đôi khi ngay cả khi

đang ở giữa chiến dịch — và cô ấy đã sẵn sàng giải thích lý do để tránh một nhóm kiểm soát quá nhỏ. Đầu tiên, tỷ

lệ chuyển đổi trong quảng cáo hiển thị hình ảnh thường thấp so với các cài đặt thử nghiệm khác yêu cầu một nhóm

kiểm soát khá lớn để phát hiện mức tăng. Thứ hai, ngay cả khi quảng cáo có hiệu quả, mức tăng có thể nhỏ. Nếu nhóm

đối chứng quá nhỏ và lực nâng không quá cao, thí nghiệm sẽ không thể phát hiện ra lực nâng đáng kể. Cuối cùng, một

nhóm đối chứng lớn hơn cho phép phân tích sâu hơn với những khác biệt đáng kể tiềm tàng trong các phân đoạn dân số

khác nhau. Ví dụ: các thuật toán nội bộ của Rocket Fuel quyết định về vị trí đặt quảng cáo và giá thầu tận dụng

nhóm kiểm soát tại

2
Giá trị $ 40 cho mỗi người dùng được chuyển đổi được tính bằng cách lấy doanh thu gia tăng hoặc cận biên ($ 100 +) của mỗi túi xách
bán bớt chi phí gia tăng hoặc chi phí biên liên quan đến mỗi chiếc túi xách được bán (nguyên liệu, nhân công, hoa hồng bán hàng, v.v.).
Chi phí gia tăng hoặc chi phí biến đổi không bao gồm chi phí cố định như chi phí quảng cáo.
Machine Translated by Google

NHIÊN LIỆU ROCKET 3

cấp độ cá nhân để xác định các yếu tố tạo ấn tượng ít nhiều có khả năng dẫn đến chuyển đổi.

Chiến dịch thử nghiệm diễn ra từ tháng 11 năm 2015 đến tháng 2 năm 2016. Quảng cáo lần đầu tiên được
tải vào mạng phân phối nội dung của Rocket Fuel bởi một liên kết hoạt động, cho phép hiển thị nhanh
quảng cáo ở mọi nơi trên thế giới trong vòng mili giây. Khi người dùng truy cập trang của nhà xuất bản
(như CNN.com hoặc NYtimes.com), nhà xuất bản sẽ hợp tác với nhà cung cấp bên cung để đưa cơ hội hiển
thị ra đấu giá. Tất cả điều này xảy ra hàng triệu lần mỗi giây trên hàng chục trao đổi như vậy mà Rocket
Fuel được tích hợp. Rocket Fuel nhận được yêu cầu giá thầu và cần phản hồi trong vòng 100 mili giây để
giá thầu của nó đủ điều kiện. Rocket Fuel nhận được một ID cookie được băm trong yêu cầu giá thầu, cho
phép nó nhận dạng ẩn danh người dùng trong hệ thống của mình, cùng với nhiều thông số khác về kích thước
và nội dung quảng cáo. Sau đó, nó áp dụng các mô hình ML để dự đoán xác suất mà người dùng này sẽ thực
hiện hành động hoặc các hành động bắt buộc cho mỗi chiến dịch của họ đang chạy tại thời điểm giá thầu.
Đối với mỗi chiến dịch, người dùng đã được chỉ định vào nhóm kiểm soát không thực sự được phân phát quảng
cáo chiến dịch, mà là PSA.

Vào cuối chiến dịch, khoảng 14,5 triệu lần hiển thị đã được phân phát ở mức CPM trung bình là
$ 9. Trong số khoảng 590.000 người dùng được xác định, có khoảng 15.000 người đã mua chiếc túi xách mới.
Rocket Fuel đã tập hợp một bản tóm tắt của từng người dùng về kết quả chiến dịch bằng cách xuất
các trường thích hợp từ cơ sở dữ liệu của họ. Mô tả chi tiết về tệp CSV chứa dữ liệu được đưa ra trong
Hình 2. Khi kết thúc chiến dịch, nhóm Rocket Fuel nhanh chóng bắt tay vào việc phân tích kết quả một cách
chi tiết. Để chuẩn bị cho cuộc họp, nhóm đã lên kế hoạch sử dụng các biểu đồ đơn giản và phân tích thống
kê cơ bản để chứng minh hiệu quả của chiến dịch. Demidenko nhấn mạnh rằng nhóm Rocket Fuel nên trình bày
kết quả theo một định dạng dễ hiểu đối với không chỉ các kỹ sư mà còn đối với tất cả các nhà quản lý của
TaskaBella.

Trong khi chờ đại diện của TaskaBella đến sau khi hạ cánh muộn tại SFO, Demidenko đã thảo luận về những
điểm chính của bài thuyết trình. Phần đầu tiên của bài thuyết trình bao gồm các số liệu thống kê cơ bản về
chiến dịch. Quan trọng nhất, tổng chi phí quảng cáo được so sánh với giá trị chuyển đổi để có được ý tưởng
về lợi nhuận và ROI. Phần tiếp theo của bài thuyết trình bao gồm phân tích về số lần hiển thị mà người dùng
đã tiếp xúc và những số liệu này tác động như thế nào đến hiệu quả của quảng cáo. Cuối cùng, phần cuối của
bài thuyết trình khám phá các vấn đề về thời gian bằng cách phân tích các ngày và giờ trong một tuần và
những thay đổi trong phản ứng với quảng cáo.
Machine Translated by Google

NHIÊN LIỆU ROCKET 4

Câu hỏi thảo luận tình huống

1. Chiến dịch quảng cáo có hiệu quả không? Người tiêu dùng bổ sung có chuyển đổi do

chiến dịch quảng cáo?

2. Chiến dịch có sinh lời không?

một. TaskaBella đã kiếm thêm được bao nhiêu tiền bằng cách chạy chiến dịch (không bao gồm chi

phí quảng cáo)?

b. Chi phí của chiến dịch là bao nhiêu?

c. Tính ROI của chiến dịch. Chiến dịch có sinh lời không?

d. Chi phí cơ hội của việc bao gồm một nhóm kiểm soát là bao nhiêu; còn bao nhiêu nữa

TaskaBella có thể được thực hiện với một nhóm kiểm soát nhỏ hơn hoặc không có một nhóm kiểm soát nào

cả?

3. Số lần hiển thị mà mỗi người dùng nhìn thấy đã ảnh hưởng như thế nào đến hiệu quả của

quảng cáo?

một. Tạo biểu đồ về tỷ lệ chuyển đổi dưới dạng một hàm của số lượng quảng cáo được hiển thị cho người dùng.

Lập biểu đồ tỷ lệ chuyển đổi cho những người ở trong nhóm kiểm soát và cho những người đã xem quảng

cáo. Nhóm số lần hiển thị lại với nhau nếu cần để có được một cốt truyện có ý nghĩa. (Tỷ lệ chuyển

đổi có nghĩa là tỷ lệ phần trăm người dùng duy nhất đã mua hàng.)

b. Bạn có thể suy ra điều gì từ các biểu đồ? Quảng cáo ở khu vực nào là hiệu quả nhất?

c. Các số liệu trên ngụ ý gì cho việc thiết kế chiến dịch tiếp theo, giả sử
rằng phản ứng của người tiêu dùng sẽ tương tự?

4. Phản ứng của người tiêu dùng đối với quảng cáo thay đổi như thế nào vào các ngày khác nhau trong tuần và vào

các thời điểm khác nhau trong ngày?

một. Tạo biểu đồ với tỷ lệ chuyển đổi cho nhóm kiểm soát và nhóm tiếp xúc dưới dạng một hàm của ngày

trong tuần khi chúng được hiển thị nhiều lần hiển thị nhất.

b. Tạo cùng một biểu đồ cho nhiều giờ trong ngày (không bao gồm khoảng thời gian từ nửa đêm đến 8

giờ sáng).

c. Những ngày / giờ nào là quảng cáo hiệu quả nhất / kém hiệu quả nhất?
Machine Translated by Google

NHIÊN LIỆU ROCKET 5

Trình bày 1 Ví dụ về Thông báo Dịch vụ Công từ Hội đồng Quảng cáo

Ad Council là một tổ chức phi lợi nhuận sản xuất, phân phối và quảng bá các chiến dịch về các vấn đề mà công chúng

quan tâm, tập trung vào khoảng 50 chiến dịch quốc gia cùng một lúc.

Các chiến dịch được khởi xướng bởi các cơ quan chính phủ, tổ chức phi chính phủ (NGO) hoặc các tổ chức phi lợi

nhuận khác. Các bản sao quảng cáo được tạo ra bởi các tài năng tình nguyện từ các cơ quan hàng đầu và được phổ biến

thông qua không gian quảng cáo quyên góp và thời gian phát sóng. Dưới đây là hai ví dụ về các chiến dịch quốc gia

của Hội đồng Quảng cáo.

Phòng chống cháy rừng

Nhắn tin và Lái xe

Nguồn: Ad Council (sử dụng miền công cộng)

Machine Translated by Google

NHIÊN LIỆU ROCKET 6

Phụ lục 2 Mô tả tập dữ liệu tệp CSV

Mỗi hàng trong tập dữ liệu tệp CSV (rocketfuel_data.csv) đại diện cho một người dùng được xác định duy
nhất trong chiến dịch quảng cáo. Đối với mỗi người dùng, sáu cột sau được cung cấp.

id người dùng: Định danh duy nhất của người dùng

kiểm tra: Liệu người dùng đã tiếp xúc với quảng cáo hay đang ở trong nhóm kiểm soát. 1 nếu người dùng đã
xem quảng cáo thực, 0 nếu người dùng ở trong nhóm kiểm soát và được hiển thị PSA.

đã chuyển đổi: Người dùng có chuyển đổi hay không. 1 nếu người dùng mua túi xách trong chiến dịch, 0 nếu
không phải.

tot_impr: Tổng số lần hiển thị quảng cáo mà người dùng gặp phải. Đối với người dùng trong nhóm kiểm soát
điều này tính số lần họ gặp PSA. Đối với người dùng tiếp xúc, nó tính số
số lần họ được hiển thị quảng cáo.

mode_impr_day: Hiển thị ngày trong tuần mà người dùng nhận được nhiều lần hiển thị nhất. 1 có nghĩa là thứ
2, 7 có nghĩa là chủ nhật. Ví dụ: nếu một người dùng nhất định gặp phải 2 lần hiển thị vào Thứ Hai, 3 vào
Thứ Ba, 7 vào Thứ Tư, 0 vào Thứ Năm và Thứ Sáu, 9 vào Thứ Bảy và 2 vào Chủ Nhật, thì cột này có giá trị là
6 (Thứ Bảy).

mode_impr_hour: Hiển thị giờ trong ngày (0-23) mà người dùng nhận được nhiều lần hiển thị nhất.

Nguồn: Bộ dữ liệu của tác giả.