Làm thế nào để đánh giá giá trị của chương trình thành viên trả phí? Phương pháp này miễn phí cho bạn

Lưu ý của biên tập viên: Trong các dự án thâm nhập, các biện pháp kiểm tra thường cần thiết để hỗ trợ việc ra quyết định vận hành nhanh chóng. Vậy loại kiểm soát thử nghiệm nào là khoa học và hiệu quả? Dựa trên những hạn chế của thử nghiệm AB quy mô đầy đủ, bài viết này đề xuất một phương pháp đánh giá so sánh thành viên trả phí mới. Chúng ta hãy cùng xem nhé.

1. Các vấn đề hiện tại

Khi doanh nghiệp phát triển, chúng tôi thấy rằng việc so sánh toàn diện thử nghiệm AB có nhiều hạn chế lớn. Ví dụ, trong trường hợp các dự án thâm nhập, do tỷ lệ thâm nhập thấp trong giai đoạn đầu của dự án nên việc so sánh thử nghiệm AB toàn diện thường dẫn đến giá trị gia tăng tổng thể thấp và không thể hỗ trợ hoạt động đưa ra quyết định nhanh chóng về việc có tiếp tục đầu tư vào dự án hay không.

Dự án thâm nhập là gì?

Các dự án thâm nhập cụ thể đề cập đến các sản phẩm mà theo dự đoán là không thể nhanh chóng đạt được tỷ lệ thâm nhập người dùng cao trong chu kỳ hoạt động của chúng, chẳng hạn như tư cách thành viên trả phí và điểm thưởng. Điều này thường trái ngược với các dự án thử nghiệm AB thông thường, trong đó các yếu tố như điều chỉnh bản sao và tối ưu hóa UI có thể tác động 100% đến nhóm người dùng thử nghiệm.

2. Giải pháp

Sau khi đọc thông tin liên quan trong ngành, tác giả không tìm được giải pháp khả thi nào đã được triển khai trong ngành nên bắt đầu suy nghĩ về vấn đề này.

Những điểm chính để giải quyết vấn đề này là:

Tìm nhóm kiểm soát người dùng đã xâm nhập vào nút và so sánh dữ liệu giá trị người dùng của hai loại người dùng.

Nút thâm nhập là gì?

Có thể hiểu rằng nút hành vi cốt lõi của người dùng dự án thâm nhập chính là nút thâm nhập. Ví dụ: nút hành vi "Mua tư cách thành viên trả phí" tương ứng với dự án tư cách thành viên trả phí và nút hành vi "Nhận điểm" tương ứng với dự án điểm.

Các bước đánh giá:

Sau khi suy nghĩ, tôi đã tìm ra một phương pháp. Vì chưa có ai trong ngành công bố phương pháp này nên tôi sẽ tạm đặt tên cho phương pháp so sánh này là "Phương pháp so sánh Biluo". Các bước cụ thể như sau:

1. Kiểm tra dữ liệu

Kiểm thử dự án thâm nhập theo phương pháp kiểm thử AB thông thường (kiến thức về kiểm thử AB không được giới thiệu chi tiết ở đây, sinh viên nào chưa hiểu có thể tự tìm hiểu).

Giả sử dự án được chia thành hai nhóm, nhóm thử nghiệm A và nhóm đối chứng B.

2. Phục hồi dữ liệu

1) Thu thập dữ liệu về số lượng người dùng tham gia thử nghiệm và giá trị người dùng của Nhóm A và Nhóm B.

2) Thu thập số lượng người dùng và dữ liệu giá trị người dùng của các nút xâm nhập trong nhóm thử nghiệm.

3. Phân tích dữ liệu

1) Đánh giá giá trị gia tăng của người dùng đối với các nút thâm nhập nhóm AB

Tính toán số lượng và giá trị người dùng chưa thâm nhập trong nhóm thử nghiệm A: Giả sử số lượng người dùng chưa thâm nhập trong nhóm thử nghiệm A và giá trị người dùng tương ứng là a3 và A3, thì: a3=a1-a2, A3=A1-A2.

Tính toán số lượng lý thuyết người dùng đã thâm nhập/chưa thâm nhập trong nhóm đối chứng B: Giả sử a2 và a3 tương ứng với hai nhóm người dùng trong nhóm đối chứng B, về mặt lý thuyết, tỷ lệ số lượng người dùng phải giống nhau. Chúng ta giả sử chúng tương ứng với b2 và b3, khi đó: b2=a2*(a1/b1), b3=a3*(a1/b1)=b1-b2.

• Tính toán giá trị của quần thể chưa thâm nhập về mặt lý thuyết trong nhóm đối chứng B: Về mặt lý thuyết, giá trị bình quân đầu người của quần thể b3 phù hợp với giá trị của quần thể a3. Chúng tôi xác định tổng giá trị người dùng của dân số b3 là B3, sau đó: B3=b3*(A3/a3) .
• Tính toán giá trị thâm nhập lý thuyết của quần thể đối chứng B: Dựa trên dữ liệu trên, ta dễ dàng suy ra giá trị thâm nhập lý thuyết của quần thể đối chứng B, được xác định là B2, tức là B2=B1-B3 .

Tính toán giá trị gia tăng của người dùng tại các nút thâm nhập trong nhóm thử nghiệm A:

△ Tỷ lệ gia tăng giá trị gia tăng của người dùng trong nút thâm nhập của nhóm thử nghiệm A = (b2*A2/a2-B2)/B2

2) So sánh dữ liệu giá trị người dùng của nhóm A và nhóm B

Tính toán giá trị gia tăng của người dùng trong nhóm thử nghiệm A: △Tỷ lệ gia tăng giá trị gia tăng của người dùng trong nhóm thử nghiệm A = (b1*A1/a1-B1)/B1

3) Ước tính giới hạn trên của tỷ lệ thâm nhập của dự án thâm nhập và sử dụng điều này để ước tính giá trị gia tăng lý thuyết của dự án ở tỷ lệ thâm nhập cao

Giả sử giới hạn trên ước tính của tỷ lệ thâm nhập của dự án là X, rõ ràng là: 1≥X≥a2/a1. Giả sử rằng theo tỷ lệ thâm nhập này, giá trị bình quân đầu người của nhóm a2 và a3 không đổi (trên thực tế, khi tỷ lệ thâm nhập tăng dần, giá trị bình quân đầu người của cả hai loại người dùng đều có khả năng giảm), thì theo tỷ lệ thâm nhập của dự án này, giá trị người dùng gia tăng của thị trường rộng lớn hơn sẽ được cải thiện tổng thể theo trạng thái mới và logic tính toán phù hợp với trạng thái hiện tại.

4. Đưa ra một ví dụ

1) Kiểm tra dữ liệu

Lấy một dự án thành viên trả phí của APP làm ví dụ, chúng tôi đã tiến hành thử nghiệm AB trên dự án thành viên trả phí này với tỷ lệ 5:5.

2) Phục hồi dữ liệu

Một. Thu thập số lượng người dùng tham gia thử nghiệm quy mô lớn và dữ liệu người dùng chéo của các thành viên trả phí trong nhóm A và B.

Định nghĩa chéo: Người dùng hoàn tất hai hoặc nhiều giao dịch kinh doanh trên một nền tảng nhất định.

b. Thu thập số lượng người dùng đã mua tư cách thành viên trả phí trong nhóm thử nghiệm và dữ liệu liên người dùng tương ứng. "Tỷ lệ chéo khi mua tư cách thành viên trả phí là 24% = 240/1000"

3) Phân tích dữ liệu

Một. Đánh giá giá trị gia tăng của người dùng mua tư cách thành viên trả phí

Số lượng người dùng trong nhóm thử nghiệm A không mua tư cách thành viên trả phí và số lượng người dùng chéo tương ứng:

• Số lượng người dùng trong nhóm thử nghiệm A không mua tư cách thành viên trả phí = 10.000-1.000 = 9.000.
• Số lượng người dùng chéo trong nhóm thử nghiệm A không mua tư cách thành viên trả phí = 1050-240 = 810. "Tỷ lệ chéo của các thành viên không trả phí là 9% = 810/9000"

Số lượng lý thuyết người dùng đã mua/không mua tư cách thành viên trả phí trong nhóm kiểm soát B được tính như sau: Số lượng lý thuyết người dùng đã mua tư cách thành viên trả phí và người dùng không mua tư cách thành viên trả phí lần lượt là 1.000 và 9.000.

• Về mặt lý thuyết, hiệu quả chéo của người dùng trong nhóm kiểm soát B không mua tư cách thành viên trả phí phải phù hợp với hiệu quả của người dùng trong nhóm thử nghiệm A. Do đó, số lượng người dùng chéo trong nhóm kiểm soát B không mua tư cách thành viên trả phí = 9000* (810/9000) = 810.
• Về mặt lý thuyết, số lượng người dùng chéo mua tư cách thành viên trả phí trong nhóm đối chứng B được tính như sau: Dựa trên dữ liệu trên, có thể dễ dàng kết luận rằng số lượng người dùng chéo lý thuyết mua tư cách thành viên trả phí trong nhóm đối chứng B là 1000-810=190.

Tỷ lệ người dùng chéo gia tăng đã mua tư cách thành viên trả phí trong nhóm thử nghiệm A:

△Tỷ lệ gia tăng người dùng chéo của nhóm thử nghiệm A đã mua tư cách thành viên trả phí = (240-190)/240 = 20,83%.

b. So sánh dữ liệu giá trị người dùng của Nhóm A và Nhóm B

Tính toán mức tăng trưởng chéo người dùng gia tăng của nhóm thử nghiệm A: △Tỷ lệ tăng trưởng chéo người dùng gia tăng của nhóm thử nghiệm A mua tư cách thành viên trả phí = (1050-1000)/1000=5%.

c. Ước tính giới hạn trên của tỷ lệ thâm nhập của dự án thâm nhập và sử dụng điều này để ước tính giá trị gia tăng lý thuyết của dự án theo tỷ lệ thâm nhập cao. Giả sử rằng giới hạn trên ước tính của tỷ lệ thâm nhập của dự án là 50%.

Giả sử ở tỷ lệ thâm nhập này, hiệu quả chéo giữa người dùng mua tư cách thành viên trả phí và những người không mua tư cách thành viên trả phí vẫn không đổi (trên thực tế, khi tỷ lệ thâm nhập tăng dần, giá trị bình quân đầu người của cả hai loại người dùng đều có khả năng giảm), thì ở tỷ lệ thâm nhập là 50%, mức tăng tương ứng trong tỷ lệ người dùng chéo gia tăng của thị trường = (2600-1000)/1000 = 130%

Phần kết luận

Tóm lại:

Cốt lõi của giải pháp này là tìm dữ liệu giá trị của cùng một người dùng trong nhóm kiểm soát của người dùng nút thâm nhập thông qua tính toán mô phỏng, để có được sự so sánh tương đối hợp lý.

Phương pháp này có một số ưu điểm sau:

Khi tỷ lệ thâm nhập dự án thấp và việc so sánh giá trị gia tăng của thị trường không rõ ràng, giải pháp này có thể tìm ra nhóm kiểm soát gồm những người dùng nút thâm nhập lý thuyết, có thể áp dụng vào hoạt động để nhanh chóng quyết định xem dự án có thể được thúc đẩy thêm hay không.

Nhưng nó cũng có những hạn chế:

Giống như thử nghiệm AB, mọi dữ liệu gia tăng chỉ có thể phản ánh sự gia tăng dữ liệu hiện tại và không thể được coi trực tiếp là sự gia tăng dữ liệu dài hạn. Khi tỷ lệ thâm nhập tăng lên, giá trị gia tăng lý thuyết mà dự án ước tính ở mức tỷ lệ thâm nhập cao thực tế không chính xác và có thể bị ước tính quá cao một cách mù quáng.

Tác giả: Biluo, tài khoản công khai WeChat: Suy ngẫm hoạt động