Ngoài ABtest, còn có những phương pháp thử nghiệm tốt hơn!

Bạn có bao giờ cảm thấy choáng ngợp bởi yêu cầu của bộ phận kinh doanh về việc dự báo chính xác không? Không hoảng loạn! Hôm nay, tôi sẽ tiết lộ cho bạn cách bảo vệ sự tăng trưởng của doanh nghiệp thông qua các phương pháp thử nghiệm khoa học mà không cần bất kỳ cơ sở dữ liệu nào. Từ triển khai đến đánh giá, giải thích chi tiết bốn giai đoạn về toàn bộ quy trình thử nghiệm sẽ giúp bạn tránh được những dự đoán mù quáng, xử lý dữ liệu và phát triển doanh nghiệp dựa trên bằng chứng.

Phía doanh nghiệp muốn bạn đưa ra những dự đoán chính xác bằng trí tuệ nhân tạo và dữ liệu lớn. Nếu độ lệch dự đoán quá lớn, tiền lương của bạn sẽ bị khấu trừ. Bạn có sợ không? ! Có rất nhiều tình huống tương tự. Không cần phải nói thêm nữa, chúng ta hãy đi thẳng vào vấn đề:

Tình huống có vấn đề: Một công ty tài chính Internet đang chuẩn bị thu hút khách hàng đầu tư thông qua quảng cáo. Gần đây nghe nói traffic miền riêng rất phổ biến nhưng chưa thử nghiệm trên kênh tài khoản chính thức. Hiện tại, công ty đang có kế hoạch triển khai quảng cáo trên kênh tài khoản chính thức. Vui lòng yêu cầu bộ phận phân tích dữ liệu sử dụng dữ liệu lớn và trí tuệ nhân tạo để dự đoán chính xác hiệu quả của quảng cáo và số tiền có thể kiếm được từ một quảng cáo. Giả sử bạn là một nhà phân tích dữ liệu trong công ty này...

Hãy suy nghĩ một phút

1. Đừng quên bạn vẫn còn vũ khí này

Câu trả lời đúng: Dự đoán nhảm nhí! Bộ phận kinh doanh không hiểu các nguyên tắc về dữ liệu, vì vậy nếu họ có điều gì không thể hiểu được, họ chỉ có thể đưa ra “dữ liệu lớn và trí tuệ nhân tạo”. Nhưng những người làm việc với dữ liệu cần phải đặc biệt tỉnh táo. Theo kịch bản trong câu hỏi, điều này chưa bao giờ xảy ra trong kinh doanh và không có dữ liệu, vậy làm sao chúng ta có thể đưa ra dự đoán? Vào thời điểm này, trước tiên bạn nên tiến hành một số thử nghiệm và thu thập một số dữ liệu. Sau khi bạn đã tích lũy đủ dữ liệu, bạn có thể nói về dự đoán.

Kiểm thử luôn là phương tiện giải quyết vấn đề thông qua phân tích dữ liệu. Như câu tục ngữ đã nói: Dù là lừa hay ngựa, hãy dắt nó đi dạo. Kiểm tra là quá trình dắt ngựa đi dạo và kết quả tốt hay xấu có thể được nhìn thấy chỉ bằng một cái nhìn thoáng qua. Đặc biệt là đối với những đổi mới như kênh mới, sản phẩm mới và đội ngũ mới. Vì dữ liệu cũ không thể suy ra hoàn toàn sự đổi mới nên việc kiểm tra nó lại càng cần thiết hơn.

Tuy nhiên, trong những năm gần đây, các bài kiểm tra AB dựa trên ứng dụng tự sở hữu đã trở nên phổ biến, vì vậy nhiều người mới đã bỏ qua các phương pháp thiết kế bài kiểm tra phổ biến hơn. Hôm nay chúng tôi sẽ giải thích chúng một cách có hệ thống.

2. Yêu cầu cơ bản cho thử nghiệm thiết kế

Nhiều người mới tham gia sẽ cho rằng: thử nghiệm chỉ là để doanh nghiệp thực hiện một vài lần, vậy nên hãy để họ thực hiện và chúng ta chỉ cần đợi thu thập dữ liệu. Lối suy nghĩ lười biếng này sẽ gây ra cho bạn vô số rắc rối sau này.

Đầu tiên, việc thử nghiệm có chi phí kinh doanh.

Ví dụ, trong trường hợp này, mục đích của khoản đầu tư là thu hút người dùng mới và khoản đầu tư mới. Bạn phải thấy được kết quả sau khi chi tiền, nếu không bạn chắc chắn sẽ bị sếp coi thường.

Sau đó, những câu hỏi liên quan nảy sinh:

• Giá của nó là bao nhiêu?
• Bạn muốn có bao nhiêu hiệu ứng?
• Cần phải thử nghiệm bao nhiêu vòng để thấy được hiệu quả?
• Bạn có đủ khả năng chịu tổn thất từ ​​nhiều vòng thử nghiệm không?

Những điều này phải được định nghĩa rõ ràng trước để tránh nhầm lẫn.

Thứ hai, bài kiểm tra được thiết kế theo nội dung.

Ví dụ, trong trường hợp này, việc người dùng có bị thu hút hay không phụ thuộc vào loại số lượng quảng cáo, thời điểm quảng cáo, nội dung quảng cáo, đường dẫn chuyển đổi, lựa chọn sản phẩm và hành động CTA nếu không thiết kế cẩn thận ngay từ đầu. Nếu chúng ta chỉ loại bỏ một cái, nhiều cái khác có thể không thể được thử nghiệm để so sánh và chúng ta không thể đưa ra kết luận hợp lệ.

Một lần nữa, việc thử nghiệm bị ảnh hưởng bởi đầu tư.

Ví dụ, trong trường hợp này, các kênh chất lượng cao có thể cần phải chi nhiều tiền và trợ cấp cho người dùng có thể phải cao hơn các kênh khác. Kết quả là vòng đầu tiên có thể không hiệu quả, nhưng vòng thứ hai với cường độ tăng lên có thể sẽ có hiệu quả! Do đó, việc có nên đầu tư thêm hay không cần phải được cân nhắc cẩn thận trước.

Do ba điểm trên, bài kiểm tra cần được chia thành bốn giai đoạn và phải chuẩn bị đầy đủ trước khi lên đường (như hình minh họa bên dưới).

3. Giai đoạn triển khai

Giai đoạn triển khai giải quyết các vấn đề chiến lược:

• Bài kiểm tra sẽ kéo dài bao lâu?
• Có thể đưa bao nhiêu nguồn lực vào thử nghiệm
• Kết quả thử nghiệm nào là thỏa đáng?

Trong trường hợp này, để thử nghiệm kênh phân phối mới, trước tiên bạn phải làm rõ vị trí của kênh. Những loại phổ biến là:

• Kênh chính: chịu trách nhiệm cho hơn 50% nguồn lưu lượng truy cập và là hướng đầu tư chính
• Kênh hỗ trợ: chịu trách nhiệm cho hơn 20% nguồn lưu lượng truy cập, hướng đầu tư thứ cấp
• Kênh biên: lưu lượng kênh đơn không vượt quá 5%, phân phối có chọn lọc
• Kênh phân tán: Có hay không không quan trọng, nhưng vẫn tốt hơn không có gì

Bạn có thể tính toán ngược lại lưu lượng cần thiết dựa trên mục tiêu phân phối kênh tổng thể hiện tại; Sau đó, dựa trên chiến lược kinh doanh (bạn quyết tâm thiết lập kênh mới hay chỉ chạy theo xu hướng), hãy phân bổ rõ ràng các nhiệm vụ và xác định vị trí của kênh mới cho thử nghiệm này. Với định vị rõ ràng, bạn có thể dễ dàng kết luận: cần đầu tư bao nhiêu tiền và thực hiện bao nhiêu lần. Với việc xác định nguồn lực tài chính, nhân lực và thời gian, kế hoạch thiết kế tiếp theo trở nên đơn giản.

4 Chuẩn bị

Giai đoạn chuẩn bị là giải quyết các vấn đề chiến thuật:

• Nên kiểm tra kênh nào?
• Phiên bản nào được thử nghiệm?
• Những sản phẩm nào được thử nghiệm?

Trong trường hợp này, vì hoàn toàn không có kinh nghiệm nên cần có các trường hợp và dữ liệu của bên thứ ba/đồng nghiệp để hỗ trợ. Mặc dù chúng ta không thể có được dữ liệu chính xác 100%, nhưng ít nhất chúng ta có thể làm theo ví dụ sau:

• Những tài khoản nào được đầu tư bởi các đồng nghiệp?
• Mức độ phơi bày bài viết có thể quan sát được là bao nhiêu?
• Tỷ lệ chuyển đổi từ tin đồn là bao nhiêu?
• Hình thức nào được sử dụng trong ngành công nghiệp

Sau khi sắp xếp xong, ít nhất chúng ta cũng có một định hướng chung, điều này tốt hơn nhiều so với việc nhắm mắt làm ngơ. Lưu ý rằng theo quan điểm của người dùng, các yếu tố ảnh hưởng đến hành vi của người dùng là toàn diện. Ví dụ, khi xuất bản thông qua kênh tài khoản công khai, tiêu đề, độ dài, thời gian xuất bản, nội dung viết, CTA, đường dẫn chuyển đổi, giá sản phẩm, thuộc tính sản phẩm, v.v. đều sẽ bị ảnh hưởng.

Khi thử nghiệm với dữ liệu, rất khó để phân tích tất cả các yếu tố trên trong một lần thử nghiệm. Do đó, cần phải chuẩn bị nhiều phiên bản thử nghiệm trước. Sự khác biệt giữa các phiên bản thử nghiệm không nên quá lớn và phải có tính liên tục nhất định để chuẩn bị cho việc phân tích sau này.

Tất cả các mục trên đều được in đậm màu đỏ vì trong công việc thực tế, bên kinh doanh thường thích chú trọng vào các chi tiết, dẫn đến các phiên bản rất khác nhau đến mức hoàn toàn không thể so sánh được. Ngoài việc xem xét kết quả chuyển đổi tổng thể, các chi tiết hoàn toàn không khớp nhau, khiến việc phân tích chuyên sâu trở nên khó khăn.

Có thể nói rằng 80% khó khăn trong quá trình phân tích sau là do thiếu sự chuẩn bị trước . Hãy nhớ điều này.

5. Giai đoạn kiểm tra và đánh giá

Khi đã sẵn sàng, bạn có thể trực tuyến để thử nghiệm và đánh giá. Kịch bản này là phân phối theo kênh và mục tiêu là thu hút người dùng đầu tư mới. Do đó, các chỉ số kết quả đánh giá tương đối đơn giản và rõ ràng. Bạn chỉ cần xem xét số lượng người dùng chuyển đổi, tỷ lệ đầu tư của người dùng và số tiền đầu tư của người dùng. Chỉ cần kết quả kiểm tra có thể đạt được mục tiêu của giai đoạn triển khai thì kênh được coi là đủ điều kiện và nhiệm vụ được hoàn thành. Nếu cách này không hiệu quả, bạn có thể thực hiện tối ưu hóa lặp lại dựa trên kế hoạch lặp lại đã chuẩn bị trước và quan sát thêm kết quả.

Sau đây là một số chi tiết cần nhấn mạnh:

1. Cần tách biệt việc đánh giá kết quả và phân tích nguyên nhân. Đầu tiên hãy xác định xem kết quả có thể chấp nhận được hay không, sau đó phân tích xem liên kết nào có vấn đề.
2. Các lần lặp lại phải được thực hiện theo thứ tự và sản phẩm, giá cả và nội dung phải được tách biệt. Tốt nhất là nên thay đổi từng cái một, còn tệ nhất là không nên thay đổi cả ba cái cùng một lúc.
3. Ưu tiên thay đổi sản phẩm và giá cả, không thay đổi từng nội dung một. Nội dung bao gồm quá nhiều chi tiết và quá tốn kém để đo lường tất cả, do đó sản phẩm và giá cả được ưu tiên.

Khi xem dữ liệu theo cách này, bạn có thể mở rộng dữ liệu theo thứ tự sau:

VI. Bản tóm tắt

Tại sao ngay từ đầu chúng ta lại hỏi làm thế nào để đưa ra dự đoán chính xác bằng trí tuệ nhân tạo và dữ liệu lớn? Bởi vì nhiều học sinh thực sự nghĩ rằng họ có thể dự đoán được điều đó! Không chỉ các phòng kinh doanh tin vào dự đoán mà ngay cả nhiều nhà phân tích dữ liệu cũng tin vào chúng. Họ thực sự nghĩ rằng chỉ có một vài con số là dữ liệu lớn, và rằng chỉ cần một mô hình và một điều chỉnh tham số là trí tuệ nhân tạo. Họ thực sự nghĩ rằng trí tuệ nhân tạo là một vị thần toàn năng và toàn trí, rằng một luồng sáng vàng có thể rơi xuống từ bầu trời và rằng mã có thể biến thành tiền, và rằng nó có thể bật ra khỏi màn hình khi người dùng gõ bàn phím...

• Phân tích dữ liệu, chỉ với dữ liệu chúng ta mới có thể phân tích
• Không có dữ liệu, thu thập dữ liệu trước
• Tôi chưa từng kinh doanh bao giờ nên tôi sẽ thử trước.
• Đừng cố gắng một cách mù quáng, hãy lập kế hoạch cẩn thận và thử từng bước một

Những quy trình truyền thống dường như không có nội dung kỹ thuật này chính là bí quyết sử dụng dữ liệu để đảm bảo tăng trưởng kinh doanh. Vì kịch bản này liên quan đến kênh bên ngoài nên ý tưởng sử dụng thử nghiệm AB để phân chia lưu lượng để so sánh là không khả thi.