Làm thế nào để xây dựng hệ thống đánh giá hiệu quả hoạt động?

Sinh viên thực hiện phân đoạn dữ liệu thường gặp phải những khó khăn như hoạt động đánh giá. Bài viết này giới thiệu chi tiết những lỗi thường gặp trong hoạt động đánh giá, các câu hỏi trọng tâm, cách trả lời, v.v. Tôi hy vọng nó sẽ hữu ích với bạn.

“Nếu được yêu cầu đánh giá sự kiện này, bạn sẽ phân tích như thế nào?” Cho dù là phỏng vấn hay xin việc, sinh viên làm phân tích dữ liệu thường gặp phải câu hỏi này. Hôm nay chúng tôi sẽ giải thích một cách có hệ thống.

Phục hồi cảnh:

Một ỨNG DỤNG âm nhạc cung cấp tư cách thành viên 7 ngày cho người dùng mới khi đăng ký. Sau khi đăng ký, người dùng có thể quyết định có nhấp vào để nhận tư cách thành viên hay không. Thời hạn thành viên kéo dài trong một tháng. Câu hỏi: Bạn đánh giá hoạt động này như thế nào?

1. Những sai lầm thường gặp trong đánh giá hoạt động

Trước hết, hãy nhớ rằng đối với tất cả các câu hỏi sử dụng động từ đánh giá/đánh giá/phán đoán thì chỉ có một câu trả lời: "tốt hoặc xấu".

Ví dụ, bạn sẽ đánh giá hoạt động này như thế nào? Bạn có thể trả lời:

• Hoạt động này rất tốt và cần được tiếp tục;
• Hoạt động này không tốt và không thể thực hiện được
• Hoạt động này không tốt cũng không xấu, nó vô dụng.
• Hoạt động này không thay đổi được gì cả nên việc thực hiện nó là vô ích

Đây là kết luận cốt lõi của phân tích đánh giá. Nếu không có bốn câu này, mọi thứ khác đều vô nghĩa. Ví dụ:

• 40.000 người dùng mới đã đăng ký trong sự kiện
• Số lượng người đăng ký trong sự kiện này nhiều hơn 10.000 người so với trước sự kiện
• Tỷ lệ nhấp chuột của người dùng mới trong sự kiện là 80%
• Trong sự kiện, người dùng mới sẽ được hưởng mức lãi suất 30%

Đây không phải là kết luận mà chỉ là quá trình phân tích. Nếu bạn không có kết luận và chỉ đưa ra những chỉ số quy trình này, bạn sẽ dễ dàng bị phía doanh nghiệp hỏi lại: "Thế thì sao? Thế thì sao? Bạn đã phân tích những gì? Kết luận ở đâu!" Cuối cùng, bạn sẽ phải xấu hổ.

II. Các vấn đề chính trong đánh giá hoạt động

Để đánh giá một hoạt động, trước tiên chúng ta phải đưa ra đánh giá tốt/xấu. Nếu đánh giá tốt, hãy xem bạn có thể tiếp tục làm như vậy không và có thể làm bao nhiêu lần; nếu đánh giá không tốt, hãy xem vấn đề nằm ở đâu, liệu nó tệ đến mức không thể cứu vãn được hay có thể lưu lại và tiếp tục sử dụng.

Dữ liệu + chú thích = phán đoán. Do đó, để đưa ra phán đoán tốt/xấu, bạn cần hai điều:

• Chỉ số đánh giá rõ ràng
• Giá trị mục tiêu rõ ràng

Nếu đạt được tiêu chuẩn thì tốt; nếu không đạt tiêu chuẩn thì không tốt. Thật đơn giản (xem hình bên dưới).

Có vẻ đơn giản nhưng thực tế, các thao tác thường như sau:

• Bối rối: Tôi làm vậy vì sếp bảo tôi làm, tại sao vậy? Tôi cũng không biết, mà cũng không dám hỏi.
• Dai Toudainao: Tôi chỉ muốn tuyển thêm người mới thôi, thế thôi, OMG!
• Đi tắt: Người ta đã làm rồi/người khác đang làm rồi, vậy thì cứ làm thôi.
• Câu cá trong vùng nước có vấn đề: Đây là vấn đề thay đổi nguồn lực tinh thần của người dùng, thứ không thể đo lường được bằng dữ liệu!

Tóm lại, chỉ có hai trong số mười nhà điều hành có thể mô tả chính xác tình hình và mục tiêu hiện tại. Lúc này, các nhà phân tích dữ liệu cần có khả năng phán đoán độc lập. Chỉ bằng cách phân tích logic kinh doanh và sắp xếp các quy trình kinh doanh, chúng ta mới có thể rút ra kết luận khách quan. Ở đây chúng ta lấy một kịch bản hoàn toàn khó hiểu làm ví dụ để xem cách giúp các hoạt động làm rõ mục đích của chúng.

3. Cách xây dựng mô hình đánh giá từ đầu

1. Sắp xếp quá trình hoạt động

Các hoạt động vận hành sẽ thay đổi hành vi của người dùng, từ đó sẽ phản ánh vào những thay đổi trong chỉ số dữ liệu. Khi xây dựng mô hình đánh giá từ đầu, bước đầu tiên là hiểu quy trình cụ thể của hoạt động và những thay đổi trong hành vi của người dùng có thể do hoạt động đó gây ra. Ví dụ, lợi ích của người dùng mới trong câu hỏi có thể được sắp xếp như sau (như hiển thị bên dưới):

Sau khi hiểu được những thay đổi về hành vi, chúng ta có thể xem xét thêm dữ liệu nào có thể được sử dụng để ghi lại những hành vi này và chỉ số nào có thể phản ánh những thay đổi. Sau khi phân loại, chúng ta có thể thấy rõ: các chỉ số đo lường kết quả của hoạt động. Những nhiệm vụ này cần được bộ phận vận hành thực hiện trong giai đoạn lập kế hoạch. Nếu không làm tốt trước thì sẽ phải làm lại sau.

2. Sàng lọc các chỉ số chính

Một hoạt động có thể ảnh hưởng tới nhiều khía cạnh. Ví dụ, trong câu hỏi trên có sự kiện tặng quà. Bạn đã nói:

1. Có thể tăng số lượng người dùng mới đăng ký - không vấn đề gì;
2. Có thể tăng cơ hội mua thành viên - có vẻ như có cơ hội
3. Có thể tăng lòng trung thành và giảm sự xáo trộn - có vẻ hợp lý
4. Có thể tăng DAU! ——Về mặt lý thuyết, nếu có nhiều đăng ký mới hơn thì DAU cũng sẽ tăng.

Nếu bạn không xem xét dữ liệu mà chỉ lắng nghe những gì mọi người nói thì tất nhiên điều trên có lý. Nhưng nếu chúng ta thực sự muốn làm mọi thứ trở nên hỗn loạn, và yêu cầu bạn tính toán những người dùng chưa rời đi, bao nhiêu phần trăm trong số họ là thành viên miễn phí, bao nhiêu phần trăm trong số họ là sản phẩm và bao nhiêu phần trăm trong số họ là số lượng bài hát, thì sẽ là một điều kỳ diệu nếu bạn có thể tính toán rõ ràng. Do đó, các chỉ số đánh giá cần được ưu tiên để làm rõ vấn đề hơn.

Nếu mục tiêu được đặt ra trước, các chỉ số chính của hoạt động phải gắn chặt với mục tiêu và các chỉ số bị ảnh hưởng trực tiếp phải được ưu tiên. Ví dụ, nếu hoạt động là thu hút người dùng mới, thì chỉ số chính là số lượng người dùng mới đăng ký; nếu hoạt động là tăng tỷ lệ giữ chân người dùng mới thì điều cần cân nhắc chính là giữ chân người dùng trong vòng 1-7 ngày.

Việc này có vẻ đơn giản nhưng thực tế kẻ điều hành có thể dễ dàng lợi dụng tình hình. Các hoạt động thường thích nói về một loạt các chỉ số ảnh hưởng và thậm chí nói những điều như "hoạt động của tôi đã thay đổi nhận thức tinh thần của người dùng ở cấp độ sâu sắc, do đó tạo ra những tác động sâu rộng không thể đo lường bằng dữ liệu". Nói tóm lại, họ đưa ra một loạt các chỉ số, nói về những chỉ số có vẻ tốt và không nói về những chỉ số có vẻ không tốt.

Khi đánh giá dữ liệu, điều cấm kỵ nhất là tạo ra hàng trăm chỉ số rồi sau đó lập ra một công thức đánh giá cực kỳ phức tạp. Càng có nhiều thứ được trộn lẫn vào thì càng có nhiều chỗ cho trò chơi chữ và càng dễ che đậy tình hình. Đánh giá càng đơn giản và rõ ràng thì việc xác định vấn đề càng dễ dàng.

3. Đặt ra tiêu chí đánh giá

Với các chỉ số chính rõ ràng, bạn có thể tìm ra tiêu chí đánh giá. Có bốn ý tưởng cơ bản để tìm ra tiêu chuẩn:

1. Bắt đầu từ kết quả chung và xem xét tổng số tiền. Ví dụ, nếu bạn cần 100.000 người dùng mới trong tháng này, bạn phải đạt được con số 100.000.
2. So sánh với tình trạng không có hoạt động và xem xét sự gia tăng. Ví dụ, nếu không có hoạt động thì lương tháng là 50.000, nhưng nếu có hoạt động thì lương phải là 5+50.000, với 50.000 thêm làm tiêu chuẩn.
3. So sánh với các hoạt động trước đây để xem hiệu quả. Ví dụ, hoạt động thu hút thành viên mới thường có chi phí là 100 nhân dân tệ cho mỗi thành viên mới, nên lần này không thể vượt quá.
4. So sánh với người dùng không tham gia và xem sự khác biệt. Ví dụ, chia nhóm thành nhóm không tham gia/nhóm tham gia và so sánh số lượng đăng ký mới/tỷ lệ duy trì của nhóm tham gia.

Theo quan điểm của công ty, phương pháp đầu tiên chắc chắn là thực tế nhất. Nhưng xét về góc độ tổ chức hoạt động, mọi người đều thích nhấn mạnh vào những đóng góp của mình nên có xu hướng sử dụng phương pháp 2, 3 hoặc 4. Hoạt động thường nói về: tốc độ tăng trưởng tự nhiên (mức tăng trưởng tự nhiên khi không có hoạt động nào). Và luôn có xu hướng tính toán tỷ lệ tăng trưởng tự nhiên quá thấp, hoặc thậm chí đưa ra con số âm, để hoạt động này có vẻ cực kỳ ấn tượng.

Cần lưu ý rằng tỷ lệ tăng trưởng tự nhiên chỉ có thể được tính toán khi các hoạt động không diễn ra thường xuyên. Đối với nhiều doanh nghiệp (như thương mại điện tử và O2O), có những hoạt động liên tục, với các hoạt động lớn được nhúng trong các hoạt động nhỏ không thể phân biệt được. Điều này không áp dụng tại thời điểm này.

Tương tự như vậy, tiền đề để thành lập nhóm tham khảo là nhóm tham khảo không có chức năng nhắc nhở hoạt động và tham gia hoạt động nào cả, và chất lượng người dùng trong nhóm tham khảo và nhóm hoạt động là tương tự nhau. Nếu không đáp ứng được hạn chế này, sẽ khó có thể kết luận trực tiếp rằng hoạt động này có hiệu quả. Những phương pháp này có vẻ khoa học, nhưng thực chất chúng chứa đầy những mánh khóe. Nếu bạn muốn thảo luận vấn đề một cách rõ ràng, chỉ cần đặt ra các tiêu chuẩn một cách đơn giản và trực tiếp.

4. Tìm quá trình ảnh hưởng đến kết quả

Các bước 1, 2 và 3 nêu trên đều nhằm mục đích mở đường cho việc đưa ra phán quyết. Có sự phán đoán "tốt/xấu". Chúng ta có thể phân tích sâu hơn tại sao nó tốt và tại sao nó xấu. Lúc này, cần phải tinh chỉnh và sắp xếp các quy trình kinh doanh và tìm ra những điểm chính có thể ảnh hưởng đến kết quả. Ví dụ, các hoạt động thu hút khách hàng mới, kênh quảng cáo, bản sao quảng cáo, quy trình đăng ký, cách nhận thông báo về quyền lợi sau khi đăng ký và quy trình nhận quyền lợi thành viên đều sẽ có tác động (như thể hiện trong hình bên dưới).

Khi phân tích các chỉ số này, hãy chú ý đến thứ tự ưu tiên. Ví dụ, các vấn đề liên quan đến việc đăng ký người dùng mới. Trước tiên, chúng ta phải xem xét sức mạnh phân phối của từng kênh nguồn người dùng, liệu hoạt động có được triển khai kịp thời hay không và khi nào nó được kết hợp với việc phân phối. Chỉ khi đó, chúng tôi mới tiến hành phân tích sâu hơn về nội dung, quà tặng sự kiện, hành vi sau khi nhận quà, v.v.

IV. Bản tóm tắt

Nếu bạn sử dụng câu hỏi này trong một cuộc phỏng vấn, bạn có thể nhận ra sự khác biệt giữa người mới vào nghề, người chưa có kinh nghiệm và người kỳ cựu chỉ qua cái nhìn thoáng qua:

Cainiao: Tôi nghĩ chúng ta nên xem xét bốn khía cạnh chính: sự tăng trưởng của người dùng, trải nghiệm sản phẩm, sức ảnh hưởng của thương hiệu và doanh thu thương mại, blablabla. Sau đó, bạn có thể nắm bắt cơ hội để hỏi anh ta về tác động của thương hiệu và cách đo lường nó, và về cơ bản, bạn có thể hạ gục anh ta bằng câu hỏi này. Khoảng cách lớn nhất giữa người mới bắt đầu và người chưa có kinh nghiệm là họ thậm chí còn không biết rằng dữ liệu cần phải được thu thập. Những người mới vào nghề thích đưa ra những số liệu khó thu thập nhưng lại ấn tượng một cách ngẫu nhiên.

Người mới: Tôi nghĩ chúng ta nên xem xét số lượng đăng ký mới, tỷ lệ giữ chân người dùng mới vào ngày tiếp theo, 3 ngày và 7 ngày, tỷ lệ thu thập thành viên của người dùng mới, thị trường giữ chân người dùng mới, số lần nhấp chuột của người dùng mới, số lượng người dùng mới mua tư cách thành viên, tần suất người dùng mới sử dụng quyền và sở thích của họ... (hơn 100 chỉ số khác nhau được lược bỏ ở đây). Thiết lập mô hình mạng nơ-ron và tiến hành đánh giá toàn diện.

Đúng vậy, những người mới tham gia thích tích lũy các chỉ số trước, và có vẻ như càng có nhiều chỉ số thì càng tốt. Thứ hai, tôi thích nói về mô hình. Cho dù các mô hình đó có thể sử dụng được hay không, hoặc cho dù tôi đã sử dụng chúng hay chưa, tôi nghĩ thật tuyệt vời nếu tôi nói về chúng. Điều duy nhất họ bỏ qua là vấn đề tiêu chuẩn. Nếu bạn muốn chỉ trích những người mới đến, hãy hỏi họ "Tại sao mức tăng trưởng 50.000 là tốt, nhưng 49.127 lại là xấu?" “Khi bạn xây dựng mô hình đánh giá mạng nơ-ron, ai sẽ dán nhãn các hoạt động tốt/xấu? Bạn nên dán nhãn toàn bộ hoạt động hay một số chỉ số nhất định? Tại sao các loại hoạt động khác nhau lại được dán nhãn cùng nhau?” Những câu hỏi này về cơ bản sẽ gây bối rối cho người mới.

Xét cho cùng, đánh giá hoạt động là vấn đề mà tư duy sáng suốt quan trọng hơn công nghệ tiên tiến và duy trì tính chính trực quan trọng hơn tư duy sáng suốt. Miễn là bạn có hiểu biết cơ bản về các hoạt động vận hành chung: thu hút khách hàng mới, thúc đẩy kích hoạt, giữ chân, chuyển đổi, phân chia, v.v. Nếu bạn hiểu về dữ liệu vận hành thường xuyên và hiểu về các hoạt động trong quá khứ, về cơ bản bạn có thể đưa ra câu trả lời đúng. Điều đáng lo ngại là bạn biết quá ít về quy trình kinh doanh và thậm chí không hiểu người khác đang làm gì.

Tác giả: Thầy giáo thực tế Trần, trích từ tài khoản chính thức: "Thầy giáo thực tế Trần"