"AI Stefanie Sun" trở thành streamer hàng đầu trên Bilibili, với hàng triệu lượt xem

Công nghệ thay đổi giọng nói bằng AI đã tạo nên làn sóng phổ biến trên các trang web video gần đây. Ở đây, Stefanie Sun có thể "hát" với vai Hair Like Snow và Jay Chou có thể "hát" với vai Yu Jian. Nhiều người, mặc dù cảm thấy mới lạ, không khỏi lo lắng về tương lai sự nghiệp của các ca sĩ chuyên nghiệp. Trong khi xua tan những nghi ngờ đó, tác giả bài viết này cũng giải thích những nguyên tắc cơ bản về việc thay đổi giọng nói của AI và đưa ra triển vọng tích cực.

Ở giai đoạn phát triển tiếp theo của AI, liệu ca sĩ có phải đối mặt với tình trạng thất nghiệp trước không?

Không ai ngờ rằng "ca sĩ không mấy nổi tiếng" Stefanie Sun lại hoạt động tích cực như vậy trong thời gian gần đây khi các bản cover bài hát Bilibili của cô bị chỉ trích. Nhưng khi người hâm mộ đến, họ thấy toàn bộ màn hình tràn ngập "AI Stefanie Sun".

Hóa ra những bài hát cover của Stefanie Sun này được các người dẫn chương trình B Station UP sáng tác bằng công nghệ AI , chứ không phải do chính Stefanie Sun thể hiện.

Những tác phẩm tương tự khác bao gồm "Cao nguyên Thanh Hải-Tây Tạng" do AI Wang Xinling trình bày, "I'm Sorry for Being So Cute" do AI Xu Song trình bày và "Itchy" do AI Rihanna trình bày. Phong cách của ca sĩ và bài hát rất khác nhau, nhưng phần trình diễn thì gần như hài hòa.

Cảnh tượng sống động như vậy khiến cư dân mạng vừa kinh ngạc trước sức mạnh của công nghệ vừa lo lắng cho thần tượng của mình - liệu ca sĩ cũng sẽ bị AI thay thế?

01 “AI Stefanie Sun” và những người khác nổi tiếng như thế nào?

Bài hát cover của AI phổ biến đến mức nào?

Khi tìm kiếm "AI Stefanie Sun" tại Bilibili, kết quả phổ biến nhất là bản cover ca khúc "Hair Like Snow" của Jay Chou, với 174,6 nghìn lượt xem, hơn 2.000 bình luận, hơn 40.000 lượt thích và chia sẻ lại, cùng 22.000 xu từ người dẫn chương trình UP.

Trên trang chủ của UP master này, chúng ta có thể thấy rằng trước khi các tác phẩm liên quan của AI Stefanie Sun được phát hành, lượt xem của các nội dung khác chỉ khoảng vài trăm hoặc vài nghìn. Kể từ khi phát hành bài hát cover của AI Stefanie Sun vào tháng 4, lượng phát lại của bài hát này về cơ bản đã vượt quá 10.000 và thậm chí có một số nội dung có khoảng 100.000 lượt phát lại, điều này cho thấy mức độ phổ biến của loại nội dung này.

Trong kết quả tìm kiếm, nội dung được phát nhiều thứ hai và thứ ba đến từ cùng một người dẫn chương trình UP, người lần lượt cover các tác phẩm "Peninsula Iron Box" và "Love in BC" của Jay Chou, với hơn một triệu lượt xem cho mỗi bài. Lấy bài hát "Peninsula Iron Box" do AI Stefanie Sun và Jay Chou thể hiện làm ví dụ. Tác phẩm này đã nhận được 47.000 lượt thích, 29.000 xu và hơn 20.000 lượt thu thập và đăng lại, khiến nó trở thành một tác phẩm phổ biến.

Điều đáng chú ý là người dẫn chương trình UP chỉ có 40.000 người hâm mộ và bước ngoặt của dữ liệu nội dung cũng bắt đầu với việc phát hành nội dung bất thường của AI Stefanie Sun. Kênh này cập nhật rất nhanh, với nhiều nội dung có hàng trăm nghìn lượt xem, bao gồm không chỉ các màn trình diễn solo của AI Stefanie Sun mà còn có các bản song ca với các ca sĩ như Jay Chou và JJ Lin.

Ngoài ra, AI Stefanie Sun trên Bilibili không chỉ có thể hát rap mà còn có thể kết hợp với các video AI thay đổi khuôn mặt.

Người dẫn chương trình UP "Raccoon Leon" đã đề cập trong phần mô tả video rằng "video gốc và các đoạn trích âm thanh cơ bản của video SD được vẽ lại là từ bản cover bài hát "Wanjiang" của Lý Ngọc Cương của Xiu Xiuman." Khuôn mặt được tạo ra bởi AI bắt chước người dẫn chương trình UP thực sự, và giọng nói được tạo ra bởi AI theo giọng nói của Stefanie Sun, nhưng ngoại trừ một chút độ trễ trong chuyển động, toàn bộ video đều rất chân thực và đã nhận được 178.000 lượt xem.

Ngoài các bài hát cover, dữ liệu về nội dung liên quan đến AI Stefanie Sun đều ở mức tốt. Ví dụ, một video liệt kê các bài hát hit của AI Stefanie Sun có 705.000 lượt xem và một video giải thích hiện tượng này có hơn 200.000 lượt xem. Hầu hết các video hướng dẫn đều dễ dàng vượt quá 10.000 lượt xem và khá nhiều video đạt tới hơn 100.000 lượt xem.

Có thể nói AI Stefanie Sun thực sự đã tạo nên cơn sốt trên Bilibili. Chỉ có những sự kết hợp mà người hâm mộ không thể nghĩ ra, và không có bài hát nào mà người dẫn chương trình UP không dám thử. Rốt cuộc, ai có thể nghĩ rằng họ sẽ có thể nghe "Stefanie Sun" hát "Hero Song" trong cuộc đời mình?

02 “AI Stefanie Sun” có thể cướp mất công việc của Stefanie Sun không?

Trong quá trình "AI Stefanie Sun" trở nên phổ biến, chúng ta có thể thấy rằng những người quảng bá cho nó không chỉ là một nhóm người đơn lẻ.

Trong số những người hâm mộ các bài hát cover của AI, có một người hâm mộ giọng hát của ca sĩ . Vì những “ ca sĩ không được ưa chuộng” đã không còn hoạt động trong một thời gian dài, tại sao không tự kiếm tiền? Ngoài ra, Stefanie Sun còn nổi tiếng với "giọng hát kim cương", có thể phù hợp với nhiều bài hát hơn, do đó AI Stefanie Sun nổi bật hơn nhiều bản cover của AI.

Nhóm thứ hai là những người đam mê công nghệ AI, những người có nội dung được cập nhật khi công nghệ thay đổi và các tác phẩm của họ chỉ là những tiêu chuẩn của công nghệ.

Ngoài ra, còn có những người theo dõi muốn thu lợi nhuận từ lưu lượng truy cập khi xu hướng còn đang thịnh hành, cũng như chính Bilibili.

Bilibili cung cấp hỗ trợ cho nội dung liên quan đến AI. Chiến dịch "Kế hoạch sáng tạo giọng nói ảo" kêu gọi người dùng sử dụng nhiều nguồn âm thanh khác nhau để sáng tạo.

Theo quan sát của Weiguojiang, nhiều video của AI Stefanie Sun được gắn thẻ #AI Virtual Voice Laboratory#. Video hoạt động theo chủ đề này sử dụng các công nghệ như RVC, DDSP-SVC, DiffSinger, Diff-svc và SoVITS-svc để đào tạo hoặc áp dụng các mô hình âm thanh AI, tạo bài hát hoặc lồng tiếng và gửi chúng tới phần [Music-VOCALOID·UTAU].

Nhiều AI Stefanie Sun sử dụng mô hình nhân bản giọng nói nguồn mở, tạo ra các tác phẩm cover thông qua ba bước: nhập mẫu giọng nói, đào tạo mô hình và suy luận mô hình.

Trong số đó, mẫu giọng nói phải là giọng nói gốc của nhân vật với chất lượng âm thanh không bị mất dữ liệu. Nghĩa là, những gì đưa vào mô hình không thể chỉ là những bài hát thông thường, mà là giọng hát của ca sĩ sau khi tách và trích xuất, và phải tải lên càng nhiều mẫu càng tốt để tạo thành một tập dữ liệu. Trước khi đào tạo mô hình, bạn cần chia bài hát thành các tệp có độ dài khoảng 10 giây rồi nhập chúng để đảm bảo tốc độ và chất lượng đào tạo mô hình.

Khi nói đến bước suy luận mô hình, phần giọng hát của bài hát mục tiêu cần được trích xuất trước. Sau khi nhập mô hình đã được đào tạo, phần giọng nói của bản cover AI có thể được xuất ra. Cuối cùng, bạn chỉ cần sử dụng phần mềm chỉnh sửa để thêm nhạc đệm và căn chỉnh, thế là đã có một bản nhạc bìa AI.

Ảnh chụp màn hình từ: B station UP host "AI thế hệ tiếp theo"

Không khó để nhận thấy từ các bước trên rằng ngưỡng để tạo video cover AI không cao . Các công cụ được sử dụng trong quá trình này có thể được tìm thấy trong phần mềm nguồn mở hoặc miễn phí. Chỉ cần phần cứng có thể chạy được thì ngay cả người mới vào nghề cũng có thể làm theo từng bước hướng dẫn phong phú trên Internet.

Điều này cũng làm dấy lên cuộc tranh luận giữa cư dân mạng về việc liệu ca sĩ có giữ được công việc của mình hay không.

Trên thực tế, hiện tại, công việc của nữ ca sĩ vẫn ổn định.

Đầu tiên là hạn chế về trình độ kỹ thuật.

Mặc dù hướng dẫn có vẻ đơn giản và bất kỳ ai cũng có thể làm được, nhưng thực sự để hoàn thành công việc lại không dễ dàng như vậy. Các yếu tố như việc điều chỉnh các tham số mô hình và các mẫu giọng nói khác nhau của con người đưa vào mô hình sẽ ảnh hưởng đến quá trình đào tạo và lập luận của mô hình. Kết quả cuối cùng có thể không chính xác như mong đợi và có sự không chắc chắn lớn.

Ngoài ra, hầu hết các bản cover AI hiện nay chỉ thay thế âm sắc, không phản ánh được kỹ năng và cảm xúc riêng của ca sĩ nên bị nhiều người hâm mộ chỉ trích vì các vấn đề như trình diễn không mượt mà và chi tiết không nhất quán. Tất nhiên, những tuyên bố như vậy không thể ngăn cản mọi người vỗ tay tán thưởng những bài hát cover của AI.

Thứ hai là ảnh hưởng của các yếu tố cảm xúc chủ quan.

Nghe nhạc là một việc mang tính cảm xúc. Dù là tình yêu dành cho chính ca sĩ hay câu chuyện về thời gian, địa điểm thì đây đều là những giá trị cảm xúc mà các bài hát cover bằng AI khó có thể truyền tải được.

Vì vậy, thay vì lo lắng về việc ca sĩ mất việc, tốt hơn nên nói rằng AI sẽ giành lại không gian cho các ca sĩ hát lại biểu diễn.

Khi công nghệ AI ngày càng hoàn thiện và các bài hát cover trở nên gần gũi hơn với chính ca sĩ, những ca sĩ cover ban đầu dựa vào điều này để thu hút sự chú ý nhưng không có khả năng sáng tạo có thể có cảm giác khủng hoảng mạnh mẽ hơn. Suy cho cùng, trong trí tưởng tượng của cư dân mạng, phần mềm âm nhạc trong tương lai sẽ có khả năng tự chọn bài hát và ca sĩ.

Mặt khác, công nghệ AI cũng là một công cụ thực tế mới dành cho ca sĩ.

Vào tháng 3 năm nay, ca sĩ Trần Thiện Ni đã hợp tác với nhóm AI Labs của Đài Loan để phát hành một bài hát tình yêu có tựa đề "Dạy em cách làm người yêu của anh" do một AI do chính cô đào tạo thể hiện. Nhịp điệu, quãng nghỉ, bản cover đơn, v.v. đều được tạo ra bởi AI và mức độ chân thực đã làm dấy lên cuộc thảo luận.

Một tác phẩm như vậy là biểu hiện cho việc ca sĩ đón nhận công nghệ mới và cũng là một trong những khía cạnh của AI như một con dao hai lưỡi.

Một số ca sĩ sẵn sàng dành nhiều thời gian hơn để cải thiện trình độ ca hát của AI, trong khi những người khác lại chọn sử dụng AI để tạo ra những "bài hát tẩy não" vô nghĩa vì chỉ cần số lượng mẫu đủ lớn, AI có thể nắm bắt được những giai điệu đơn giản nhưng hấp dẫn chỉ trong vài phút. Đối với người nghe, những bài hát AI như vậy sẽ khiến thị trường âm nhạc trở nên hỗn loạn hơn.

Trước khi tương lai chưa biết đến, rủi ro lớn nhất mà AI phải đối mặt trong lĩnh vực âm nhạc là bản quyền. Cũng giống như một trong những lý do tẩy chay tranh vẽ AI là bản quyền của các mẫu được sử dụng để đào tạo mô hình, các bài hát cover của AI cũng bị nghi ngờ là vi phạm bản quyền.

Trong một bài phân tích do Công ty luật Zhide Bắc Kinh công bố, có đề cập rằng các bài hát cover AI có thể liên quan đến hành vi vi phạm bản quyền, quyền giọng hát, thông tin cá nhân, v.v. Chỉ là hiện tại chưa có luật và quy định cụ thể nào ở nước này nên hầu hết các AI Stefanie đều đính kèm tuyên bố từ chối trách nhiệm và tiếp tục cập nhật tích cực trên nền tảng.

Ngược lại, thị trường âm nhạc nước ngoài đã có phản ứng.

AI Hub, một cộng đồng sản xuất âm nhạc AI trên Discord đã tập hợp hơn 20.000 người, đã từng sản xuất một album nhạc AI, nhưng đã bị Warner Music đánh dấu là vi phạm và xóa chỉ ba giờ sau khi ra mắt. Ngoài ra, trong cộng đồng ca sĩ, một số người kêu gọi tẩy chay, trong khi những người khác bày tỏ mong muốn chia sẻ lợi nhuận với các ca sĩ cover.

Tóm lại, lễ hội của AI Stefanie Sun và những người khác có thể không thực sự có thể làm rung chuyển giới ca sĩ, nhưng tác động lên bản nhạc thì có tồn tại. Người ta vẫn chưa biết liệu sự kết thúc của việc hát lại bằng AI sẽ là một lá thư của luật sư hay nó sẽ trở thành một kênh lợi nhuận mới cho các ca sĩ như những đoạn video ngắn.

Điều chắc chắn là tác động của công nghệ AI đang ngày càng mở rộng và sâu sắc hơn. Một số người đang bị thay thế trong mọi ngành nghề, trong khi những người khác lại coi nó như công cụ hỗ trợ mạnh mẽ nhất. Như Chen Shanni đã nói trên Weibo, nếu kỷ nguyên AI nhất định phải đến, với tư cách là những người sáng tạo, điều chúng ta nên quan tâm có lẽ không phải là "liệu chúng ta có bị thay thế không" mà là "chúng ta có thể làm gì khác".

Tác giả: Trần Sở Mộc

Nguồn: Tài khoản công khai WeChat "Weiguojiang (ID: wjam123456)"