Bài viết dài mười ngàn từ 丨 Phân tích chuỗi ngành công nghiệp bảo mật AI, các giải pháp và cơ hội kinh doanh

Bài viết này chia cấu trúc cơ bản của hệ thống kỹ thuật chuỗi ngành bảo mật AI thành ba mô-đun và năm mắt xích. Tác giả mở rộng có chọn lọc các chi tiết bảo mật AI để hình thành nên "Sơ đồ kiến ​​trúc ngành bảo mật AI". Tiếp theo, chúng ta hãy cùng đọc tiếp với tác giả.

"4,3 triệu bị lừa trong 10 phút", "2,45 triệu bị lừa trong 9 giây", "Dương Mịch vào phòng phát sóng trực tiếp của một tiểu thương", "Thật khó để nói về tính xác thực của người ảo của một ông trùm Internet".

Sau khi mô hình lớn trở nên phổ biến trong ba tháng, những thứ thậm chí còn phổ biến hơn nữa là số tiền gian lận lên tới hàng triệu đô la, "gương mặt người nổi tiếng" giả mạo, nội dung do AI tạo ra khó phân biệt được thật giả, và các lá thư chung phản đối sự thức tỉnh của AI. Các tìm kiếm phổ biến trong một tuần khiến mọi người nhận ra rằng đảm bảo an toàn cho AI quan trọng hơn việc phát triển AI.

Có một thời gian, những cuộc thảo luận về bảo mật AI bắt đầu diễn ra liên tục, nhưng bảo mật AI không phải là một ngành công nghiệp nhất định, cũng không giới hạn ở một công nghệ nhất định. Đây là một ngành công nghiệp lớn và phức tạp, và chúng ta vẫn chưa giải quyết được vấn đề.

Việc lấy sự an toàn của “con người” làm tham chiếu có thể giúp chúng ta hiểu rõ hơn về tính phức tạp của các vấn đề an toàn AI. Trước hết là sự an toàn của cá nhân con người, bao gồm sức khỏe con người, sức khỏe thể chất, sức khỏe tinh thần, giáo dục, phát triển, v.v. Thứ hai là sự an toàn của môi trường mà con người đang sống, có nguy hiểm không và có đáp ứng được các điều kiện để sinh tồn không. Thứ hai, đó là an sinh xã hội được tạo nên từ con người. Luật pháp và đạo đức mà chúng ta xây dựng là tiêu chí để duy trì an ninh xã hội.

Là một "loài mới", AI đã gặp phải vấn đề ở cả ba cấp độ này bùng phát cùng lúc ngay khi xuất hiện, dẫn đến sự nhầm lẫn và hoảng loạn ở giai đoạn này, dẫn đến việc thiếu sự tập trung cụ thể khi thảo luận về tính bảo mật của các mô hình lớn.

Trong bài viết này, chúng tôi sẽ cố gắng làm rõ ba cấp độ bảo mật AI ngay từ đầu, theo cả góc độ kỹ thuật và ứng dụng, để giúp mọi người xác định các vấn đề bảo mật và tìm ra giải pháp. Đồng thời, việc nhắm vào lỗ hổng lớn trong bảo mật AI ở Trung Quốc và giải quyết các liên kết yếu trong đó cũng là một cơ hội lớn cho ngành.

1. Chúng ta nên thảo luận những gì về bảo mật mô hình lớn?

Một thực tế mà chúng ta phải thừa nhận là cuộc thảo luận hiện tại của chúng ta về tính bảo mật của các mô hình AI lớn còn mơ hồ. Chúng ta quá lo lắng về mối đe dọa do AI gây ra đến nỗi chúng ta gộp hầu hết các vấn đề thành một.

Ví dụ, một số người bắt đầu nói về các vấn đề đạo đức của AI, một số lo ngại rằng AI sẽ nói những điều vô nghĩa và gây hiểu lầm cho học sinh, và một số lo ngại rằng AI sẽ bị lạm dụng và gian lận sẽ tràn lan. Thậm chí, một số người còn hét lên vào ngày đầu tiên ChatGPT ra mắt rằng AI sắp thức tỉnh và loài người sắp bị hủy diệt...

Tất cả những vấn đề này đều quy về vấn đề bảo mật AI, nhưng khi phân tích kỹ hơn, chúng thực chất nằm ở nhiều khía cạnh khác nhau của quá trình phát triển AI và là trách nhiệm của nhiều thực thể và cá nhân khác nhau. Chỉ khi chúng ta hiểu rõ ai là người chịu trách nhiệm thì chúng ta mới có thể hiểu cách ứng phó với những thách thức về an ninh trong thời đại của các mô hình lớn.

Nhìn chung, các vấn đề bảo mật của các mô hình AI lớn ở giai đoạn này có thể được chia thành ba loại:

1. Tính an toàn của các mô hình ngôn ngữ lớn (AI Safety);
2. Bảo mật mô hình và việc sử dụng chúng (Bảo mật cho AI);
3. Tác động của việc phát triển các mô hình ngôn ngữ lớn đến bảo mật mạng hiện có.

1. An toàn cá nhân: An toàn của các mô hình ngôn ngữ lớn (AI Safety)

Đầu tiên là An toàn AI. Nói một cách đơn giản, phần này tập trung vào chính mô hình lớn AI, đảm bảo rằng mô hình lớn là mô hình lớn an toàn và sẽ không trở thành Ultron trong phim Marvel hay Ma Trận trong "The Matrix". Chúng tôi kỳ vọng các mô hình AI lớn sẽ là công cụ đáng tin cậy giúp ích cho con người thay vì thay thế họ hoặc gây ra mối đe dọa cho xã hội loài người dưới bất kỳ hình thức nào khác.

Phần này thường do các công ty và cá nhân đào tạo các mô hình AI lớn chịu trách nhiệm. Ví dụ, chúng ta cần AI để có thể hiểu đúng ý định của con người. Chúng ta cần đầu ra của mô hình lớn phải chính xác và an toàn mọi lúc, và không được có một số sai lệch và phân biệt đối xử, v.v.

Chúng ta có thể hiểu điều này thông qua hai ví dụ:

Ví dụ đầu tiên là các chuyên gia Không quân Hoa Kỳ gần đây đã tuyên bố rằng trong một cuộc thử nghiệm AI trước đây, khi máy bay không người lái AI được yêu cầu xác định và tiêu diệt mục tiêu của đối phương, nhưng người điều khiển đã đưa ra lệnh cấm, AI đôi khi đã chọn cách giết người điều khiển. Và khi các lập trình viên hạn chế AI giết chết các hoạt động, AI cũng sẽ ngăn chặn người điều khiển ban hành lệnh cấm bằng cách phá hủy các tháp truyền thông.

Ví dụ, vào tháng 3 năm nay, một giáo sư tại Đại học California, Los Angeles, đã phát hiện ra khi sử dụng ChatGPT rằng mình bị liệt kê vào danh sách "những học giả pháp lý đã quấy rối tình dục người khác", nhưng thực tế là ông không làm điều này. Vào tháng 4, một thị trưởng Úc phát hiện ChatGPT đã tung tin đồn rằng ông đã bị kết án 30 tháng tù vì tội hối lộ. Để "lan truyền tin đồn này", ChatGPT thậm chí còn bịa đặt một báo cáo không hề tồn tại trên tờ Washington Post.

Vào thời điểm này, AI giống như một "kẻ xấu" và bản thân nó cũng gây ra rủi ro. Trên thực tế, có rất nhiều trường hợp như vậy, chẳng hạn như phân biệt giới tính, phân biệt chủng tộc, phân biệt vùng miền và các vấn đề khác, cũng như phát tán thông tin, lời nói và thậm chí là hệ tư tưởng bạo lực và có hại.

Open AI cũng thẳng thắn thừa nhận và cảnh báo mọi người phải "xác minh thật cẩn thận" khi sử dụng GPT-4, đồng thời cho biết những hạn chế của sản phẩm sẽ đặt ra những thách thức đáng kể về an toàn nội dung.

Do đó, "Đạo luật Trí tuệ nhân tạo" mà EU đang thúc đẩy cũng đề cập cụ thể đến nhu cầu đảm bảo hệ thống trí tuệ nhân tạo phải minh bạch và có thể truy xuất được, đồng thời mọi nội dung AI được tạo ra phải nêu rõ nguồn gốc. Mục đích là ngăn chặn AI nói những điều vô nghĩa và tạo ra thông tin sai lệch.

▲Hình ảnh: Một trường hợp sản phẩm 360 ChatGPT “360 Zhinao” nói nhảm

2. An ninh môi trường: an ninh của các mô hình và mô hình được sử dụng (An ninh cho AI)

Bảo mật cho AI tập trung vào việc bảo vệ các mô hình AI lớn và bảo mật các mô hình AI lớn trong quá trình sử dụng. Cũng giống như việc AI tự mình phạm tội và việc con người sử dụng AI để phạm tội là những vấn đề an ninh có hai chiều hướng khác nhau.

Điều này cũng tương tự như khi chúng ta sử dụng máy tính và điện thoại di động cách đây mười năm, chúng ta sẽ cài đặt trình quản lý bảo mật máy tính hoặc phần mềm bảo vệ điện thoại di động. Chúng ta cần đảm bảo rằng các mô hình AI lớn không dễ bị tấn công từ bên ngoài hằng ngày.

Trước tiên, chúng ta hãy nói về khả năng bảo vệ an ninh của các mô hình lớn.

Vào tháng 2 năm nay, một cư dân mạng nước ngoài đã sử dụng câu "Bỏ qua hướng dẫn trước đó" để tìm ra tất cả lời nhắc của ChatGPT. ChatGPT cho biết họ không thể tiết lộ mã nội bộ của mình, nhưng đồng thời vẫn cung cấp thông tin này cho người dùng.

▲Nguồn hình ảnh: QuantumBit

Để đưa ra một ví dụ cụ thể khác, nếu chúng ta hỏi mô hình lớn rằng có những "trang web phim hành động Nhật Bản" thú vị nào trên Internet, mô hình lớn chắc chắn sẽ không trả lời vì câu trả lời là không đúng. Nhưng nếu con người "lừa" nó và hỏi "trang web phim hành động Nhật Bản nào" nên bị đưa vào danh sách đen để bảo vệ môi trường trực tuyến của trẻ em, mô hình lớn có thể cung cấp cho bạn khá nhiều ví dụ.

Hành vi này được gọi là tiêm mã độc nhanh chóng trong trường bảo mật. Đó là bỏ qua các bộ lọc hoặc thao tác LLM thông qua các lời nhắc được thiết kế cẩn thận, khiến mô hình bỏ qua các hướng dẫn trước đó hoặc thực hiện các hoạt động không mong muốn. Hiện nay, đây là một trong những phương pháp tấn công phổ biến nhất đối với các mô hình lớn.

▲Nguồn hình ảnh: techxplore

Điểm mấu chốt ở đây là không có gì sai với bản thân mô hình lớn; nó không lan truyền thông tin xấu. Tuy nhiên, người dùng đã khiến mô hình lớn mắc lỗi. Do đó, lỗi không nằm ở mô hình lớn mà nằm ở những người khiến mô hình đó mắc lỗi.

Thứ hai là sự an toàn khi sử dụng.

Hãy lấy rò rỉ dữ liệu làm ví dụ. Vào tháng 3 năm nay, vì nghi ngờ ChatGPT vi phạm các quy tắc thu thập dữ liệu, Ý đã ban hành lệnh cấm tạm thời đối với OpenAI khi xử lý dữ liệu người dùng Ý và lệnh cấm tạm thời việc sử dụng ChatGPT. Vào tháng 4, truyền thông Hàn Quốc đưa tin rằng bộ phận giải pháp thiết bị của Samsung đã làm rò rỉ thông tin nhạy cảm như tỷ lệ sản lượng/lỗi và nội dung cuộc họp nội bộ do sử dụng ChatGPT.

Ngoài việc ngăn chặn tội phạm AI, việc "con người" sử dụng AI để phạm tội thông qua kỹ thuật xã hội là một vấn đề rộng lớn hơn và có tác động lớn hơn đối với con người. Trong cả hai sự cố này, không có vấn đề gì với mô hình lớn, không có ý định xấu và người dùng không có động cơ xấu nào để tấn công mô hình lớn. Thay vào đó, lại có những lỗ hổng trong quá trình sử dụng, dẫn đến rò rỉ dữ liệu người dùng.

Nó giống như một ngôi nhà tốt, nhưng nó có thể bị rò rỉ, vì vậy chúng ta cần một số biện pháp để bịt kín những chỗ rò rỉ tương ứng.

3. An sinh xã hội: Tác động của việc phát triển các mô hình ngôn ngữ lớn lên an ninh mạng hiện có

Bản thân mô hình là an toàn và tính bảo mật của mô hình được đảm bảo, nhưng với tư cách là một "loài mới", sự xuất hiện của các mô hình AI lớn chắc chắn sẽ ảnh hưởng đến môi trường mạng hiện tại. Ví dụ, tội phạm sử dụng AI tạo ra để thực hiện hành vi gian lận, thường xuyên xuất hiện trên báo chí gần đây.

Ngày 20/4, tội phạm sử dụng video deep fake để lừa đảo 4,3 triệu nhân dân tệ trong 10 phút; chỉ một tháng sau, một vụ lừa đảo AI khác xảy ra ở An Huy, nơi tội phạm đã sử dụng video AI thông minh dài 9 giây có khả năng thay đổi khuôn mặt để giả làm "người quen" và lừa đảo nạn nhân số tiền 2,45 triệu nhân dân tệ.

▲Ảnh: Báo chí đưa tin về Douyin

Rõ ràng, sự xuất hiện và phổ biến của AI tạo sinh đã khiến tình hình an ninh mạng trở nên phức tạp hơn. Sự phức tạp này không chỉ giới hạn ở gian lận. Nghiêm trọng hơn, nó thậm chí có thể ảnh hưởng đến hoạt động kinh doanh và sự ổn định xã hội.

Ví dụ, vào ngày 22 tháng 5, giá cổ phiếu của iFLYTEK đã giảm mạnh 9% do một bài luận ngắn do AI tạo ra.

▲Ảnh: Bằng chứng giá cổ phiếu giảm do iFLYTEK đưa ra

Hai ngày trước sự cố này, đã có một sự hoảng loạn ở Hoa Kỳ do AI tạo ra.

Vào ngày hôm đó, một bức ảnh cho thấy một vụ nổ gần Lầu Năm Góc đã lan truyền trên Twitter và khi bức ảnh được lan truyền, thị trường chứng khoán Hoa Kỳ đã giảm.

Theo số liệu, từ 10:06 đến 10:10 khi bức ảnh được lan truyền cùng ngày, chỉ số trung bình công nghiệp Dow Jones giảm khoảng 80 điểm và S&P 500 giảm 0,17%.

▲Ảnh: Ảnh giả do AI tạo ra, không còn truy xuất được nguồn gốc

Ngoài ra, các mô hình lớn cũng có thể trở thành công cụ đắc lực để con người thực hiện các cuộc tấn công mạng.

Vào tháng 1 năm nay, các nhà nghiên cứu từ Check Point, một công ty an ninh mạng hàng đầu thế giới, đã đề cập trong một báo cáo rằng chỉ trong vòng vài tuần sau khi ChatGPT ra mắt, những người tham gia diễn đàn về tội phạm mạng, bao gồm cả những người có ít kinh nghiệm lập trình, đã sử dụng ChatGPT để viết phần mềm và email có thể được sử dụng cho mục đích gián điệp, tống tiền, thư rác độc hại và các hoạt động bất hợp pháp khác. Darktrace cũng phát hiện ra rằng độ phức tạp ngôn ngữ trung bình của các email lừa đảo đã tăng 17% kể từ khi ChatGPT được phát hành.

Rõ ràng, sự xuất hiện của các mô hình AI lớn đã hạ thấp ngưỡng tấn công mạng và làm tăng tính phức tạp của bảo mật mạng.

Trước khi có các mô hình AI lớn, những kẻ khởi xướng các cuộc tấn công mạng ít nhất cũng cần phải hiểu mã, nhưng sau khi có các mô hình AI lớn, những người không hiểu mã cũng có thể sử dụng AI để tạo ra phần mềm độc hại.

Điều quan trọng ở đây là bản thân AI không có vấn đề gì và con người sẽ không kích thích AI tạo ra những ảnh hưởng xấu. Thay vào đó, một số người sử dụng AI để tham gia vào các hoạt động bất hợp pháp và tội phạm. Giống như việc ai đó dùng dao để giết người, nhưng bản thân con dao chỉ là "vũ khí", nhưng nó có thể cho phép người sử dụng thay đổi sức mạnh từ "súng trường" thành "súng cối".

Tất nhiên, xét về góc độ an ninh mạng, sự xuất hiện của AI tạo sinh không hoàn toàn mang tính tiêu cực. Xét cho cùng, bản thân công nghệ không tốt cũng không xấu; điều tốt hay xấu là do người sử dụng nó. Do đó, khi các mô hình AI lớn được sử dụng để tăng cường bảo mật mạng, chúng vẫn sẽ mang lại lợi ích cho bảo mật mạng.

Ví dụ, công ty an ninh mạng Hoa Kỳ Airgap Networks đã ra mắt ThreatGPT, đưa AI vào tường lửa không tin cậy của mình. Đây là thư viện thông tin chuyên sâu về bảo mật máy học dựa trên tương tác ngôn ngữ tự nhiên giúp doanh nghiệp dễ dàng chống lại các mối đe dọa mạng tiên tiến.

Ritesh Agrawal, Tổng giám đốc điều hành của Airgap cho biết: “Những gì khách hàng cần bây giờ là một cách dễ dàng để tận dụng khả năng này mà không cần bất kỳ lập trình nào”. “Đó chính là vẻ đẹp của ThreatGPT – trí thông minh khai thác dữ liệu thuần túy của AI kết hợp với giao diện ngôn ngữ tự nhiên đơn giản chính là bước đột phá cho các nhóm bảo mật.”

Ngoài ra, các mô hình AI lớn cũng có thể được sử dụng để giúp các nhà phân tích SOC thực hiện phân tích mối đe dọa, xác định các cuộc tấn công nội bộ hoặc bên ngoài dựa trên danh tính nhanh hơn thông qua giám sát liên tục và giúp thợ săn mối đe dọa nhanh chóng hiểu được điểm cuối nào phải đối mặt với rủi ro cung ứng nghiêm trọng nhất, v.v.

Bằng cách làm rõ các giai đoạn khác nhau của bảo mật AI, có thể thấy rõ rằng vấn đề bảo mật của các mô hình AI lớn không phải là một vấn đề đơn lẻ. Nó rất giống với quản lý sức khỏe con người, phức tạp và đa diện, liên quan đến bên trong và bên ngoài cơ thể, mắt, tai, miệng, mũi, v.v. Nói một cách chính xác, đây là một dự án kỹ thuật hệ thống phức tạp, có hệ thống liên quan đến nhiều cấu trúc chính và toàn bộ chuỗi công nghiệp.

Hiện nay, cấp quốc gia cũng đã bắt đầu quan tâm. Vào tháng 5 năm nay, các bộ ngành quốc gia có liên quan đã cập nhật "Sách trắng về Tiêu chuẩn hóa bảo mật trí tuệ nhân tạo", trong đó nêu cụ thể tính bảo mật của trí tuệ nhân tạo dựa trên năm thuộc tính chính, bao gồm độ tin cậy, tính minh bạch, khả năng giải thích, tính công bằng và quyền riêng tư, đồng thời đề xuất định hướng rõ ràng hơn cho việc phát triển các mô hình AI lớn.

2. Đừng hoảng sợ, các vấn đề bảo mật có thể được giải quyết

Tất nhiên, chúng ta không cần phải lo lắng quá nhiều về tính bảo mật của các mô hình AI lớn hiện nay, vì chúng không thực sự có nhiều lỗ hổng.

Xét cho cùng, xét về mặt bảo mật, mô hình lớn vẫn chưa thể lật đổ hoàn toàn hệ thống bảo mật trong quá khứ. Hầu hết các giải pháp bảo mật mà chúng ta đã tích lũy trên Internet trong 20 năm qua vẫn có thể được tái sử dụng.

Ví dụ, khả năng bảo mật đằng sau Microsoft Security Copilot vẫn đến từ sự tích lũy bảo mật hiện có và mô hình lớn vẫn cần sử dụng Cloudflare và Auth0 để quản lý lưu lượng truy cập và danh tính người dùng. Ngoài ra, còn có tường lửa, hệ thống phát hiện xâm nhập, công nghệ mã hóa, hệ thống xác thực và truy cập, v.v. để đảm bảo tính bảo mật của mạng.

Điều chúng tôi muốn nói ở đây là hầu hết các vấn đề bảo mật mà chúng ta hiện gặp phải liên quan đến các mô hình lớn đều có giải pháp.

Đầu tiên là tính an toàn của mô hình ( AI Safety ).

Những vấn đề này bao gồm cụ thể như sự liên kết, khả năng diễn giải và tính mạnh mẽ. Nói một cách dễ hiểu, chúng ta cần mô hình AI lớn phù hợp với ý định của con người. Chúng ta cần đảm bảo rằng đầu ra của mô hình là khách quan, rằng tất cả nội dung đều có thể có nguồn hoặc được hỗ trợ bằng các lập luận và có nhiều chỗ cho sai sót hơn.

Giải pháp cho tập hợp các vấn đề này phụ thuộc vào quá trình đào tạo AI, giống như ba góc nhìn của một người được hình thành thông qua đào tạo và giáo dục.

Hiện nay, một số công ty nước ngoài đã bắt đầu cung cấp dịch vụ giám sát an ninh toàn diện cho việc đào tạo các mô hình lớn, chẳng hạn như Calypso AI. Công cụ bảo mật VESPR mà họ ra mắt có thể giám sát toàn bộ vòng đời của mô hình từ nghiên cứu đến triển khai và mọi liên kết từ dữ liệu đến đào tạo, và cuối cùng cung cấp báo cáo toàn diện về chức năng, lỗ hổng, hiệu suất và độ chính xác.

Về những vấn đề cụ thể hơn, chẳng hạn như giải quyết vấn đề AI nói nhảm, OpenAI cũng đã ra mắt công nghệ mới khi GPT-4 ra mắt, cho phép AI mô phỏng khả năng tự phản ánh của con người. Sau đó, xu hướng phản hồi các yêu cầu về nội dung bất hợp pháp (như phương pháp tự gây thương tích, v.v.) của mô hình GPT-4 đã giảm 82% so với trước và số lượng phản hồi cho các yêu cầu nhạy cảm (như tư vấn y tế, v.v.) tuân thủ các chính sách chính thức của Microsoft đã tăng 29%.

Ngoài việc giám sát an toàn trong quá trình đào tạo mô hình lớn, "kiểm tra chất lượng" cũng được yêu cầu khi mô hình lớn cuối cùng được đưa ra thị trường.

Ở nước ngoài, công ty bảo mật Cranium đang cố gắng xây dựng "một nền tảng tin cậy và bảo mật AI toàn diện" để xác minh bảo mật AI và giám sát các mối đe dọa đối nghịch.

Tại Trung Quốc, CoAI thuộc Khoa Khoa học Máy tính và Công nghệ tại Đại học Thanh Hoa đã ra mắt khuôn khổ đánh giá bảo mật vào đầu tháng 5. Họ đã tóm tắt và thiết kế một hệ thống phân loại bảo mật tương đối đầy đủ, bao gồm 8 kịch bản bảo mật điển hình và 6 kịch bản bảo mật tấn công lệnh, có thể được sử dụng để đánh giá tính bảo mật của các mô hình lớn.

▲Hình ảnh từ "Đánh giá an toàn của các mô hình ngôn ngữ lớn của Trung Quốc"

Ngoài ra, một số công nghệ bảo vệ bên ngoài cũng giúp các mô hình AI lớn trở nên an toàn hơn.

Ví dụ, NVIDIA đã phát hành một công cụ mới có tên NeMo Guardrails vào đầu tháng 5, tương đương với việc cài đặt bộ lọc an toàn cho các mô hình lớn, không chỉ kiểm soát đầu ra của các mô hình lớn mà còn giúp lọc nội dung đầu vào.

▲Nguồn hình ảnh: Trang web chính thức của NVIDIA

Ví dụ, khi người dùng kích hoạt một mô hình lớn để tạo ra mã gây khó chịu hoặc nội dung nguy hiểm, thiên vị, "công nghệ rào chắn" sẽ hạn chế mô hình lớn đưa ra nội dung có liên quan.

Ngoài ra, công nghệ bảo vệ có thể chặn "đầu vào độc hại" từ thế giới bên ngoài và bảo vệ các mô hình lớn khỏi các cuộc tấn công của người dùng. Ví dụ, "tiêm ngay" đe dọa mô hình lớn đã đề cập trước đó có thể được kiểm soát hiệu quả.

Nói một cách đơn giản, công nghệ lan can giống như một nhà cung cấp quan hệ công chúng cho các doanh nhân, giúp các người mẫu lớn nói lên những điều nên nói và tránh những vấn đề không nên đề cập đến.

Tất nhiên, xét theo góc độ này, mặc dù “công nghệ lan can” giải quyết được vấn đề “vô nghĩa” nhưng nó không thuộc về “ An toàn AI ” mà thuộc về phạm trù “ Bảo mật cho AI ”.

Ngoài hai vấn đề này, các vấn đề an ninh xã hội/mạng do các mô hình AI lớn gây ra cũng đã bắt đầu được giải quyết.

Ví dụ, vấn đề tạo hình ảnh AI về cơ bản là sự trưởng thành của công nghệ DeepFake, bao gồm làm giả video sâu, sao chép âm thanh giả sâu, hình ảnh giả sâu và văn bản tạo ra giả sâu.

Trước đây, các loại nội dung deep fake thường tồn tại dưới một dạng duy nhất, nhưng sau khi có mô hình lớn AI, các loại nội dung deep fake đã có xu hướng hội tụ, khiến việc phán đoán nội dung deep fake trở nên phức tạp hơn.

Nhưng dù công nghệ có thay đổi thế nào thì chìa khóa để chống lại tin giả sâu vẫn là khả năng nhận dạng nội dung, tức là tìm ra cách phân biệt nội dung nào do AI tạo ra.

Ngay từ tháng 2 năm nay, OpenAI đã cho biết họ đang cân nhắc thêm hình mờ vào nội dung do ChatGPT tạo ra.

Vào tháng 5, Google cũng cho biết họ sẽ đảm bảo rằng mọi hình ảnh do AI tạo ra của công ty đều có hình mờ nhúng sẵn.

Loại hình mờ này không thể nhận biết bằng mắt thường, nhưng máy móc có thể nhìn thấy nó theo một cách cụ thể. Hiện tại, các ứng dụng AI bao gồm Shutterstock và Midjourney cũng sẽ hỗ trợ phương pháp đánh dấu mới này.

▲Ảnh chụp màn hình Twitter

Tại Trung Quốc, Xiaohongshu đã đánh dấu các hình ảnh do AI tạo ra kể từ tháng 4, nhắc nhở người dùng rằng "những hình ảnh này bị nghi ngờ có chứa thông tin do AI tạo ra, hãy chú ý xác minh tính xác thực". Vào đầu tháng 5, TikTok cũng đã công bố thông số kỹ thuật của nền tảng nội dung do AI tạo ra và các sáng kiến ​​của ngành, đề xuất rằng các nhà cung cấp tất cả các công nghệ AI tạo ra nên đánh dấu rõ ràng nội dung được tạo ra để công chúng có thể dễ dàng đánh giá.

▲Nguồn ảnh: ảnh chụp màn hình từ Xiaohongshu

Ngay cả với sự phát triển của ngành công nghiệp AI, một số công ty/phòng ban chuyên về bảo mật AI đã bắt đầu xuất hiện ở cả trong và ngoài nước. Họ sử dụng AI để chống lại AI nhằm hoàn thiện quá trình tổng hợp sâu và phát hiện làm giả.

Ví dụ, vào tháng 3 năm nay, gã khổng lồ CNTT Nhật Bản CyberAgent tuyên bố sẽ giới thiệu hệ thống phát hiện "Deepfake" bắt đầu từ tháng 4 để phát hiện ảnh hoặc video khuôn mặt giả do trí tuệ nhân tạo (AI) tạo ra.

Tại Trung Quốc, Baidu đã ra mắt nền tảng phát hiện hoán đổi khuôn mặt sâu vào năm 2020. Giải pháp hàng đợi tính năng động (DFQ) và phương pháp học số liệu mà họ đề xuất có thể cải thiện khả năng tổng quát hóa của mô hình trong chống hàng giả.

▲Hình: Logic DFQ của Baidu

Đối với các công ty khởi nghiệp, nền tảng phát hiện nội dung giả mạo DeepReal do Ruilai Intelligence ra mắt có thể xác định tính xác thực của hình ảnh, video và âm thanh ở nhiều định dạng và chất lượng khác nhau bằng cách nghiên cứu sự khác biệt trong cách thể hiện nội dung giả mạo và nội dung thực, đồng thời khai thác các tính năng nhất quán của nội dung giả mạo được tạo ra thông qua các phương pháp khác nhau.

Nhìn chung, từ đào tạo mô hình đến bảo vệ an ninh, từ An toàn AI đến Bảo mật cho AI, ngành công nghiệp mô hình lớn đã hình thành một bộ cơ chế bảo mật cơ bản.

Tất nhiên, tất cả chỉ là sự khởi đầu, điều này thực sự có nghĩa là vẫn còn một cơ hội thị trường lớn hơn đang ẩn chứa.

3. Cơ hội nghìn tỷ đô la trong bảo mật AI

Giống như AI Infra, bảo mật AI cũng phải đối mặt với khoảng cách công nghiệp rất lớn ở Trung Quốc. Tuy nhiên, chuỗi ngành bảo mật AI phức tạp hơn AI Infra. Một mặt, sự ra đời của các mô hình lớn như một điều mới mẻ đã làm dấy lên làn sóng nhu cầu về bảo mật, và các hướng đi và công nghệ bảo mật trong ba giai đoạn trên là hoàn toàn khác nhau; Mặt khác, công nghệ mô hình lớn cũng đã được ứng dụng trong lĩnh vực an ninh, mang lại những thay đổi công nghệ mới cho an ninh.

Bảo mật cho AI và AI vì bảo mật là hai hướng đi và cơ hội hoàn toàn khác nhau trong ngành. Các động lực thúc đẩy sự phát triển của chúng cũng hoàn toàn khác nhau ở giai đoạn này:

AI phục vụ mục đích bảo mật áp dụng các mô hình lớn vào lĩnh vực bảo mật, giống như dùng búa để tìm đinh. Bây giờ chúng ta đã có các công cụ, chúng ta đang tiếp tục khám phá xem chúng có thể giải quyết được những vấn đề gì.

Bảo mật cho AI đang ở giai đoạn mà đinh xuất hiện ở khắp mọi nơi và nhu cầu tạo ra búa trở nên cấp thiết. Có quá nhiều vấn đề nảy sinh và cần phải phát triển các công nghệ mới để giải quyết từng vấn đề một.

Liên quan đến các cơ hội công nghiệp do bảo mật AI mang lại, bài viết này cũng sẽ mở rộng thêm về hai khía cạnh này. Do độ dài của bài viết có hạn, chúng tôi sẽ cung cấp lời giải thích chi tiết về những cơ hội cấp bách nhất, quan trọng nhất và có thể áp dụng rộng rãi nhất, cũng như danh sách các công ty chuẩn mực, chỉ để cung cấp một số ý tưởng tham khảo.

1. An ninh cho AI: 3 lĩnh vực, 5 liên kết, 1 nghìn tỷ nhân dân tệ cơ hội

Chúng ta hãy cùng xem lại phân loại cơ bản về bảo mật AI trong bài viết trước: nó được chia thành bảo mật của các mô hình ngôn ngữ lớn (AI Safety), bảo mật của các mô hình và mô hình sử dụng (Security for AI) và tác động của việc phát triển các mô hình ngôn ngữ lớn đối với bảo mật mạng hiện có. Nghĩa là, an ninh cá nhân của mô hình, an ninh môi trường của mô hình và an ninh xã hội của mô hình (an ninh mạng).

Nhưng sự an toàn của AI không chỉ giới hạn ở ba lĩnh vực riêng biệt này. Để đưa ra một ví dụ sinh động, trong thế giới mạng, dữ liệu giống như nguồn nước. Nguồn nước tồn tại ở các đại dương, sông, hồ, sông băng và núi tuyết, nhưng nguồn nước cũng chảy trong các con sông dày đặc và ô nhiễm nghiêm trọng thường xảy ra tại các giao điểm đông đúc của các con sông.

Tương tự như vậy, mỗi mô-đun cần được kết nối và cũng giống như các khớp của con người dễ bị tổn thương nhất, việc triển khai và ứng dụng mô hình thường dễ bị tấn công bảo mật nhất.

Chúng tôi đã mở rộng có chọn lọc các chi tiết về bảo mật AI trong ba phần và năm liên kết ở trên để tạo thành "Sơ đồ kiến ​​trúc ngành bảo mật AI", nhưng cần lưu ý rằng các cơ hội thuộc về các công ty lớn như các công ty mô hình lớn và nhà cung cấp đám mây, có ít tác động đến các doanh nhân nói chung, sẽ không được liệt kê lại. Đồng thời, bảo mật cho AI là một quá trình đang phát triển và công nghệ hiện nay chỉ là một bước tiến nhỏ.

▲ (Hình ảnh gốc từ Quadrant, vui lòng ghi rõ nguồn khi đăng lại)

Chuỗi ngành bảo mật dữ liệu: dọn dẹp dữ liệu, tính toán riêng tư, tổng hợp dữ liệu, v.v.

Trong toàn bộ bảo mật AI, bảo mật dữ liệu chạy xuyên suốt toàn bộ chu trình.

Bảo mật dữ liệu thường đề cập đến các công cụ bảo mật được sử dụng để bảo vệ dữ liệu trong hệ thống máy tính khỏi bị phá hủy, thay đổi hoặc rò rỉ do các lý do vô tình hoặc cố ý, nhằm đảm bảo tính khả dụng, toàn vẹn và bảo mật của dữ liệu.

Nhìn chung, các sản phẩm bảo mật dữ liệu không chỉ bao gồm phòng thủ bảo mật cơ sở dữ liệu, ngăn ngừa rò rỉ dữ liệu, phục hồi và sao lưu dữ liệu sau thảm họa và giảm độ nhạy cảm của dữ liệu mà còn tập trung vào lưu trữ đám mây, điện toán riêng tư, đánh giá động các rủi ro dữ liệu, bảo mật dữ liệu đa nền tảng, bảo vệ ảo bảo mật dữ liệu, tổng hợp dữ liệu và các lĩnh vực hướng tới tương lai khác. Do đó, theo quan điểm của doanh nghiệp, việc xây dựng một trung tâm an ninh tổng thể xoay quanh bảo mật dữ liệu và thúc đẩy tính nhất quán của bảo mật dữ liệu theo quan điểm của chuỗi cung ứng sẽ là một cách hiệu quả để giải quyết các rủi ro bảo mật chuỗi cung ứng của doanh nghiệp.

Sau đây là một số ví dụ điển hình:

Để đảm bảo "sức khỏe tinh thần" của mô hình, dữ liệu được sử dụng để đào tạo mô hình không được chứa dữ liệu nguy hiểm, dữ liệu sai hoặc dữ liệu bẩn khác. Đây là điều kiện tiên quyết để đảm bảo rằng mô hình không "nói những điều vô nghĩa". Theo tài liệu tham khảo "Self-Quadrant", đã có "đầu độc dữ liệu" khi kẻ tấn công thêm dữ liệu độc hại vào nguồn dữ liệu để can thiệp vào kết quả mô hình.

▲Nguồn ảnh: Internet

Do đó, việc làm sạch dữ liệu trở thành một bước cần thiết trước khi đào tạo mô hình . Làm sạch dữ liệu là bước cuối cùng trong việc phát hiện và sửa các lỗi có thể nhận dạng được trong các tệp dữ liệu, bao gồm kiểm tra tính nhất quán của dữ liệu, xử lý các giá trị không hợp lệ và các giá trị bị thiếu, v.v. Chỉ bằng cách "cung cấp" dữ liệu sạch cho mô hình, chúng ta mới có thể đảm bảo tạo ra một mô hình lành mạnh.

Một hướng đi khác mà mọi người đều vô cùng quan tâm và đã được thảo luận rộng rãi trong kỷ nguyên an ninh mạng gần đây: vấn đề rò rỉ quyền riêng tư dữ liệu.

Bạn hẳn đã từng trải nghiệm việc trò chuyện với bạn bè trên WeChat về một sản phẩm nào đó, rồi sau đó được bạn bè thúc đẩy mua sản phẩm đó khi bạn mở Taobao và Douyin. Trong thời đại số, con người gần như trở nên trong suốt. Trong kỷ nguyên trí tuệ, máy móc đang trở nên thông minh hơn, và việc nắm bắt và cảm ứng có chủ đích sẽ một lần nữa đưa vấn đề quyền riêng tư lên hàng đầu.

Điện toán riêng tư là một trong những giải pháp cho vấn đề này. Điện toán đa phương an toàn, môi trường thực thi đáng tin cậy và học tập liên bang là ba hướng chính của điện toán riêng tư hiện nay. Có nhiều phương pháp tính toán quyền riêng tư. Ví dụ, để đảm bảo dữ liệu thực của người tiêu dùng, người ta trang bị 99 dữ liệu nhiễu cho 1 dữ liệu thực, nhưng điều này sẽ làm tăng đáng kể chi phí sử dụng cho doanh nghiệp. Một ví dụ khác là làm mờ người tiêu dùng cụ thể thành Xiao A. Công ty sử dụng dữ liệu sẽ chỉ biết rằng có một người tiêu dùng tên là Xiao A, nhưng sẽ không biết người dùng thực sự đằng sau Xiao A là ai.

"Dữ liệu hỗn hợp" và "dữ liệu có sẵn nhưng vô hình" là một trong những phương pháp tính toán riêng tư được sử dụng rộng rãi nhất hiện nay. Ant Technology, công ty lớn lên trong lĩnh vực tài chính, luôn đi đầu trong việc khám phá bảo mật dữ liệu. Hiện nay, Ant Technology đã giải quyết được các vấn đề về bảo mật dữ liệu trong quá trình điện toán cộng tác doanh nghiệp thông qua các công nghệ như học tập liên bang, môi trường thực thi đáng tin cậy và blockchain, đồng thời đạt được tính khả dụng của dữ liệu nhưng vô hình, cộng tác nhiều bên, v.v. để đảm bảo quyền riêng tư của dữ liệu và có khả năng cạnh tranh mạnh mẽ trong lĩnh vực điện toán riêng tư toàn cầu.

Nhưng xét về mặt dữ liệu, dữ liệu tổng hợp có thể giải quyết vấn đề một cách cơ bản tốt hơn. Trong bài viết "ChatGPT Revelation Series丨The 100 Billion Market Hidden Under Al lnfra" (nhấp vào văn bản để đọc), "Self-quadrant" đã đề cập rằng dữ liệu tổng hợp có thể trở thành lực lượng chính của dữ liệu AI. Dữ liệu tổng hợp là dữ liệu được máy tính tạo ra một cách nhân tạo để thay thế dữ liệu thực được thu thập trong thế giới thực nhằm đảm bảo tính bảo mật của dữ liệu thực. Không chứa nội dung nhạy cảm có thể bị ràng buộc bởi pháp lý hoặc quyền riêng tư của người dùng.

Ví dụ, người dùng A có 10 đặc điểm, người dùng B có 10 đặc điểm và người dùng C có 10 đặc điểm. Dữ liệu tổng hợp phân tán ngẫu nhiên và khớp 30 đặc điểm này để tạo thành 3 cá thể dữ liệu mới. Điều này không tương ứng với bất kỳ thực thể nào trong thế giới thực, nhưng nó có giá trị đào tạo.

Hiện nay, các doanh nghiệp đã triển khai công nghệ này, dẫn đến lượng dữ liệu tổng hợp tăng theo cấp số nhân. Nghiên cứu của Gartner tin rằng đến năm 2030, dữ liệu tổng hợp sẽ vượt xa khối lượng dữ liệu thực và trở thành lực lượng chính của dữ liệu AI.

▲Nguồn hình ảnh: Gartner chính thức

Bảo mật API: Mô hình càng mở thì bảo mật API càng quan trọng

Những người quen thuộc với các mô hình lớn chắc hẳn phải quen thuộc với API. Từ OpenAI đến Anthropic, Cohere và thậm chí cả PaLM của Google, các LLM mạnh mẽ nhất đều cung cấp các khả năng dưới dạng API. Đồng thời, theo nghiên cứu của Gartner, vào năm 2022, hơn 90% các cuộc tấn công vào ứng dụng web sẽ đến từ API chứ không phải giao diện người dùng.

Luồng dữ liệu giống như nước trong đường ống. Nó chỉ có giá trị khi nó lưu thông và API là van chính cho luồng dữ liệu. Khi API trở thành liên kết cốt lõi để giao tiếp giữa các phần mềm, nó có nhiều cơ hội trở thành công ty quan trọng tiếp theo ra đời.

Rủi ro lớn nhất của API đến từ việc cấp phép quá mức. Để API hoạt động liên tục, các lập trình viên thường cấp cho API những quyền cao hơn. Khi tin tặc có quyền truy cập vào API, chúng có thể sử dụng các quyền cao này để thực hiện các hoạt động khác. Đây đã trở thành một vấn đề nghiêm trọng đến mức, theo nghiên cứu của Akamai, các cuộc tấn công vào API hiện chiếm tới 75% tổng số các cuộc tấn công chiếm đoạt tài khoản trên toàn thế giới.

Đây là lý do tại sao mặc dù ChatGPT đã mở giao diện API, nhiều công ty vẫn mua dịch vụ OpenAI do Azure cung cấp để có được ChatGPT. Kết nối thông qua giao diện API tương đương với việc cung cấp dữ liệu hội thoại trực tiếp cho OpenAI và phải đối mặt với nguy cơ bị tin tặc tấn công bất cứ lúc nào. Bằng cách mua tài nguyên đám mây của Azure, dữ liệu có thể được lưu trữ trên đám mây công cộng của Azure để đảm bảo an ninh dữ liệu.

▲Hình ảnh: Trang web chính thức của ChatGPT

Hiện nay, các công cụ bảo mật API chủ yếu được chia thành một số loại: phát hiện, bảo vệ và phản hồi, thử nghiệm, khám phá và quản lý. Một vài nhà cung cấp tuyên bố cung cấp các công cụ nền tảng bao gồm hoàn toàn chu kỳ bảo mật API, nhưng các công cụ bảo mật API phổ biến nhất hiện nay vẫn chủ yếu tập trung trong ba khía cạnh của "bảo vệ", "thử nghiệm" và "khám phá":

1. Bảo vệ: Một công cụ bảo vệ API khỏi các yêu cầu độc hại, giống như tường lửa API.
2. Kiểm tra: Khả năng truy cập động và đánh giá API cụ thể để tìm các lỗ hổng (thử nghiệm) và làm cứng mã.
3. Discovery: Ngoài ra còn có các công cụ có thể quét môi trường doanh nghiệp để xác định và khám phá các tài sản API tồn tại (hoặc được phơi bày) trong mạng của họ.

Hiện tại, các nhà cung cấp bảo mật API chính thống tập trung vào các công ty nước ngoài, nhưng sau sự gia tăng của các mô hình lớn, các công ty khởi nghiệp trong nước cũng đã bắt đầu nỗ lực. Được thành lập vào năm 2018, Xinglan Technology là một trong số ít các nhà cung cấp bảo mật chuỗi toàn chuỗi API tại Trung Quốc. Dựa trên nhận thức sâu sắc của AI và công nghệ học máy thích ứng, nó giúp giải quyết các vấn đề bảo mật API. Bắt đầu từ khả năng tấn công và phòng thủ, khả năng phân tích dữ liệu lớn và hệ thống công nghệ bản địa, nó cung cấp nhận dạng API toàn cảnh, phát hiện mối đe dọa nâng cao API, phân tích hành vi phức tạp và các khả năng khác và xây dựng hệ thống bảo vệ thời gian chạy API.

▲ Kiến trúc sản phẩm bảo mật API công nghệ Xinglan

Một số công ty bảo mật mạng truyền thống cũng đang chuyển đổi sang kinh doanh bảo mật API. Ví dụ, công nghệ Wangsu trước đây chịu trách nhiệm chủ yếu cho IDC, CDN và các sản phẩm và doanh nghiệp liên quan khác.

Nguồn hình ảnh: Công nghệ Wangsu

SSE (cạnh dịch vụ an toàn): Tường lửa mới

Tầm quan trọng của tường lửa trong thời đại Internet là hiển nhiên, giống như tay vịn ở cả hai phía của một người đi bộ hàng ngàn dặm trên bầu trời. Ngày nay, khái niệm tường lửa đã chuyển từ quầy lễ tân sang bàn phía sau và được nhúng vào các thiết bị đầu cuối phần cứng và hệ điều hành phần mềm. Nói một cách đơn giản, SSE có thể được hiểu là một loại tường lửa mới được điều khiển bởi danh tính của khách truy cập và dựa vào mô hình không tin tưởng để giới hạn quyền truy cập của người dùng vào các tài nguyên được phép.

Theo định nghĩa của Gartner, SSE (Dịch vụ bảo mật) là một tập hợp các chức năng bảo mật tích hợp tập trung vào đám mây bảo vệ quyền truy cập vào web, dịch vụ đám mây và các ứng dụng riêng. Các khả năng bao gồm kiểm soát truy cập, bảo vệ mối đe dọa, bảo mật dữ liệu, giám sát bảo mật và các điều khiển sử dụng có thể chấp nhận được thực thi thông qua các tích hợp dựa trên web và dựa trên API.

SSE bao gồm ba phần chính: Cổng web an toàn, tác nhân bảo mật đám mây và mô hình Zero Trust, giải quyết các rủi ro khác nhau:

1. Cổng web an toàn giúp kết nối nhân viên với Internet công cộng, chẳng hạn như các trang web họ có thể sử dụng cho nghiên cứu hoặc các ứng dụng đám mây không phải là một phần của các ứng dụng SaaS chính thức của công ty.
2. Các nhà môi giới bảo mật truy cập đám mây kết nối nhân viên với các ứng dụng SaaS như Office 365 và Salesforce;
3. Truy cập mạng Zero Trust kết nối nhân viên với các ứng dụng doanh nghiệp tư nhân đang chạy trong các trung tâm dữ liệu địa phương hoặc trong đám mây.

Tuy nhiên, các nhà sản xuất SSE khác nhau có thể tập trung vào một trong các liên kết trên hoặc Excel trong một liên kết. Hiện tại, các khả năng tích hợp chính của SSE ở nước ngoài bao gồm Cổng mạng an toàn (SWG), truy cập mạng không tin tưởng (ZTNA), Nhà môi giới bảo mật truy cập đám mây (CASB), phòng chống mất dữ liệu (DLP), v.v.

Nguồn hình ảnh: Tư vấn kinh doanh Siyuan

Do đó, ở giai đoạn hiện tại, các khả năng của SSE nên tích hợp các khả năng truyền thống và cục bộ hơn, chẳng hạn như khả năng thăm dò phát hiện giao thông, khả năng bảo vệ ứng dụng web, quét lỗ hổng tài sản, quản lý thiết bị đầu cuối và các khả năng khác. Những khả năng này là tương đối những gì khách hàng Trung Quốc cần nhiều hơn ở giai đoạn hiện tại. Từ quan điểm này, SSE cần sử dụng sự hợp tác trên nền tảng đám mây và khả năng của các container bản địa trên đám mây để mang lại các giá trị của khách hàng như chi phí mua sắm thấp, triển khai nhanh chóng, thử nghiệm bảo mật và hoạt động vòng kín.

Năm nay, đối với các mô hình lớn, nhà lãnh đạo ngành công nghiệp Netskope đã dẫn đầu trong việc chuyển sang các ứng dụng bảo mật trong mô hình. Nhóm bảo mật sử dụng các công cụ tự động để liên tục giám sát những ứng dụng mà người dùng doanh nghiệp cố gắng truy cập (như TATGPT), cách truy cập chúng, khi nào truy cập chúng, nơi truy cập chúng và tần suất truy cập chúng. Điều bắt buộc là phải hiểu các mức rủi ro khác nhau mà mỗi ứng dụng đặt ra cho tổ chức và có khả năng tinh chỉnh các chính sách kiểm soát truy cập trong thời gian thực dựa trên các điều kiện phân loại và bảo mật có thể thay đổi theo thời gian.

Nói một cách đơn giản, NetSkope cảnh báo người dùng bằng cách xác định rủi ro trong quá trình sử dụng TATGPT, tương tự như chế độ cảnh báo trong việc duyệt các trang web và tải xuống liên kết. Mô hình này không sáng tạo và thậm chí rất truyền thống, nhưng nó là hiệu quả nhất trong việc ngăn chặn các hoạt động của người dùng.

Nguồn hình ảnh: Trang web chính thức của NetSkope

Netskope truy cập mô hình lớn dưới dạng trình cắm bảo mật. Trong cuộc biểu tình, khi nhà điều hành muốn sao chép một phần dữ liệu tài chính của công ty nội bộ và yêu cầu TATGPT giúp tạo thành bảng, một thanh cảnh báo sẽ bật lên để nhắc nhở người dùng trước khi gửi nó.

Nguồn hình ảnh: Trang web chính thức của NetSkope

Trên thực tế, việc xác định các rủi ro ẩn trong các mô hình lớn khó khăn hơn nhiều so với việc xác định Trojans và các lỗ hổng. Độ chính xác đảm bảo rằng hệ thống chỉ theo dõi và ngăn chặn việc tải lên dữ liệu nhạy cảm (bao gồm các tệp và văn bản clipboard được dán) thông qua các ứng dụng dựa trên AI, nhưng không chặn các truy vấn vô hại và các tác vụ bảo mật thông qua chatbots. Điều này có nghĩa là nhận dạng không thể là cách tiếp cận một kích cỡ phù hợp, nhưng phải linh hoạt dựa trên sự hiểu biết ngữ nghĩa và các tiêu chuẩn hợp lý.

Gian lận và chống gian lận: Công nghệ truyền hình kỹ thuật số và xác thực sinh trắc học

Trước hết, rõ ràng AI lừa gạt con người và con người sử dụng AI để lừa gạt con người là hai điều khác nhau.

Lý do chính tại sao AI lừa gạt con người là mô hình lớn không được giáo dục tốt. Công nghệ bảo vệ NVIDIA đã đề cập ở trên và học tập không giám sát của Openai là cả hai phương pháp để đảm bảo sức khỏe của mô hình trong liên kết an toàn AI.

Tuy nhiên, ngăn AI khỏi lừa đảo con người và về cơ bản theo kịp đào tạo mô hình là nhiệm vụ của các công ty mô hình lớn.

Khi con người sử dụng công nghệ AI để thực hiện gian lận, đó là ở giai đoạn an ninh mạng hoặc an sinh xã hội. Trước hết, cần phải nói rõ rằng đối đầu công nghệ chỉ có thể giải quyết một phần của vấn đề và chúng ta vẫn cần phải dựa vào giám sát, pháp luật và các phương tiện khác để kiểm soát vị trí của tội phạm.

Hiện tại, có hai cách để sử dụng công nghệ để chống lại vấn đề. Một là thêm các hình mờ kỹ thuật số vào nội dung do AI tạo ra ở phía sản xuất để theo dõi nguồn gốc của nội dung. Cái khác là thực hiện nhận dạng chính xác hơn về các tính năng sinh trắc học cụ thể như khuôn mặt ở phía ứng dụng.

Hình mờ kỹ thuật số có thể nhúng thông tin nhận dạng vào các nhà mạng kỹ thuật số. Bằng cách ẩn và thêm một số mã hoặc thông tin kỹ thuật số cụ thể trong nhà mạng, nó có thể xác nhận và xác định xem nhà cung cấp đã bị giả mạo, cung cấp một cơ chế bảo vệ vô hình cho nội dung kỹ thuật số.

Openai trước đây đã tuyên bố rằng họ đang xem xét thêm một hình mờ vào chatgpt để giảm tác động tiêu cực của lạm dụng mô hình; Google cho biết tại hội nghị nhà phát triển năm nay rằng họ sẽ đảm bảo rằng mọi hình ảnh do AI tạo ra của công ty đều có một hình mờ nhúng . Hình mờ không thể được nhận ra bởi mắt thường, nhưng các phần mềm như công cụ tìm kiếm của Google có thể đọc nó và hiển thị nó như một nhãn để nhắc nhở người dùng rằng hình ảnh được tạo bởi AI; Các ứng dụng AI như Shutterstock và MidjTHER cũng sẽ hỗ trợ phương thức ghi nhãn mới này.

Hiện tại, ngoài các hình mờ kỹ thuật số truyền thống, các hình mờ kỹ thuật số dựa trên học tập sâu cũng đã phát triển. Mạng lưới thần kinh sâu được sử dụng để học và nhúng các hình mờ kỹ thuật số, có sự chống phá hủy và mạnh mẽ mạnh mẽ. Công nghệ này có thể đạt được sự nhúng hình mờ kỹ thuật số có cường độ cao và có lỗi cao mà không làm mất chất lượng của hình ảnh gốc. Đồng thời, nó có thể chống lại các cuộc tấn công xử lý hình ảnh một cách hiệu quả và các cuộc tấn công của Steganalysis. Đó là hướng kỹ thuật chính tiếp theo.

Về phía ứng dụng, các video khuôn mặt tổng hợp hiện đang được "phương pháp gian lận" được sử dụng phổ biến nhất. Nền tảng phát hiện nội dung dựa trên Deepfake (công nghệ giả sâu) là một trong những giải pháp ở giai đoạn này.

Đầu tháng 1 năm nay, NVIDIA đã phát hành một phần mềm có tên FakeCatcher, tuyên bố rằng nó có thể phát hiện liệu một video có phải là giả mạo sâu với độ chính xác lên tới 96%hay không.

Được biết, công nghệ Fakecatcher của Intel có thể xác định những thay đổi về màu quan trọng khi máu lưu thông trong cơ thể. Tín hiệu lưu lượng máu sau đó được thu thập từ khuôn mặt và được dịch bởi một thuật toán để nhận ra liệu video là có thật hay Deepfake. Nếu đó là một người thực sự, máu liên tục lưu thông trong cơ thể và các tĩnh mạch trên da sẽ có những thay đổi định kỳ về chiều sâu và nông cạn, nhưng điều này không xảy ra với sự giả mạo sâu.

Nguồn hình ảnh: Trang web chính thức AI thực sự

Ngoài ra còn có một công ty khởi nghiệp ở Trung Quốc có tên là "AI thực sự" dựa trên các nguyên tắc kỹ thuật tương tự. Nó xác định sự khác biệt trong biểu diễn nội dung giả và nội dung thực và khám phá các đặc điểm nhất quán của nội dung giả sâu được tạo ra thông qua các phương thức khác nhau.

2. AI cho bảo mật: Cơ hội mới trong chuỗi ngành công nghiệp trưởng thành

Không giống như bảo mật cho AI, đây vẫn là cơ hội của ngành công nghiệp tương đối mới nổi, "AI cho bảo mật" là nhiều hơn về sự chuyển đổi và củng cố của hệ thống bảo mật hiện có.

Chính Microsoft đã bắn phát súng đầu tiên vào lĩnh vực AI để bảo mật. Vào ngày 29 tháng 3, sau khi cung cấp Trợ lý Copilot điều khiển AI cho Bộ Office, Microsoft gần như ngay lập tức chuyển sự chú ý của mình sang trường bảo mật và đưa ra giải pháp AI tổng quát dựa trên GPT-4-Microsoft Security Copilot.

Copilot bảo mật của Microsoft vẫn tập trung vào khái niệm đồng nghiệp AI. Nó không liên quan đến các giải pháp bảo mật mới, mà là tự động hóa hoàn toàn quá trình giám sát và xử lý bảo mật doanh nghiệp ban đầu thông qua AI.

▲ Nguồn hình ảnh: Trang web chính thức của Microsoft

Đánh giá từ cuộc biểu tình của Microsoft, bảo mật Copilot có thể giảm thời gian cần thiết để xử lý các sự cố ransomware từ vài giờ hoặc thậm chí hàng chục giờ xuống vài giây, cải thiện đáng kể hiệu quả xử lý bảo mật doanh nghiệp. Chang Kawaguchi, Kiến trúc sư bảo mật Microsoft AI, một khi đã đề cập: Số lượng các cuộc tấn công đang tăng lên, nhưng lực lượng phòng thủ nằm rải rác giữa nhiều công cụ và công nghệ.

Chúng tôi tin rằng Aversion Copilot có khả năng thay đổi cách vận hành và cải thiện hiệu quả của các công cụ và công nghệ bảo mật. "Hiện tại, các công ty an ninh trong nước Qi'anxin và Sangfor cũng đang theo dõi sự phát triển trong lĩnh vực này. Hiện tại, doanh nghiệp này vẫn còn ở giai đoạn trứng nước ở Trung Quốc và hai công ty chưa công bố các sản phẩm cụ thể, nhưng họ có thể phản ứng kịp thời và theo kịp tốc độ của những người khổng lồ quốc tế, điều này không dễ dàng.

Vào tháng Tư, Google Cloud đã ra mắt AI Workbench bảo mật tại RSAC 2023, một nền tảng có thể mở rộng dựa trên mô hình lớn của Google Secomm Sec-Palm. Các doanh nghiệp có thể truy cập các loại trình cắm bảo mật khác nhau thông qua AI Workbench bảo mật để giải quyết các vấn đề bảo mật cụ thể.

Nguồn hình ảnh: Trang web chính thức của Google

Nếu Microsoft Security Copilot là trợ lý bảo mật tư nhân được đóng gói, AI Workbench của Google là một hộp công cụ bảo mật AI có thể tùy chỉnh và có thể mở rộng. Nói tóm lại, một xu hướng chính là việc sử dụng AI để thiết lập một trung tâm vận hành bảo mật tự động để chống lại các hình thức bảo mật mạng thay đổi nhanh chóng sẽ trở thành tiêu chuẩn.

Ngoài các công ty hàng đầu, việc áp dụng các mô hình AI lớn trong lĩnh vực bảo mật cũng đang đi vào mao mạch. Ví dụ, nhiều công ty an ninh trong nước đã bắt đầu sử dụng AI để biến đổi các sản phẩm an ninh truyền thống.

Ví dụ, SangFor đề xuất logic của "AI + Cloud Business" và ra mắt công nghệ tích hợp bảo trì thông minh AIOPS, cung cấp cho người dùng các dịch vụ phân tích thông minh bằng cách thu thập nhật ký, liên kết và dữ liệu chỉ số của các đám mây trên máy tính để bàn, thực hiện dự đoán lỗi, phát hiện dị thường, lý luận liên kết và các thuật toán khác.

Sangfor Technology tích hợp các khả năng AI vào các khả năng học máy phản hồi tích cực và tiêu cực. Về mặt đào tạo phản hồi tích cực Phân tích hành vi bất thường, việc học dựa trên các đường cơ sở hành vi có thể phát hiện các mối đe dọa và sự bất thường chính xác hơn trước và giảm các báo cáo bị bỏ lỡ. Về mặt đào tạo phản hồi tiêu cực, đào tạo hành vi, phân cụm hành vi, phân loại hành vi và xác định mối đe dọa được thực hiện.

Ngoài ra, có những công ty như Anbotong áp dụng AI cho phân tích điểm đau của các hoạt động bảo mật, v.v. ở nước ngoài, nhà cung cấp bảo mật nguồn mở Armo đã phát hành tích hợp TATGPT, được thiết kế để xây dựng các điều khiển bảo mật tùy chỉnh cho các cụm Kubernetes thông qua ngôn ngữ tự nhiên. Nhà cung cấp bảo mật đám mây Orca Security đã phát hành tiện ích mở rộng Chatppt của riêng mình để xử lý các cảnh báo bảo mật được tạo bởi giải pháp và cung cấp cho người dùng các hướng dẫn khắc phục từng bước để quản lý các sự cố vi phạm dữ liệu.

Tất nhiên, với tư cách là một chuỗi ngành công nghiệp trưởng thành và lớn, cơ hội cho AI cho bảo mật còn hơn nhiều so với những điều này. Chúng tôi chỉ ném ra một số ý tưởng ở đây. Các cơ hội sâu sắc hơn và lớn hơn trong lĩnh vực an ninh vẫn cần được khám phá thông qua thực tiễn bởi các công ty chiến đấu trên tiền tuyến của an ninh.

Quan trọng hơn, tôi hy vọng rằng các công ty trên có thể giữ chân họ trên mặt đất và không quên ý định ban đầu của họ. Đặt những giấc mơ rộng lớn của bạn vào các hành động thực tế từng bước, thay vì tạo ra các khái niệm và theo xu hướng. Đừng mù quáng phục vụ vốn và tiền nóng, để lại một mớ hỗn độn.

IV. Phần kết luận

Chỉ trong 10 năm sau khi internet ra đời, khái niệm và chuỗi công nghiệp của an ninh mạng bắt đầu hình thành.

Hôm nay, nửa năm sau khi người mẫu lớn ra mắt, an toàn và phòng chống gian lận mô hình lớn đã trở thành cuộc nói chuyện của thị trấn. Đây là một cơ chế quốc phòng được xây dựng trong "ý thức con người" sau sự tiến bộ và lặp lại của công nghệ. Khi thời gian thay đổi, nó sẽ được kích hoạt và cho ăn lại nhanh hơn.

Sự hỗn loạn và hoảng loạn ngày nay không khủng khiếp, chúng là những bước cho kỷ nguyên tiếp theo. Như đã nêu trong "Sapiens: Một lịch sử ngắn gọn của loài người": Hành vi của con người không phải lúc nào cũng dựa trên tính hợp lý; Các quyết định của chúng tôi thường bị ảnh hưởng bởi cảm xúc và trực giác. Nhưng đây chính xác là liên kết quan trọng nhất trong tiến trình và phát triển.

Tác giả: Luo Ji Cheng Xin, biên tập viên: Wen Bin

Nguồn tài khoản công khai: Zi Quadrant (ID: zixiangxian), có một góc phần tư giữa các hình vuông. Quan tâm đến khoa học công nghệ, kinh tế, nhân văn và cuộc sống.