11 月 24 日消息，據「網信上海」微信公眾號消息，生成式人工智慧技術蓬勃發展，賦能千行百業為社會生產生活帶來巨大便利，但違規濫用問題也逐漸突出，AI 換臉、AI 變聲、AI 偽造等侵權和破壞網絡生態現象層出不窮，給新技術新應用安全帶來諸多風險挑戰。
上海市網信辦在執法辦案工作中發現，部分企業開發使用生成式人工智慧功能，未依法開展安全評估工作、未採取必要的安全防護措施防範違規信息生成、未採取限制措施防止被濫用，導致相關功能被用於「換臉變聲」「變裝造假」等侵犯他人個人信息權益行為，產出「開盒」「洗錢」等違法違規內容，以及生成色情低俗圖片等信息內容。「亮劍浦江・2025」專項執法行動將「整治 AI 濫用」作為年度治理重點，以執法促合規護航新興產業高質量發展。
專項行動期間，兼顧執法力度與溫度，多措並舉引導生成式人工智慧領域企業合規運營。一是加強日常管理。指導屬地應用商店下線違規應用生成式人工智慧技術的 App 共 54 款。對照《人工智慧生成合成內容標識辦法》，指導專家團隊擬制「實務解析」，為企業提供疑難解答。二是強化處置處罰。對前期要求下線功能的 26 家生成式人工智慧服務網站，進行「回頭看」巡查，防範問題復發。對 3 家拒不整改的生成式人工智慧服務網站，首次適用《生成式人工智慧服務管理暫行辦法》予以立案處罰。三是首違企業免罰。督促 5 家首次發現存在未按國家規定開展安全評估工作或違規提供「論文代寫」功能等違法違規問題的網站下線相關功能，並就生成式人工智慧服務備案工作提供指導。
通過專項行動，生成式人工智慧領域法治觀念不斷強化，企業合規經營意識明顯加強，「AI 濫用」問題得到改觀。下一步，上海市網信辦將鞏固專項行動成果，持續對「AI 濫用」「算法推薦」等存在侵犯個人信息權益、危害網絡生態的違法違規行為予以重點打擊和糾治，促進新技術新應用在法治的軌道上健康有序發展。
