號稱(chēng)可提供ChatGPT服務(wù)，實(shí)際是冒牌AI；視頻電話(huà)中熟悉的“親友”，是不法分子AI換臉模擬而成；為博取流量，用AI技術(shù)編造虛假謠言，流量變“流毒”……

　　隨著(zhù)人工智能的發(fā)展迭代，生成式AI正以前所未有的速度重塑著(zhù)日常生活，但由此衍生出的新騙局、新套路也在刷新人們對風(fēng)險防范的認知。這背后不僅關(guān)乎廣大消費者的財產(chǎn)安全，還潛藏著(zhù)人身安全風(fēng)險和隱患。記者梳理近期管理部門(mén)查處的AI相關(guān)案件，揭開(kāi)人工智能“圈套”背后的真相。

　　9塊9使用ChatGPT？其實(shí)是“套殼AI”

　　自人工智能產(chǎn)品ChatGPT爆火，一些企業(yè)看到無(wú)限“錢(qián)景”，強行“關(guān)聯(lián)”。一時(shí)間，市場(chǎng)上涌現出不少與ChatGPT“沾親帶故”的服務(wù)產(chǎn)品。2023年2月，一個(gè)名為“ChatGPT在線(xiàn)”的公眾號引起了上海市徐匯區市場(chǎng)監管部門(mén)的注意。

　　這個(gè)頭像與ChatGPT原開(kāi)發(fā)公司官方標識高度相似的公眾號，在用戶(hù)短暫免費體驗后即需注冊會(huì )員付費使用，支付9.9元可以對話(huà)20次，隨著(zhù)對話(huà)次數增加，其收費也逐步提高。該公眾號僅用兩個(gè)月就吸納超36萬(wàn)人的粉絲量，累計注冊付費用戶(hù)4231人，經(jīng)營(yíng)額共計125385.44元。

　　執法人員調查發(fā)現，該公眾號的運營(yíng)公司與實(shí)際ChatGPT開(kāi)發(fā)公司并無(wú)關(guān)聯(lián)。所謂“ChatGPT在線(xiàn)”也并非“ChatGPT”產(chǎn)品本身。“當事人為實(shí)現銷(xiāo)售目的，使用類(lèi)似圖像、名稱(chēng)及服務(wù)簡(jiǎn)介等多種手段實(shí)施復合性混淆行為，利用‘ChatGPT’熱點(diǎn)進(jìn)行攀附，混淆真實(shí)情況，謀取交易機會(huì )，獲取不當利益。”上海市徐匯區市場(chǎng)監督管理局執法稽查科副科長(cháng)張琦說(shuō)，當事人行為違反了《中華人民共和國反不正當競爭法》第六條第（四）項的規定，市場(chǎng)監管部門(mén)已責令其停止違法行為，處以罰款，并要求其妥善處置相關(guān)消費糾紛。

　　記者發(fā)現，“冒牌AI”的現象并不少見(jiàn)。2023年，百度“文心一言”上市前夕，網(wǎng)上出現大量打著(zhù)“文心一言”旗號的社交媒體賬號。隨后百度官方發(fā)文辟謠稱(chēng)“文心一言”尚未注冊社交賬號。

　　“人工智能大模型開(kāi)源生態(tài)的建立，讓AI發(fā)展加速的同時(shí)也讓生成式AI更容易被濫用。”中國行政法學(xué)研究會(huì )常務(wù)理事、華東政法大學(xué)教授沈福俊認為，考慮到立法的滯后性，監管部門(mén)還需更加關(guān)注新技術(shù)發(fā)展對市場(chǎng)端的影響，加大事前監管力度，充分運用現有的法律法規資源實(shí)施有效監管，切莫使新問(wèn)題隱匿在“監管盲區”。

　　張琦也表示，消費者出于對新興技術(shù)的好奇，往往在不知不覺(jué)陷入“圈套”。“如果誤用了別有用心的‘套殼AI’，甚至可能被不法分子套取個(gè)人信息，埋下安全隱患。”他建議，消費者在選擇AI產(chǎn)品時(shí)需仔細甄別，避免被商家誤導。“如果購買(mǎi)到了仿冒產(chǎn)品，要保留好相應的產(chǎn)品購買(mǎi)憑證，主動(dòng)聯(lián)系監管部門(mén)，維護自身合法權益。”

　　“AI換臉”詐騙 眼見(jiàn)不一定為實(shí)

　　只需一通視頻電話(huà)，不法分子就騙走了430萬(wàn)元。2023年4月，福建省某科技公司法定代表人郭先生接到“好友”的微信視頻通話(huà)，對方聲稱(chēng)自己當下需要430萬(wàn)元保證金用以項目競標，想借用郭先生公司的賬戶(hù)“走個(gè)賬”。因為有先前的視頻通話(huà)，加之對“好友”的信任，郭先生陸續給對方轉賬共計430萬(wàn)元。隨后郭先生再次聯(lián)系好友時(shí)才發(fā)現自己被騙。所幸在警方幫助下，成功止付攔截336.84萬(wàn)元。

　　據郭先生回憶，由于在視頻電話(huà)中確認了對方的面孔和聲音，所以毫不懷疑對方身份有詐。不僅如此，犯罪分子還精準了解郭先生與好友的關(guān)系，并成功盜取好友微信賬號實(shí)施詐騙，令人不寒而栗。

　　AI技術(shù)的迭代升級讓不法分子借助智能AI換臉和擬聲技術(shù)，就可輕松實(shí)現遠程視頻詐騙。記者調查發(fā)現，最近多地出現的AI換臉詐騙案件，均具備定制性、迷惑性等特征。

　　其中，香港警方近期披露一起涉案金額高達2億港元的多人AI換臉詐騙案尤為典型。據媒體報道，某公司職員受邀參加公司“多人視頻會(huì )議”時(shí)，先后將2億港元分別轉賬到5個(gè)本地銀行賬戶(hù)內。據警方調查，這場(chǎng)視頻會(huì )議中除了受害者外，其余均為AI換臉后的詐騙人員。

　　不少業(yè)內專(zhuān)家表示，隨著(zhù)文生視頻大模型Sora等多模態(tài)人工智能的探索和出現，人們可能陷入“眼見(jiàn)也不一定為實(shí)”的困局。“一直以來(lái)，銀行等部門(mén)將實(shí)時(shí)視頻用做檢驗身份的手段之一，如今其可靠性將面臨巨大挑戰。”沈福俊說(shuō)，“隨著(zhù)人工智能技術(shù)的迭代升級，這類(lèi)違法行為還可能演變出更多形態(tài)。”

　　沈福俊坦言，對此類(lèi)AI換臉和AI擬聲的惡性詐騙案件，若只依靠傳統監管手段已不能防堵，監管部門(mén)在提升自我科技能力儲備的同時(shí)，有必要引入新興技術(shù)，探索用AI技術(shù)監管AI的可能。

　　從消費者角度出發(fā)，沈福俊建議提升全民個(gè)人信息保護意識，謹防隱私泄露。“不管是在互聯(lián)網(wǎng)上還是社交軟件上，盡量避免過(guò)多地暴露自己的信息，在涉及轉賬交易等行為時(shí)，可以多角度詢(xún)問(wèn)身份信息，反復驗證對方是否為本人。”

　　警惕“AI造謠” 小心“流量”變“流毒”

　　當前AIGC技術(shù)已在文本生成、圖片創(chuàng )作等方面廣泛應用，輸入幾個(gè)關(guān)鍵詞即可由AI快速生成一張畫(huà)或一篇文章。但一些用戶(hù)為博眼球、蹭熱度，卻將人工智能技術(shù)用以編“偽消息”，造“假通報”。

　　2023年6月，一條名為《浙江工業(yè)園現大火濃煙滾滾，目擊者稱(chēng)有爆炸聲！》的視頻在網(wǎng)絡(luò )上流傳，引發(fā)網(wǎng)友關(guān)注。后經(jīng)相關(guān)部門(mén)核實(shí)為謠言。據調查，當事人為給自己賬號漲粉引流，獲取更多利益，通過(guò)非法渠道購買(mǎi)了AI視頻生成軟件。該當事人將網(wǎng)絡(luò )熱門(mén)話(huà)題通過(guò)AI自動(dòng)生成視頻產(chǎn)品，并上傳至多個(gè)熱門(mén)視頻平臺。

　　截至案發(fā)，相關(guān)當事人發(fā)布的虛假視頻多達20余條，涉及浙江、湖南、上海、四川等多個(gè)省市，累計閱讀觀(guān)看量超過(guò)167萬(wàn)次。目前浙江紹興上虞法院已開(kāi)庭審理并當庭宣判了這起案件，兩名被告均被判處有期徒刑。

　　但“AI謠言”仍時(shí)有發(fā)生。2024年1月，廣西東興市駱某某為博取流量，將其他地區的抗洪、救災視頻，經(jīng)AI軟件自動(dòng)編輯，編造新疆烏什縣發(fā)生地震的虛假視頻信息。同年1月，四川一網(wǎng)民在某平臺發(fā)布“貴州女?huà)氡粭墶钡闹{言文章。經(jīng)調查，該涉謠文章由AI系統生成并發(fā)布，相關(guān)言論及照片均為不實(shí)信息。

　　技術(shù)的普及帶動(dòng)自媒體產(chǎn)業(yè)的繁榮。但一些網(wǎng)民為獲取流量不惜利用技術(shù)手段編造生成虛假視頻，讓“AI謠言”在網(wǎng)絡(luò )上傳播，不僅給網(wǎng)絡(luò )安全帶來(lái)嚴峻挑戰，也嚴重擾亂社會(huì )秩序。

　　2023年，最高人民法院、最高人民檢察院、公安部聯(lián)合發(fā)布的《關(guān)于依法懲治網(wǎng)絡(luò )暴力違法犯罪的指導意見(jiàn)》中規定，對“利用‘深度合成’等生成式人工智能技術(shù)發(fā)布違法信息”的情形，依法從重處罰。

　　對此，沈福俊等多位專(zhuān)家表示，一方面，要提高廣大自媒體經(jīng)營(yíng)者的法律意識，從源頭減少此類(lèi)“AI謠言”的產(chǎn)生；另一方面，監管部門(mén)也要加強相關(guān)案件的宣傳推廣，提高網(wǎng)民對“AI謠言”的鑒別力。（記者程思琪參與采寫(xiě)：陳一飛）