国家网信办 11 月 6 日发了一份通报,累计清理违法违规信息 4.7 万余条,处置账号 3961 个。账号名都打了码,「花**记」「微**天」「康*」这样,可手法写得挺细。看完最直观的感受是,刷短视频时那位在镜头前推荐东西的熟脸,未必是本人。这次集中整治针对的正是滥用人工智能技术假冒仿冒公众人物。
第一类最直接,未经授权仿冒名人带货。微信、抖音、小红书上那批账号用 AI 仿冒名人肖像,或者合成名人的声音,还有的盗用公众人物家属的照片和形象变体,拿去做商品推广、引流带货。第二类是编谣言,有账号盗用肖像,用 AI 特效造出某位公众人物患阿尔兹海默症的消息。第三类不卖货也不造病,用 AI 假冒名人,以第一人称谈观点、讲经历、发情感话术,先把人攒起来。第四类更离谱,用 AI 生成合成知名公众人物跳低俗舞蹈、做亲密互动的画面,靠这个吸粉牟利。四类里前两类直接奔着钱去,后两类图的是关注,攒够了照样能卖东西。
把四类排在一起看,能发现门槛降在哪儿。以前要冒充一个人,得找长得像的、模仿声音、还得编一套说辞,如今一张照片加一段录音,人工智能就能生成一段像模像样的视频。声音能合成,脸能换,连家属的照片都能拿来改。平台上的账号看起来和真人账号没两样,标题写着名人名字,点进去是一段流畅的口播,普通刷到的人很难当场分出来。

同一天还有另一份文件。中央网信办印发通知,在全国部署为期两个月的「清朗·整治科普健康类网络谣言」专项行动,点名的四类问题里有一类就是滥用人工智能技术生成健康科普谣言。通报举的例子很具体,打造所谓「国家一级保健师」「国家一级营养师」,穿着专业服装在医院、诊室摆拍,把普通食品和保健品包装成包治百病的神药,还有虚构康复案例夸大疗效,再往私域里引着人消费。这类内容骗的多半是家里老人,画面正经,说话稳,配一段 AI 生成的讲解,比对着一篇文章更容易让人信。文件里还写了要建立科普谣言信息关键词库和典型案例库,督促平台提升对 AI 生成合成这类内容的发现、识别和处置能力。
光靠平台认脸,眼下还有个技术上的坎。欧盟要求 AI 生成的文本加水印,OpenAI 10 月推出的 textGrain 就是冲这条去的,IEEE Spectrum 11 月 5 日报道说,测试里文本一被编辑,或者长度低于 150 字,水印往往就留不住了。xAI 在 11 月 7 日把 Grok API 的文本水印从可选改成默认开启,覆盖七款模型,做法是先让机器产出的内容带上可识别标记。标记能不能一路跟着内容走,改几句、截一段、换个平台发还认不认得出来,目前没有统一答案,法律上也还没定出水印该做到什么程度算合格。
监管这边在往两头走。一头是删内容、关账号、压平台责任,网信部门说下一步还会持续加大整治力度。另一头是往设备里走,工信部 11 月 6 日发了《关于加强智能体终端设备进网管理的通知》,涉及手机、平板、可穿戴这些终端,要逐步建立智能体终端的监管规则,管智能体适配、进网、现网升级和分发,文件里的说法是引导技术为人所用、为人所控。前一份管已经发出来的内容,后一份管往后能自己动手做事的程序。
对普通人来说,眼下最管用的一条很朴素,看到名人荐货、专家讲养生、或者谁家家属出镜讲病情,先去本人账号或者正规媒体里找一眼有没有这回事。找不到,就先别下单。这条规矩听着笨,可它不依赖平台有没有认出那段视频是生成的。
往后一年,值得盯的是三处。平台会不会给 AI 生成内容加更醒目的提示,水印在转发和剪辑之后能不能留下来,还有智能体终端那套进网规则落地成什么样子。人工智能造出以假乱真的画面已经不难,难的是让每个刷到的人第一时间看得出。这些规矩会一条条定下来,有进展我们接着写。

评论列表 (8条):
加载更多评论 Loading...