
Digital Camera World 喺題為「Google’s chatbot refuses to make deepfakes. But Gemini’s new photo‑editing capabilities open the AI to far more potential for misuse」嘅報道中,對 Google 新版聊天機器人 Gemini 嘅圖像編輯能力做咗實測同風險評估。報道指,Google 為咗防止「憑空生成某個真人人物嘅深度偽造」訂咗明確嘅拒絕策略:用戶如果只用文字提示要求生成或偽造具體真人,模型會拒絕輸出。
但問題喺「以圖生圖」嗰個流程。Gemini 新嘅編輯工具允許用戶上傳一張真實相,然後透過遮罩(mask)、局部修補同擴邊(image expansion)等功能,對人物嘅表情、姿勢、衫著、光線同背景反覆修改。報道作者示範咗個流程:先上傳一張普通肖像,再用文字提示改變人物年齡、調整面部表情、替換背景,儲存後對新相再做第二輪編輯。多輪迭代之後,最終出嚟嘅圖像一方面保留原相嘅面容特徵,另一方面喺細節上呈現高度真實感——呢種「以真為基、不斷變形」嘅路徑,繞過咗 Google 對「文字生成真人」請求嘅拒絕邏輯。
報道放大咗呢個漏洞帶嚟嘅風險:任何人只要攞到目標嘅一張相(來源可以係社交媒體或公開檔案),就可以用 Gemini 嘅編輯鏈製造出多個版本嘅「逼真替代」圖像。更危險係,模型喺修補、化妝、表情微調方面已經夠細緻,令合成結果即使放大鑑證都唔容易即刻分辨係偽造品。報道仲指出,雖然 Gemini 對直接生成公眾人物圖像嘅請求有防護,但對於用戶提供相片再要求「改變場景或行為」嘅編輯請求,現時嘅自動化檢測未夠完善。
Google 回應強調佢哋喺圖像生成方面有多層安全措施,包括限制生成某啲公眾人物、內置濫用檢測器同發佈使用守則;但 Digital Camera World 提示,喺面對「源相可得」嘅現實場景時,呢啲措施顯得好脆弱。作者舉例話:將一張普通相嘅背景換做有爭議嘅場景,或者將人物神態調做具挑釁性嘅表情,就可能製造誤導性視覺證據,用嚟做網絡騷擾、敲詐或政治抹黑。
報道最後提出建議:第一,模型端需要加強對「以圖為基」嘅連續編輯鏈嘅可追溯性同水印化,自動嵌入不可見但可驗證嘅生成標識;第二,平台應提升對上傳原相嘅審核同來源追蹤,尤其要明確禁止用未經同意嘅第三方肖像做多輪合成;最後,社會要推動更嚴格嘅法律同技術並行,例如數碼內容溯源標準同強制性嘅元數據聲明。
整體嚟講,Digital Camera World 嘅報道一方面肯定 Gemini 喺圖像編輯帶嚟嘅創作便利,另一方面亦對「防護機制只針對文字生成但未覆蓋圖像迭代路徑」呢個現實漏洞提出咗明確警告——喺技術普及嘅今日,生成工具嘅便利同濫用風險正處於一條危險嘅臨界線上。