OpenAI Sora 2 災情擴大：暴力內容湧現，科技巨頭的內容審核防線再度失靈

Sora 2 暴力內容湧現，科技巨頭內容審核機制面臨嚴峻考驗。

OpenAI Sora 2 災情擴大：暴力內容湧現，科技巨頭的內容審核防線再度失靈 近期，社群媒體平台上出現令人不安的現象，由 OpenAI 新一代影像生成模型 Sora 2 產出的暴力影片正在快速傳播。這些影片的內容極度令人不安，專門描繪女性遭受絞殺的場景，充分暴露了生成式 AI 在內容安全防護上的巨大漏洞。對於致力於推動 AI 普及的科技巨頭而言，這無疑是一記響亮的耳光。小編認為，當技術的發展速度遠超安全機制的建立速度時，我們必須嚴肅面對隨之而來的倫理與社會衝擊。 社群媒體充斥著令人髮指的 AI 產製影片 根據 Emanuel Maiberg 的報導，近期在 X（前稱 Twitter）和 TikTok 等主流平台上，湧現出大量利用 Sora 2 生成的 AI 影片，內容主題統一且令人髮指：女性和女孩被絞殺。這類影片通常長度約十秒，畫面中模擬一名「少女」在遭受絞殺時掙扎、痛苦，直到最終失去意識倒地。 這些影片的標題更是令人側目，例如「一名女高中啦啦隊員被兇手用錢包帶勒斃，真是太瘋狂了！」、「預校的女生們被兇手絞殺了！」等等，這些描述性的標題，不僅為內容增添了煽動性，更凸顯了創作者的惡意意圖。這不再是簡單的技術測試，而是赤裸裸的惡意濫用，挑戰著所有平台對暴力內容的零容忍底線。 科技公司政策的徒勞證明 令人費解的是，這些影片的產生直接利用了 OpenAI 最新的 Sora 2 模型。儘管 OpenAI 聲稱在模型發布前已部署了安全措施，力求防止用戶生成仇恨、暴力或成人內容，但顯然這些防護措施在面對專門的惡意提示詞（prompt）時形同虛設。這已經是生成式 AI 發展過程中反覆出現的模式：當公司急於展示其模型的強大能力時，往往忽略了「壞人」總能找到繞過安全協議的方法。 小編不禁要問，當開發者將如此強大的生成工具推向市場時，是否真的對其潛在的濫用場景進行了足夠徹底的壓力測試？僅僅依靠文本過濾器和事後審核，顯然無法有效遏止這類惡意內容的傳播。每次這類事件發生，都是對 AI 開發公司內容治理決策能力的公開審判。 平台審核機制的反應與滯後 不僅是 OpenAI 的責任，內容傳播的平台——X 和 TikTok——也必須為這些暴力影片的氾濫負起責任。這些帳號專門建立用來發布這些 AI 產製的絞殺影片，顯示了平台審核機制的嚴重不足或反應遲緩。在社群媒體上，內容的傳播速度是以秒計的，如果平台無法在內容爆炸性傳播的初期階段及時發現並移除，那麼事後補救往往顯得蒼白無力。 這類極端暴力內容的持續出現，不僅對公眾造成心理上的不適，更可能對特定群體造成實質性的恐懼和傷害。我們期待看到這些平台能拿出更果斷、更主動的行動，而不是被動地等待外界揭發後才有所動作。 科技倫理的深層次詰問 Sora 2 此次的風波再次將生成式 AI 的倫理問題推上了風口浪尖。當我們的工具能夠以前所未有的真實度和效率創造內容時，界線變得越來越模糊。我們追求技術的進步，但這份進步是否必須以犧牲社會安全為代價？ 面對 AI 產製的深度偽造（Deepfake）和極端暴力內容，僅靠技術修補已經不夠。這需要更強硬的監管框架、更嚴格的開發責任歸屬，以及公眾對內容來源的批判性審視。這場關於「工具無罪」與「開發者有責」的辯論，在每一次這類令人不安的影片出現時，都會變得更加尖銳。科技的進步不該只是追求「能做什麼」，而更應該聚焦於「我們該做什麼」。 學習 AI 趨勢，掌握未來能力 在這個技術快速迭代的時代，理解 AI 模型的能力與局限，以及如何負責任地使用它們，已成為職場和個人發展的關鍵技能。僅僅將 AI 視為一個黑箱工具是遠遠不夠的。 香港 AI 培訓學院 Hong Kong AI-SOLVE Academy 專注於提供前瞻性的 AI 實戰培訓，旨在幫助業界人士和有志者深入理解生成式 AI 的底層邏輯、應用場景以及最重要的——風險控制。我們相信，只有掌握了深度知識，才能真正駕馭這股變革浪潮。 現在就報名參加我們的「解鎖AI超能力 - AI實戰講座」，學習如何在科技洪流中保持領先，成為問題的解決者，而非被影響者。 免費課程講座報名連結：https://www.hkai-solve-academy.com/ai-superpower?utm_source=blogpost 新聞來源：404 Media 新聞連結：https://www.404media.co/openais-sora-2-floods-social-media-with-videos-of-women-being-strangled/