#人工智慧 #機器學習 #aigc #技術實作
🌗 利用「傳統」機器學習偵測 AI 生成的網路小說(AIGC 文本檢測)
➤ 從棄用高成本模型到以傳統 ML 實現高效偵測
✤ https://blog.lyc8503.net/en/post/llm-classifier/
隨著 AI 生成內容(AIGC)氾濫,作者對現有的檢測工具感到失望,決定自行開發一套基於傳統機器學習的檢測系統。他摒棄了複雜且成本高昂的「困惑度(Perplexity)」分析法,轉而採用 scikit-learn 的 TF-IDF 與線性支持向量機(Linear SVC)模型。透過收集大量人類創作與 AI 生成的文本作為訓��集,作者成功訓練出一套在句子層面擁有約 85% 準確率的檢測器,不僅運算輕量,且在實測中表現優於許多坊間昂貴的線上檢測服務。
+ 這思路很清晰,原來不用大模型,透過 TF-IDF 捕捉 AI 文本的統計規律就夠用了,對於網文這種風格明顯的內容確實有效。
+ 雖然作者用了「魔法」獲取訓練數據,但這種回歸傳統算法(SVM)的做法在工程效率上真的很驚人。不過,面對未來的 AI 針對性訓練,這類
#人工智慧 #機器學習 #AIGC 檢測 #技術實作
——
GripNews (
[email protected])
Nostr: nprofile1qyt8wumn8ghj7un9d3shjtnyd968gmewwp6kytcqyzye8jca04luld7s4stfw8kh2g374sny6r5pjt85vxzzl5rkxazeglnmy7u
https://mastodon.social/@GripNews/116930806664224101