外送茶定點茶頁面可能同時出現在多個城市分類、標籤頁與搜尋結果中。若每個網址都算一筆,外約資料庫的規模、地區比例和更新速度都會被重複內容放大。

網址不同不代表實體不同

分類參數、分頁與追蹤碼可以產生多個網址。應先正規化網址,再檢查標題、圖片指紋與穩定識別欄位。

名稱相同也未必是同一筆

常見暱稱可能由多人使用,不能只靠名稱合併。相反地,改名也可能仍是同一來源,因此需要多個低敏感特徵共同判斷。

保留不確定配對

證據不足時標成可能重複,不強行拆分或合併。報告可提供去重前、確定去重後與可能範圍三個數字。

地區統計採主要或多重歸屬

一筆跨區資料要採主要地區還是多標籤,取決於研究問題。規則必須一致,否則各縣市總和可能超過全部唯一項目。

若報告無法公開識別規則,也應提供去重案例的匿名示意,讓讀者理解哪些特徵會合併、哪些相似情況仍保持分開。

去重不是刪掉相似名稱,而是建立可解釋的識別規則,並把不確定性保留在結果裡。