Google無法理解，重複產品或重複內容的所有Magento URL都以同一頁面為目標。 用戶會看到與您網站網址最相關的版本（根據Google），但看不到您希望顯示的版本；
因此，如果Google漫遊器發現重複的內容，它們將不會抓取您的新內容，因此您可能會失去抓取工具的訪問權限。
為了更好地理解，請嘗試訪問控制台 Google網站管理員 查看警報的重複內容。 查看搜尋器指標（掃描 -> 掃描統計），以查看已經掃描了多少頁並建立了索引。 然後將統計信息與頁面數量進行比較 實.
如果掃描和索引的頁面數比實際頁面數大很多倍， 繼續閱讀 因為您可能有重複內容的問題。
在Magento中，可以驗證兩種類型的重複頁面，部分頁面和全部頁面。 當內容的最小部分或其佈局是唯一的（例如同一產品的變體）時，就會出現部分重複。 當兩個或更多頁面的內容相同時，將發生完全重複。 Magento中最常見的完全重複示例是同一產品的不同類別。
在所有在線商店中都存在的一種非常方便的功能是分類功能。 用戶可以根據最近，價格等的銷售量來訂購商店的產品。 此外，可以在10？，20？，50頁面？中查看搜索結果。 產品。 不錯，但是這些排序選項創建的URL具有不同的字符（？，=，|）：
http://miosito.it/categoria/prodotto.htm?sortby=total_reviews|desc
http://miosito.it/categoria/prodotto.htm?sortby=total_reviews|asc
http://miosito.it/categoria/prodotto.htm?sortby=relevance|desc
當頁面排序被Google索引甚至緩存時，就會出現問題。 想像一下可以存在多少個頁面！ 成千上萬！ Google抓取工具會花時間將它們編入索引，同時他們可以將資源集中在索引您網站上最重要的頁面：類別，產品等上。
打開任何頁面 categoria，或 搜索結果，您將在網格或列表上有一系列產品。 此時，您可以對它們進行排序，並查看排序後添加到URL的參數（例如dir，sortby）。 轉到Google並蒐索該站點： miodominio.com inurl：dir
您很可能會看到以下內容：
為了顯示最相關的結果，省略了一些與已經顯示的9非常相似的條目。
如果您願意，可以 重複搜索，包括省略的結果.
只需單擊鏈接以包含省略的結果，您將在商店中看到URL中包含“ dir”的頁面。 看到這些索引頁面不是很好。
輸入 Google 網站管理員工具，選擇您的電子商務網站，然後在左側菜單中選擇“抓取”->“URL 參數”。 在這裡，您將看到 Google 在您的商店網址中找到的參數，以及它如何抓取這些參數。 “讓 Googlebot 決定”是默認選項defi妮塔。
但是，在爬網Magento商店時，是由您（而不是Google）來決定應對哪些頁面建立索引，對嗎？ 因此，如果您尚未決定，現在該了！ 單擊“編輯”，在下拉菜單中選擇“是”，然後選擇“否URL”。
您還可以添加GWT中未列出的參數，並為Google設置掃描選項。 但是在使用這些參數阻止URL之前，請仔細檢查並仔細檢查（甚至三遍）。
您必須耐心等待，一旦索引完成後，Google便需要很長時間才能重新為帶有參數的URL編制索引。 如果需要，您還可以通過以下方式手動將其從索引中刪除 谷歌索引 -> 網址刪除.
您也可以選擇使用CANONICAL參數對Magento商店中的頁面進行排序。 這將使用戶可以訪問它們，但會將爬網程序重定向到不帶參數的頁面。
您需要將此代碼添加到排序頁面：
其中URL Category是不帶參數的同一類別頁面的地址。 例如，以下頁面：
應該規範化此頁面
Guido Pratt
Magento專家
