直接回答:当筛选参数、排序方式、分页游标可以任意组合时,不能把“所有能生成的 URL”当成有效地址集合,而应以可被独立检索意图支撑的最小参数组合为边界,其余一律归入规范化或屏蔽规则。判断依据不是参数有多少种,而是每个组合是否对应一个用户会单独搜索、且页面主体内容确实不同的结果页。
这是决定取舍的第一道分叉。内容型参数会改变页面主体结果,例如品牌、型号、地区这类筛选;导航型参数只改变同一批结果的呈现顺序或位置,例如排序字段、每页条数、会话跟踪、分页游标。
实际动作:先导出近一段时间内被访问或被链接的带参数 URL,按“是否改变主体内容”打标。结果会直接决定下一步——被标为导航型的参数进入规范化清单,被标为内容型的参数才需要继续评估是否保留独立地址。
参数无限增长的本质是笛卡尔积:3 个筛选维度各 20 个取值,就是 8000 个组合,再叠加排序和分页会指数膨胀。有效地址集合不能按乘积定义,而要按实际被引用和实际有需求的组合定义。
假设一个站点有颜色、尺寸、材质三个筛选维度,每个维度 15 个取值。全部组合超过 3000 个,但假设只有“颜色+尺寸”的少数组合被外部链接指向、并在站内搜索日志中反复出现,那么有效集合就应限定在这批被引用的组合上,而不是放开全部乘积。这个例子只用于说明比较方法,不代表任何真实站点数据。
可区分的证据包括:该组合是否有站内搜索词对应、是否有外部链接直接指向、是否出现在站点地图中、是否被用户从落地页继续点击。只有“能生成”这一条不构成保留理由。
逐条列举参数组合无法维护,因为组合会继续增长。可行做法是用规则匹配参数名和参数数量:
执行后复查:如果带导航型参数的地址在抓取量上归零,这并不能单独证明处理正确——也可能只是抓取预算转移、链接减少或站点整体流量变化。需要结合索引状态、canonical 指向和站内搜索数据一起判断。
存在三类例外,需要单独放行:
放行这些例外时,仍需为其指定唯一的规范版本,避免同一内容出现多个可索引地址。若站点使用 HTTPS,这只能说明传输层加密,并不保证站点无漏洞或获得排名优势,与参数地址集合的取舍无关。
不同搜索引擎对参数处理和 canonical 的支持程度不同,规则上线前应分别核查目标搜索引擎的现行说明,再决定是否调整匹配范围。最终边界应能回答一个问题:这个组合被单独搜索时,返回的页面是否比其他组合更匹配。若答案是否定的,它就不属于有效地址集合。