Transformer 在美团搜索排序中的实践
美团分享 Transformer 在搜索排序三个场景的实践经验。特征工程方面采用 Transformer Layer 进行高阶特征组合,结合 MLP 保持隐式交叉能力。行为序列建模迭代了三个版本,最终采用 Transformer 加 Attention-pooling 方案,自注意力机制有效建模序列内 item 关系,在长距离特征捕获能力上优于 GRU。重排序采用 Transformer 编码层对精排结果重新排序,位置编码向量刻画上下文信息。文章总结了层数选择、位置编码影响、性能优化等工程经验。