什么是文本去重与排序?
文本去重与排序按行处理名单、日志、关键词和其他批量文本。你可以决定是否区分大小写、是否保留空行以及是否排序;去重时始终保留第一次出现的原文。工具不会偷偷修剪空格,因此输入规则清楚,处理结果也便于复核。常见使用场景包括:清理复制出来的重复 ID、邮箱或关键词列表。;整理日志中的重复行并保持首次出现顺序。;按区域感知规则对去重后的文本升序或降序排列。页面同时列出输入边界、输出规则和限制,便于在复制结果或投入实际流程前核对格式、语义与安全注意事项。
适用场景
- 清理复制出来的重复 ID、邮箱或关键词列表。
- 整理日志中的重复行并保持首次出现顺序。
- 按区域感知规则对去重后的文本升序或降序排列。
使用方法
- 每行输入一项。
- 选择大小写、空行和排列规则。
- 执行去重,按需排序并复制结果。
- 先使用页面提供的复杂示例验证当前选项和运行方向,再替换为自己的数据。
- 检查输出区、状态提示和限制说明,确认结果符合预期后再复制、下载或继续处理。
可运行示例
工作区中的“示例 1”和“示例 2”按钮会载入对应内容。两个示例覆盖不同结构、方向或边界,可以直接运行并观察输出与状态提示。
示例 1
JSON Formatter
Base64 Encoder
json formatter
Regex Tester
Base64 Encoder
UUID Generator示例 2
develop
main
Develop
preview
main
production
Preview
输入规则
- 每一行被视为一个独立项目。
- 行首尾空格属于内容,不会自动移除。
- 大小写和空行是否参与比较由选项决定。
- 文本输入在运行前按字符计数,当前页面上限为 1,000,000;文件类功能另按页面显示的文件上限执行。
- 不会修剪或规范化每一行。
输出规则
- 重复项保留第一次出现的原始写法。
- 不排序时保持首次出现顺序。
- 排序使用浏览器 Intl.Collator,而不是简单字节顺序。
- 输出只反映当前输入、方向和选项;切换模式或修改输入后应重新运行,不应把旧结果当成新结果。
- 不区分大小写的比较遵循浏览器区域规则。
限制与注意事项
- 不会修剪或规范化每一行。
- 不区分大小写的比较遵循浏览器区域规则。
- 不同浏览器 Unicode 数据版本可能造成极少量排序差异。
数据处理说明
分行、比较、去重和排序均在浏览器内完成,文本不会发送到 JSONLane。关闭或刷新页面后,本工具不会保留本次数据。