去除重复文本
按分隔符把文本拆成词或片段后去重,支持大小写敏感、首尾修剪和保留首次或末次出现。
- 处理方式本地处理,正文不上传
- 是否联网不联网
- 是否保存数据不保存输入
请输入内容后再处理。
分隔符
去重规则
输出形式
- 输入数量
- —
- 结果数量
- —
- 被忽略数量
- —
使用示例
apple,banana,apple→apple、banana(每行一个)- 大小写不敏感:
Apple,apple,APPLE→ 只留Apple - 保留末次:
a,b,a,c,b→a、c、b - 中文逗号:选自定义分隔符
,,苹果,香蕉,苹果→苹果、香蕉
局限说明
- 本工具按分隔符拆成词/片段去重;如需「整行去重」请用字符串去重工具。
- 自定义分隔符按字面字符串拆分,不支持正则表达式。
- 空片段自动丢弃并计入「被忽略数量」。