perl去除重复内容的脚本代码(重复行+数组重复字段)

假如有这样的一段序列：
1 2 
1 2 
2 1 
1 3 
1 4 
1 5 
4 1
我们需要得到如下的结果：
1 3 
1 5 
2 1 
4 1
那么，请借助以下的perl脚本来实现。

代码一：



代码二：

如果有一个文件data有10g大，但是有好多行都是重复的，需要将该文件中重复的行合并为一行，那么我们需要用什么办法来实现
cat data |sort|uniq > new_data #该方法可以实现，但是你需要花上好几个小时。结果才能出来。
下面是一个使用perl脚本来完成此功能的小工具。原理很简单，创建一个hash，每行的内容为键,值由每行出现的次数来填充，脚本如下;

代码三：

通过perl脚本，删除数据组中重复的字段