Думал долго как сделать нормальный подсчет количества повторений строк в файлах, удалять их дубли и писать сколько их было.

Написал простенький скрипт который ищет все дубли строк в одном файле и записывает их в другой файл в виде

строка1|количество дублей

строка2|количество дублей

..

получился скрипт который использует оперативную память по минимому и не загружает ее всеми данными, но за счет этого с большими данными скрипт будет обрабатываться долго(((.

поиск дублей происходит в циклах, и при больших объемах информации циклов становиться все больше и больше, но другого нормального решения для поиска дублей я ненашел((.

Есть какаято функция в php которая подсчитывает и выводит все дубли в массиве, но не в файле, а это значить что оперативная память будет хранить весь этот массив данных, что не есть гуд(.

кароче вот скрипт, я попробую еще ченить придумать как его оптимизировать под скорость, но пока идей нет((.

<?php
$fileopen = 'links.txt';//файл в котором будем искать дубли
$filesavebase = 'base.txt';//файл в который будем записывать все данные
            $links_file=fopen($fileopen, 'r');//открываем файл для сравнения с поиском
            $links_file_search=fopen($fileopen, 'r');//открываем файл для поиска
            $base_file=fopen($filesavebase, 'a+');//открываем файл для записи базы
            if ($links_file)
            {
                while(!feof($links_file))
                {
                    $data = trim(fgets($links_file));//переход к след строке сравнения с поиском
                    
        //поиск в базе
        fseek($base_file, 0);//сбрасываем указатель в файле базы на начало
        while(!feof($base_file))
        {
            $database = fgets($base_file);//переход к след строке базы
            //проверка на повторение с базой
            if (stristr($database,$data))
            {
            $goto='0';
            }
        }
//проверяем можем ли мы продожать или нет    
if($goto != '0'){
    //поиск повторений
    $counter = 0;
    while(!feof($links_file_search))
    {
    $str = fgets($links_file_search);
        if (stristr($str,$data))
        {
        $counter++;
        }
    }
    fseek($links_file_search, 0);//сбрасываем указатель в файле поиска на начало
//записываем в базу
$dataputs= trim($data).'|'. trim($counter)."\r\n";
fwrite($base_file, $dataputs);
          }
$goto='1';//переназначаем переменую
                 }
            }
//закрываем все открытые файлы
            fclose($links_file);
            fclose($links_file_search);
            fclose($base_file);
?>