Сейчас потестировал с очисткой карты до вывода результата, результат был выведен, получается значит копирование.

Потестировал код с поиском хеша только в пределах одинаковых и время выполнения одинаковое. Но так как с временной картой я получил проблему CSV, так как она ранее добавлялась в этот массив данных, то теперь с временной картой я не могу сравнивать с CSV, поэтому версия с этим тестом откатывается к предыдущей.

теоретически я могу добавить сколько хочешь условий, ведь тест на размер это одно из условий, по результату которого одинарные отсеиваются, потом тест md5, по результатам которого одинарные отсеиваются. Это всего лишь шаг теста, на этапе которого можно отсеять часть файлов создающих проблему, то есть тест, который сделает проверку быстрее чем md5, как и тест размера происходит быстрее чем md5, так как запрашивается готовое число а не вычисляется и не читается файл.

Отредактировано AZJIO (23.06.2022 20:02:32)

Скомпилировал на Linux тоже и пакеты собрал.

Всё-таки тест с отдельной временной картой для одноразмерных вполне возможен без потери CSV, так как можно просто вторым условием (And) выполнить проверку во второй карте созданной на основе файлов CSV. Вот только скорость не улучшилась, не пойму почему. На линукс первое сканирование этой же папки (что на винде 35 сек) было 2,5 минут, а второе сканирование почти мгновенно, 20 сек, а то и меньше.

Закинул исходник "Search_duplicates-List (структура с tmp, тест).pb" с временной картой для теста, если есть желание тестировать у кого, а я уже буду ковырять только завтра вечером. Сранивать наверно с линуксовым исходником, так как виндовый уже с потоком и разница только в потоке.

Пётр
Для файла 420 Мб на шпидельном диске скорость вычисления md5 - 2 сек, а псевдохеш 0,2 сек, в 10 раз быстрее. При повторном вычислении (при кешированных адресах на диске) md5 - 850 мс, а псевдохеш - 0 мс. Остаётся найти баланс для какого размера вычислять псевдохеш, понятно что для мелких файлов md5 начнёт выигрывать, так как функция псевдохеша всё же тратит время на вычисление и создание промежуточных Карт на сравнение.
DisableDebugger - практически не влияет на результат.

EnableExplicit
UseMD5Fingerprint()
Define Path$, StartTime, Res.s, md5$

Procedure.s GetPseudoHash(Path$, Shift.q)
	Protected res$, length, file_id
	file_id = ReadFile(#PB_Any, Path$)
	If file_id
    length = Lof(file_id)
    FileSeek(file_id, 4, #PB_Relative)
	    While Eof(file_id) = 0
	        res$ + Hex(ReadByte(file_id), #PB_Byte)
    	FileSeek(file_id, Shift, #PB_Relative)
	    Wend
    FileSeek(file_id, length - 1, #PB_Absolute)
	     res$ + Hex(ReadByte(file_id), #PB_Byte)
	    CloseFile(file_id)
	EndIf
	ProcedureReturn res$
EndProcedure

Path$ = "путь_к_фильму"
StartTime=ElapsedMilliseconds()
md5$ =  GetPseudoHash(Path$, FileSize(Path$) / 31)
Res = "скорость хеш0 => " + Str(ElapsedMilliseconds()-StartTime) + " мсек"
MessageRequester("хеш0", md5$ + #LF$ + #LF$ + Res)

Path$ = "путь_к_фильму_того_же_размера_но_иной_чтобы_не_хешировался"

StartTime=ElapsedMilliseconds()
md5$ = FileFingerprint(Path$, #PB_Cipher_MD5)
Res = "скорость md5 => " + Str(ElapsedMilliseconds()-StartTime) + " мсек"
MessageRequester("md5", md5$ + #LF$ + #LF$ + Res)

И перезалил архив, пока не пересобирал пакеты Linux. Надо сгенерировать одинакового размера файлы штук 1000 и тестировать, когда скорость вычисления начнёт ухудшаться и это размер выставить. Сейчас 50 кб. Теперь папка с сериалом вычисляется 20 сек. И понятно что 200 серий умножить на 0,2 сек, получаем 40 сек, поправка что там 158 серий и что 0.2 это не точно. А с md5 у меня вообще несколько минут вычислял и потом в итоге упал.

Отредактировано AZJIO (28.06.2022 04:48:31)

Обновление в Windows-версии
Добавил фильтр и скрытие чекбоксов для групп.

Пётр
Он даёт не уникальность файла, а различие. Точнее подтверждает не уникальность а различие. То есть если на этапе быстрого хеша подтверждается различие, то нет смысла отправлять пару на проверку дубликатов с помощью md5. То есть если псевдохеш одинаков это всё равно отправляется на проверку md5 (так как у всех дублей в выводе есть md5).

Я опять попробовал поток на линукс, так как мне хочется иметь один исходник, а не импортировать обновы в другой исходник, и в итоге на линуксе падает на MessageRequester, так как закоментировав это строку в функции Compare прога не падает. Вот думаю стоит ли разделить функцию на 2 участка до и после MessageRequester, чтобы обеспечить поток и не всплывёт ли другой проблемы, так как ранее у меня падала прога явно по другой проблеме, так как MessageRequester я добавил в этом месяце.

Пётр
Кстати я понял задержки первого доступа для псевдохеша: при доступе к каждому байту прыжками 32 раза это равносильно доступа к 32-файлам. То есть второй раз это происходит быстро потому что эти адреса байтов 32 штук сохраняются видимо в кеше. То есть он кеширует не просто адреса файлов, а адреса обращений. Если последовательно читал файл с диска, то запоминает адрес начала, а при дефрагментированном файле запоминает адреса каждого фрагмента. Иначе скорость бы не менялась для одного файла.

Отредактировано AZJIO (30.06.2022 16:52:18)

egons
в контекстном меню результатов есть пункт прыгнуть в папку файла и открыть в ассоциированной программе. Так что предпросмотр как таковой есть.

Перезалил, для исходника добавил иконку и pbi. И исходник линукса обновил и собрал пакет арчу.

Отредактировано AZJIO (30.06.2022 17:31:44)

если там память 32-64 Мб, как он данные будет кешировать? Я к примеру делаю поиск 10 000 файлов, некоторые из которых даже не влезут в кеш и он как бы не читает файлы, а только обращается к таблице MFT. И как он кеширует файл 420 Мб?

Пётр
память находится на самом жёстком диске, на плате/контроллере.
https://onoutbukax.ru/chto-takoe-kesh-p … na-nuzhna/