egons
Вы спутали темы, то была тема Синхронизация
_____________________________________________

Я тут поэкспериментировал и мне удалось создать карту списков. Изначально не понимал как добавлять элемент в список в уже существующий. Ну и конечно лишняя операция конвертирование размера файла в строку, чтобы использовать как ключ карты.

Structure Files
    List Path.s()
EndStructure

NewMap FilesPS.Files()


If AddElement(FilesPS()/Path())
	FilesPS()/Path() = 
EndIf

; Перебор файлов
tmp$ = aSePath(c) + sName
Size$ = Str(FileSize(tmp$))
If FindMapElement(FilesPS(), Size$) ; поиск делает элемент текущим, поэтому сразу добавляем в него элемент списка
	If AddElement(FilesPS()\Path())
    FilesPS()\Path() = tmp$
	EndIf
Else ; иначе если не существует
	If AddMapElement(FilesPS(), Size$, #PB_Map_NoElementCheck) ; добавляем элемент карты, потом элемент списка
    If AddElement(FilesPS()\Path())
    	FilesPS()\Path() = tmp$
    EndIf
	EndIf
EndIf

пока сделал для размеров, надо из них (совпавших по размеру) ещё делать для хеш-сумм.

В общем если есть другие идеи, смысл в том, что мне надо перебрать все файлы, их размеры и если размеры файлов одинаковые, то для этого элемента списка сделать подсписок файлов, то есть это говорит что они подозреваемые на одинаковость содержимого. И потом каждый подсписок получить хеш-суммы и перебрать по совпадению хеш-сумм, то есть создать список хеш-сумм с 2-мя и более файлами, в подсписке которых будут перечисляться пути имеющие эту хеш-суммы. Ну и потом добавлять это в ListIconGadget.

От сторонних модулей ListIcon я пока отказался, так как неизвестно как они будут работать при 1000-100000 файлов по памяти, утечкам и т.д.

Ещё надо встроить, чтобы добавляемое не было подэлементом уже содержимого, т.е. файл/папка внутри уже добавленной папки.
Надо поискать есть ли в Linux возможность создание подгруппы (в Windows есть), иначе придётся делать пустышку хоть и с чекбоксом, но в виде разделителя данных.

Отредактировано AZJIO (07.08.2021 09:42:51)

Пётр
Hash.s мне нужен как ключ, чтобы сделать проверку уникальности, то есть когда я добавляю ключ в карту, он проверяет есть ли в нём этот элемент, иначе надо вручную делать поиск, на каждый шаг проверить есть ли он в списке. Думаю Карта в принципе делает тоже самое, но из-за того что надо переводить в строку и отсутствует сортировка это даёт мне отрицательный результат. Я бы мог получить в список структур и сортировать по размеру, а потом проверял бы кучность одноразмерных файлов. Ну то есть есть ещё смысл поэкспериментировать другими способами.
Я уже выложил скомпилированный вариант, то есть всё работает пока в упрощённом виде. Нет уровней запрета удаления и нет поддержки CSV. А просто накидать файлов и папок и получить список, в которых выделены дубликаты кроме 1-го. То есть работает, в том числе и удаление отмеченных и выдача ошибок (забыл снимать галки с успешно удалённых). Конт.меню есть чтобы открыть файл или расположение.

Сравнил скорость карты и списка без отладчика. Причём, если я в список добавляю ещё одно поле структуры - хеш, то список ещё замедляется на 200 мс. Что пришлось тестировать? В карту добавляется размер Size$ = Str(FileSize(tmp$)), то есть ключ надо чтобы был как строка, в то время как в список я добавляю размер в типе число Size.q, то есть число 24789 в Size.q займёт 8 байтов, а в строке ключа Size$ 5 букв - 10 байтов, хотя если UTF8, то 5 байтов. То есть поиск сравнения размеров алгоритмически одинаков, что в карте что в списке, разница, что в карте это сделано внутренним алгоритмом, а в списке написаны циклом, но сути не меняет, т.е. сравнить с неким числом перебирая элементы списка/карты. В итоге карта отработала быстрее. Причём замена Size.q на Size.l, то есть 4 байта на число (2 Гб максимальный файл) не увеличили скорость.
4696 - список
845 - карта

Список

EnableExplicit

Structure Files
  Size.q
  List Path.s()
EndStructure

NewList FilesPS.Files()

Procedure FileSearch(List FilesPS.Files(), sPath.s, Mask$ = "*", depth=130, level = 0)

	Protected sName.s, c = 0, LenSPath, tmp$, Size.q
	Protected Dim aExaDir(depth)
	Protected Dim aSePath.s(depth)
	Protected fNotFind
	
	If  Right(sPath, 1) <> #PS$
    sPath + #PS$
	EndIf
	LenSPath = Len(sPath)

	aSePath(c) = sPath
	aExaDir(c) = ExamineDirectory(#PB_Any, sPath, Mask$)
	If Not aExaDir(c)
    ProcedureReturn
	EndIf

	Repeat
    While NextDirectoryEntry(aExaDir(c))
    	sName=DirectoryEntryName(aExaDir(c))
    	If sName = "." Or sName = ".."
        Continue
    	EndIf
    	If DirectoryEntryType(aExaDir(c)) = #PB_DirectoryEntry_Directory
        If c >= depth
        	Continue
        EndIf
        sPath = aSePath(c)
        c + 1
        aSePath(c) = sPath + sName + #PS$
        aExaDir(c) = ExamineDirectory(#PB_Any, aSePath(c), Mask$)
        If Not aExaDir(c)
        	c - 1
        EndIf
    	Else
        tmp$ = aSePath(c) + sName
        Size = FileSize(tmp$)
        
        
        fNotFind = 1
        ForEach FilesPS()
            If FilesPS()\Size = Size
;             If AddElement(FilesPS())
            	If AddElement(FilesPS()\Path())
                FilesPS()\Path() = tmp$
            	EndIf
            	fNotFind = 0
            	Break
;             EndIf
        	EndIf
        Next
        If fNotFind
        	If AddElement(FilesPS())
            FilesPS()\Size = Size
            If AddElement(FilesPS()\Path())
            	FilesPS()\Path() = tmp$
            EndIf
        	EndIf
        EndIf
	
    	EndIf
    Wend
    FinishDirectory(aExaDir(c))
    c - 1
	Until c < 0
EndProcedure


Define StartTime.q, time$
StartTime = ElapsedMilliseconds()     ; Получить метку текущего времени
FileSearch(FilesPS(), "/home/user")
time$ = Str(ElapsedMilliseconds() - StartTime) ; вывод без отладчика
MessageRequester("", time$)
Debug time$ + #CRLF$ ; Получить разницу между текущем временем и предыдущей меткой времени
Debug "Размер списка: " + Str(ListSize(FilesPS())) + #CRLF$

ForEach FilesPS()
	Debug #CRLF$ + Str(FilesPS()\Size)
	ForEach FilesPS()\Path()
    Debug FilesPS()\Path()
	Next
Next

Карта

EnableExplicit

Structure Files
	List Path.s()
EndStructure

NewMap FilesPS.Files()

Procedure FileSearch(Map FilesPS.Files(), sPath.s, Mask$ = "*", depth=130, level = 0)

	Protected sName.s, c = 0, LenSPath, tmp$, Size$
	Protected Dim aExaDir(depth)
	Protected Dim aSePath.s(depth)

	If  Right(sPath, 1) <> #PS$
    sPath + #PS$
	EndIf
	LenSPath = Len(sPath)

	aSePath(c) = sPath
	aExaDir(c) = ExamineDirectory(#PB_Any, sPath, Mask$)
	If Not aExaDir(c)
    ProcedureReturn
	EndIf

	Repeat
    While NextDirectoryEntry(aExaDir(c))
    	sName=DirectoryEntryName(aExaDir(c))
    	If sName = "." Or sName = ".."
        Continue
    	EndIf
    	If DirectoryEntryType(aExaDir(c)) = #PB_DirectoryEntry_Directory
        If c >= depth
        	Continue
        EndIf
        sPath = aSePath(c)
        c + 1
        aSePath(c) = sPath + sName + #PS$
        aExaDir(c) = ExamineDirectory(#PB_Any, aSePath(c), Mask$)
        If Not aExaDir(c)
        	c - 1
        EndIf
    	Else
        tmp$ = aSePath(c) + sName
        Size$ = Str(FileSize(tmp$))
        If FindMapElement(FilesPS(), Size$) ; поиск делает элемент текущим, поэтому сразу добавляем в него элемент списка
        	If AddElement(FilesPS()\Path())
            FilesPS()\Path() = tmp$
        	EndIf
        Else ; иначе если не существует
        	If AddMapElement(FilesPS(), Size$, #PB_Map_NoElementCheck) ; добавляем элемент карты, потом элемент списка
            If AddElement(FilesPS()\Path())
            	FilesPS()\Path() = tmp$
            EndIf
        	EndIf
        EndIf
    	EndIf
    Wend
    FinishDirectory(aExaDir(c))
    c - 1
	Until c < 0
EndProcedure


Define StartTime.q, time$
StartTime = ElapsedMilliseconds()     ; Получить метку текущего времени
FileSearch(FilesPS(), "/home/user")
time$ = Str(ElapsedMilliseconds() - StartTime) ; вывод без отладчика
MessageRequester("", time$)
Debug time$ + #CRLF$ ; Получить разницу между текущем временем и предыдущей меткой времени
Debug "Размер карты: " + Str(MapSize(FilesPS())) + #CRLF$

ForEach FilesPS()
	Debug #CRLF$ + MapKey(FilesPS())
	ForEach FilesPS()\Path()
    Debug FilesPS()\Path()
	Next
Next

Пётр

Это я в курсе, поэтому я всегда начинаю тестировать со второго раза, когда файловые адреса текущего поиска заполняют память диска и когда объём данных не слишком велик, чтобы не поместиться в кеше. То есть я тестирую чистую скорость алгоритма. То есть при 5-краном запуске у меня разброс плюс/минус 1-2%, то есть 4700-4750, а пятикратный запуск 840-856, ну это не может быть совпадением такая кучность при разных алгоритмах.

Удалось обработать быстро списком, преимущество, что теперь есть сортировка по размеру, а в карте не было.

Смысл в следующем: после сортировки одинаковые размеры идут друг за другом. Поэтому можно проверить если старый элемент совпадает новому в цикле, то идут перечисление одинаковых размеров и можно сформировать список: позиция с которой началось повторение размеров и количество этих совпадений., то есть структура (Pos, Count), далее второй проход по этому списку уже получает группы путей и можно уже формирование MD5 тем же методом. И самое главное скорость 725 мс, то есть быстрее карты.

До этого я не мог понять как мне получить предыдущий элемент, был бы массив я бы просто сравнивал arr(i) и arr(i-1), но опять проблема что массив не может содержать разные типы размер и путь. Подумал может сделать два массива с разными типами, но тогда не отсортировать. Про массив структур я забыл, поэтому сделал просто кеширование предыдущего элемента списка (поле размер)

EnableExplicit

Structure Files
	Size.q
	Path.s
EndStructure

Structure DataLst
	Pos.i
	Count.i
EndStructure

NewList FilesPS.Files()
NewList DataLst.DataLst()

Procedure FileSearch(List FilesPS.Files(), sPath.s, Mask$ = "*", depth=130, level = 0)
	
	Protected sName.s, c = 0, LenSPath
	Protected Dim aExaDir(depth)
	Protected Dim aSePath.s(depth)
	
	If  Right(sPath, 1) <> #PS$
    sPath + #PS$
	EndIf
	LenSPath = Len(sPath)
	
	aSePath(c) = sPath
	aExaDir(c) = ExamineDirectory(#PB_Any, sPath, Mask$)
	If Not aExaDir(c)
    ProcedureReturn
	EndIf
	
	Repeat
    While NextDirectoryEntry(aExaDir(c))
    	sName=DirectoryEntryName(aExaDir(c))
    	If sName = "." Or sName = ".."
        Continue
    	EndIf
    	If DirectoryEntryType(aExaDir(c)) = #PB_DirectoryEntry_Directory
        If c >= depth
        	Continue
        EndIf
        sPath = aSePath(c)
        c + 1
        aSePath(c) = sPath + sName + #PS$
        aExaDir(c) = ExamineDirectory(#PB_Any, aSePath(c), Mask$)
        If Not aExaDir(c)
        	c - 1
        EndIf
    	Else
;         tmp$ = aSePath(c) + sName
        If AddElement(FilesPS())
        	FilesPS()\Path = aSePath(c) + sName
        	FilesPS()\Size = FileSize(FilesPS()\Path)
        EndIf
    	EndIf
    Wend
    FinishDirectory(aExaDir(c))
    c - 1
	Until c < 0
EndProcedure


Define StartTime.q, time$, i, tmp
StartTime = ElapsedMilliseconds()     ; Получить метку текущего времени
FileSearch(FilesPS(), "/home/user")
; SortList(FilesPS(), #PB_Sort_Ascending)
SortStructuredList(FilesPS(), #PB_Sort_Ascending , OffsetOf(Files\Size) , TypeOf(Files\Size))
Debug time$ + #CRLF$ ; Получить разницу между текущем временем и предыдущей меткой времени
Debug "Размер списка: " + Str(ListSize(FilesPS())) + #CRLF$

Define Count, open
i = 0
open = 0
tmp = -3
ForEach FilesPS()
	If tmp = FilesPS()\Size
    open = 1
    Count + 1
    If Count = 1
    	If AddElement(DataLst())
        DataLst()\Pos = i
    	EndIf
    EndIf
	Else
    If open = 1
    	DataLst()\Count = Count + 1
    EndIf
    open = 0
    Count = 0
	EndIf
	tmp = FilesPS()\Size
	i + 1
Next
If open = 1
	DataLst()\Count = Count + 1
EndIf

Define x, Point, Point2
i = 1
If ListSize(DataLst()) = 0 Or ListSize(FilesPS()) = 0
	End
EndIf
ResetList(DataLst())
ResetList(FilesPS())
NextElement(DataLst())
NextElement(FilesPS())
Repeat
; 	Debug "i = " + Str(i) + " Pos = " + Str(DataLst()\Pos)
	If i = DataLst()\Pos
    For x = 1 To DataLst()\Count
    	Debug Str(i) + " " + Str(FilesPS()\Size) + " " + FilesPS()\Path
    	If Not NextElement(FilesPS())
        Break
    	EndIf
    	i + 1
    Next
    Debug "_________________________"
    If Not NextElement(DataLst())
    	Break
    EndIf
	Else
    i + 1
    If Not NextElement(FilesPS())
    	Break
    EndIf
	EndIf
; 	Debug Str(i) + " " + Str(FilesPS()\Size) + " " + FilesPS()\Path
ForEver
Debug "_____КОНЕЦ________"
Debug "_________________________"
Debug "_________________________"
time$ = Str(ElapsedMilliseconds() - StartTime)
MessageRequester("", time$) ; вывод без отладчика

i = 0
ForEach FilesPS()
	i + 1
	Debug Str(i) + " " + Str(FilesPS()\Size) + " " + FilesPS()\Path
Next

ForEach DataLst()
    Debug Str(DataLst()\Pos) + " " + Str(DataLst()\Count)
Next

Пётр
Это понятно, но тогда на каждом шаге цикла надо делать один раз назад и 2 раза вперёд, то есть оперировать указателями, которые сами по себе число int, так не проще ли на каждом шаге кешировать этот int в переменную, число шагов будет меньше. То есть сама конструкция цикла становится сложнее, какие то ResetList, NextElement, то есть пройтись по списку. В данном случае с массивом я бы просто сразу обсчитывал DataLst() перешёл допустим к элементу 800 и снял бы данные с 800 по 805, а со списком мне нужно именно 800 раз делать NextElement, захватить данные и потом сдвигать текущий элемент дальше, то есть именно пройтись по всему списку, даже если в миллионе элементов их будет всего 2, а в массиве я бы сразу взял конкретно эти 2 элемента. Только сейчас и сам понимаю что нужно переделывать на массив.
Ну и для списка была мысль, что надо не позицию элемента сохранять, а указатель на элемент и с него двигать дальше, тогда да, будет аналогично массиву, хотя читать этот код сложнее. Ну или использовать SelectElement().

Упростил решение

ForEach DataLst()
	SelectElement(FilesPS(), DataLst()\Pos - 1)
	For x = 1 To DataLst()\Count
    Debug Str(DataLst()\Pos - 1) + " " + Str(FilesPS()\Size) + " " + FilesPS()\Path
    NextElement(FilesPS())
	Next
	Debug "_________________________"
Next
Debug "_____КОНЕЦ________"
Debug "_________________________"
Debug "_________________________"

Отредактировано AZJIO (10.08.2021 15:37:01)

Обновил, версия 0.9.
Новый алгоритм на картах, всвязи с тем что мне стало более ясно как работать с картами.

Да, мой код стал похож на такую конструкцию. Я только сейчас обратил на это внимание, когда в голове продумал алгоритм положил его на "бумагу".
Я получаю файлы и создаю подсписок в структуре одинаковых файлов с общим размером . Далее я практически также делаю, но уже с хешем. Создавая карту мне надо размер указывать как строку-ключ, поэтому я делаю поле в структуре для размера. А при создании MD5 я уже использую MD5 как ключ, но всё равно мне нужен размер в структуре, для вывода в результаты и получается, что я 2 раза использую одну и туже структуру.
Новое открытие для себя началось с того что если я не могу сортировать карту, то надо как то данные перенести в с список, ага, перебрать все элементы, потом озарила мысль, что эта структура и мне нужен всего лишь список указателей, который я сортирую по размеру и буду обращаться по указателю. Но в карте нет указателей, даже если я использую NextMapElement, то как я потом выделю текущий указатель. Потом я подумал копировать структуру CopyStructure() и это сработало. Потом подумал а зачем мне копировать структуру, нельзя ли обращаться к ней напрямую, то есть я просто приравнял элемент карты к списку, типа ListMD5() = MapMD5(), то есть в цикле перебираю элементы карты, добавляю элемент списка и приравниваю, и это сработало. И пошёл ещё дальше, так как у меня структуры одинаковые, то я получив карту по размеру тупо приравниваю элементы списка из одной карты в другую карту. Так как у них получается общий указатель на одну и туже структуру, я не могу очистить использованную карту размеров, так как она утянет за собой структуры новой карты, но главное не тратится время на копирование тупо игра с указателями не больше.
Ну теперь мне стало легко сделать сортировку списка и добавил сортировку по "уровню удаления", теперь оно работает, проверено. Например кидаем разные папки в верхнее окно (тестовая папка сделать копии папки, чтобы нашлись дубликаты), выбираем у папок уровни -2 или -1 или 0 или 1 или 2 делаем поиск и получаем, что -2 и  -1 не отмечаются галочками, а -2 невозможно поставить галочку, а если и поставить как то, то всё равно удаление этого файла не сработает. Если ставить между уровнями 0-2, то файлы в результатах выстроятся таким образом что удалятся будет в первую очередь из папки с уровнем 2, ведь у нас оставляется один дубликат, так вот с уровнем 2 будет нижним в списке, то есть приоритет на удаление. Грубо говоря папку на флешке можно поставить уровень 2 так как логичнее что правильнее оставить копию на жёстком диске, или есть некая сортированная папка разложенная по полочкам фото, и есть куча на флешке где время от времени копировал что-то показать, так конечно упорядоченная папка будет с меньшим приоритетом на удаление, а мусорная-временная с максимальным приоритетом.
Потом ещё сделаю файл-список, смысл которого, например есть файлы которые однажды проверил что их надо удалить, а они с мусором попали на флешку и ещё куда, так подключил CSV-файл ранее сохранённый и всё что в нём есть считавшийся мусором можно проверить есть ли такое же на флешке (по MD5) и уже перебирать фото на флешке не придётся вычищая опять этот же мусор, так как их хеши уже есть в CSV и можно нажимать "удалить".
Ну и ещё в линуксе использовал StatusBarText, типа настоящий, текст в нём также появляется только после завершения функций, а в винде я помню что работало нормально.
Ещё проблема, есть сериал на 200 серий, в нём 158 серий с одинаковым размером до байта, но 420 Мб каждая серия, естественно что вычислять MD5 этих файлов оказалось расточительное занятие для алгоритма. А значит понятно что надо придумывать перед получением MD5 для файлов более 10 МБ можно сравнить первые 2 Мб или по 100 байт но из разных позиций, в центре и в конце, и только потом приступать вычислять MD5. Вот только надо придумывать идентификатор в карту, разве что эти байты считать идентификаторами.

Отредактировано AZJIO (23.06.2022 05:41:04)

Пётр
Скорость вычисление md5 высокая, но скорость чтения 60 ГБ всё равно требует времени. Вот только читать эти 60 Гб не обязательно. Когда мы смотрим кино 8 Гб мы переставляем в центр или в конец и плеер тут же воспроизводит из текущей позиции, значит скорость перехода на позицию в файле мгновенная, значит легко написать формулу, в которой делим размер файла на 32, получаем например по 100 Мб для фильма 3,2 Гб, теперь двигаем указатель в файле по 100 Мб и получаем по байту с каждой позиции и назовём этот код MD0, то есть это будет предварительное грубое сравнение, которое исключит чтение всего файла. Может это единственный случай, который в 99% ни у кого не случится, но всё же исключить это хочется. Как быстрое решение я сделал вывод информации, если данных более 100МБ то сообщить пользователю о размере данных, для которых будет вычисляться МД5 и пока не сделал но хочу сделать сортировку и вывести 3 топовых файла по размеру, чтобы пользователь знал, что некую папку можно пока исключить из обработки, то есть если я сравниваю папку с видео-контентом, там при терабайте данных я мгновенно получаю 0 дубликатов и конечно не хотел бы этих ложных вычислений. На счёт скорости SSD для видео-контента пока дорогие а на шпидельном помню что 200 Гб копировал с диска на диск очень долго (в реальных условиях), не менее часа (как бы не 4 часа), поэтому даже если мне 20 минут ждать вместо 1-й секунды я уже не согласен.

Указатели то есть, но как я могу например сделать SelectElement() и потом прочитать текущий MapMD5(), то есть я бы устанавливал текущий по сортированному списку указателей. Ну а раз я могу обратится без установки текущего, как у меня получилось то и не стал усложнять.

Как я понимаю карта при создании структур хранит указатель на структуру, а если я приравниваю, то по факту я думаю что присваиваю указатель, а так как у обоих структур одинаковые данные, то при обработке движок думает что это его структура, то есть формально всё соблюдено, есть указатель, есть данные структуры для этого указателя и соответственно все работает. Копирование значения, коим является указатель. А копирование структуры не зря же это выполняется конкретной функцией.

Отредактировано AZJIO (23.06.2022 15:32:38)