Пожелания, Предложения по развитию сюда Опции

[Cockney]

задержка стоит в 0,везде где только можно.


а если нужны глобальные данные?тут процедурка не подходит.


вообще,больше тут вопрос к кнайту.

[DarkMaster]

set logging Начинаю инициализацию 1048576 элементов

Не элементов, а байт.

Реально ли ускорить?

Сгенерируй один раз и загружай тхт.

[Cockney]

а мне вот элементы нравятся.
----
ну а если во время каждой отработки скрипта генерируются разные данные?все,ничем не помочь?

[DarkMaster]

ок. Они тебе наравятся. Но какая связь с этим магическим числом 1048576? Массивы предполагается передавать по ссылке и глубоко пофигу количество элементов внутри. Нужно реально осознавать, что сейчас пилот парсит при этой операции каждый раз все строки, что не есть хорошо. Так же неплохо понимать, что каждый элемент массива - это стринг. Хз как в делфе, но в с++ это означает, что по факту создания строки будет сразу же зарезервировано памяти от 16 до 32 байт на каждый элемент. Я допускаю, что это может быть необходимо, более того я целиком за ускорение подобных операций и за прекомпиляцию хотя бы каких-то конструкций, но где реально использовать в рамках пилота такие массивы? Чую ты что-то интересное затеял)

set size (%data 1048576 1)
перед инициализацией выполни. Немного должно ускорить, особенно при большом количестве элементов.

ну и после

set size (%data 1048576 1)

можно передать указатель в плагин и заполнить массив очень шустро. Это из тяжелой артиллерии.

[Cockney]

Насквозь видишь). Да, есть задумка, но о ней позже. Интересная она или нет....кто знает что выйдет?.


В делфи - 4 байта слежебное(как указатель), а дальше занимает фактический размер строки.


Данные передаются из пилота в плагин(а за обратный способ спасибо, не думал об этом). Но вспомнилось, что не все же на 36.1 сидят. Да и у самого порой нет под рукой такой версии. Значит приходится выкручиваться такими костылями...вот и спрашиваю, как получше...но никак, видимо.

Кстати насчет заполнения массива из плагина. А не получим ли AV из-за разных мем-менеджеров?

[DarkMaster]

А не получим ли AV из-за разных мем-менеджеров?

По идее при правильном подходе не должны. Тут главное структуру точно воспроизвести. Тут единственный реально опасный момент - реализация стрингов. Если в делфи она одна - проблем нет. В варианте с с++ это было бы очень страшно, т.к. реализаций куча, пилот одуреет. В любом случае осталась бы возможность вручную собрать из чистых си строк(массив чаров) необходимую строку, вручную дописать указатели, размер и получить струтуру идентичную стрингу на делфи.

[Cockney]

Если не ошибаюсь, то получится как-то так : в с++ создаем аналог делфи-стринг, то бишь, задаем массив чаров + последний чар терминальный нуль. дальше получаем адрес всего массива, и отдаем пилоту. пилот же, читая значения, натыкается на наш адрес и обращается в никуда, ибо в его мем-менеджере нет упоминания о таком участке памяти. Чтобы такая схемка прокатила нужно, наверное, инжектить плагин, но тут я уже не очень много знаю.

[DarkMaster]

Если не ошибаюсь, то получится как-то так : в с++ создаем аналог делфи-стринг, то бишь, задаем массив чаров + последний чар терминальный нуль. дальше получаем адрес всего массива, и отдаем пилоту. пилот же, читая значения, натыкается на наш адрес и обращается в никуда, ибо в его мем-менеджере нет упоминания о таком участке памяти. Чтобы такая схемка прокатила нужно, наверное, инжектить плагин, но тут я уже не очень много знаю.

Не-не-не. У нас же есть прекрасный:
set size (%arr x y)
Т.е. после этого массив уже создан и прошла аллокация. Мы же передаем в плагин уже существующий массив. Правда тут возникают вопросы о допустимой длине записываемой строки. Помнится мне, что кнайт 128 байт под элемент массива выделял при создании. По поводу всей этой проблемы можно сделать простейший тест:
1) Создаем в дллке глобальную переменную, записываем в нее некоторое значение.
2) Плагином возвращаем указатель на эту переменную.
3) Через readmem смотрим, что там по этому адресу находится.
Схема прошла - значит работать будет.

Тем не менее остается проблема размера элемента массива. Если мы начнем грубо изменять этот размер я не уверен, что произойдет и насколько пилот подхватит результат и не запорем ли мы какие-либо данные банально из-за области видимости переменных и высвобождения памяти после завершения функции(читай придется хранить данные в виде глобального массива структур). Однако мы можем создать некоторый массив структур аналогичный пилотовскому и передав указатель на пилотовский массив наглым образом подменить указатели. При таком варианте оно обязано заработать, однако мы получаем некотрые утечки памяти, т.к. не освободили зарезервированную пилотом память. Как лучше ее освободить в делфи и не уничтожить структуру я хз.

[Cockney]

128, а потом урезается до истинной длины, не?

[WKnight]

Там тип string, который по сути pchar.

[DarkMaster]

128, а потом урезается до истинной длины, не?

Там reserved, а потом надо типа делать resize.
Про 128 могу ошибаться, но что-то помнится мне, что было именно такое изменение.

Хм... По диспетчеру задач получается следующее:
set size (%data 10485760)
4 байта на элемент(видимо только указатели)
set size (%data 10485760 1)
выделяет 20 байт
set size (%data 10485760 2)
выделяет 28.6 байт на строку. Хз откуда там 0.6.
set size (%data 10485760 10)
выделяет 61.4 байт на строку.

Ребусы какие-то.

[Cockney]

Хм. Мне казалось, что память, которую жрут дельфовые программы, можно отследить только по КБ, а не байтам. Ибо так они устроены. А то что ты видишь - скорее всего работа внутренних механизмов.

[DarkMaster]

Создаешь массивы на пару миллионов строк и понимаешь сколько улетает памяти. Калькулятор никто не отменял.

[Cockney]

так ты среднее значение считаешь?

[DarkMaster]

(стало-было)/количество_строк

[Cockney]

В среднем 20б уходит на строку.

[DarkMaster]

А ты столбцы отличные от 1 попробуй задать и получится неприятно.

[Cockney]

Так а смысл гадать тут. Нужно ждать ответ кнайта, что он молвит. А так тут и 20б для пустой строки слишком.


А можно и не ждать, 90% это делает не кнайт, а сам внутренний код.

[DarkMaster]

структура массива:
aDescr: shortstring ;
aValue: array of array of string;

Ну давай считать. Создали мы n строк по 1 столбцу. На каждую строку у нас массив с указателями на столбцы, это дает 4 байта на строку, вероятно еще записывается размер этого массива: +4 байта. Указатель указывает на стринг, который суть есть указатель 4 байта, 4 байта под размер. Итого явным образом 16 байт нашли из 20.

При наполнении массива даже по 1 символу происходит постоянное увеличения занимаемой памяти пилотом. Т.е. резерва все-таки нет вообще никакого.

Сообщение отредактировал DarkMaster - 29.3.2016, 22:13

[Cockney]

что такое aDesrc?

aValue: array of array of string;

Это так понимаю, двойной массив? Т.е. строка-столбец?