Поиск картинки в игре на MEmu Опции

[PostByMik]

Пытаюсь понять логику работы команды findimage, пока попытки успехом не увенчались.

Знающие люди, подскажите, пожалуйста, как работает, какова логика работы данной команды:

1. Можно ли сделать скрин области в игре на эмуляторе MEmu (естественно в формате .bmp 24 бита) и далее её искать в указанной области или это так не работает?
2. если первый пункт не верный, то как надо?

А теперь сама задача, которую я пытаюсь решить.

Есть игра, в игре есть карта, на карте с определенным промежутком времени появляется караван, на который надо кликнуть и провести еще пару манипуляций мышью.

Пытаюсь пока написать код, что бы он находил караван и кликал на него (после нажатия на него откроется меню ну и дальше уже обычные клики и ожидания, этому, вроде, я научился.)

Код

--lua
local startX, startY, endX, endY = 0, 0, 830, 465   -- координаты поиска
local path = [["C:\Caravan.bmp"]]                   -- путь к картинке, bmp 24 бита
local arr, a = findimage (startX, startY, endX, endY, {path}, 2, 70, 1, 25)  -- поиск картинки
hint (a)     -- результат поиска, подсказка в правом нижнем углу
if arr then  -- если найдена
    log ("Изображение найдено в координатах X= " .. arr[1][1] .. " Y= " .. arr[1][2])
    kleft (arr[1][1], arr[1][2])  -- кликнули
end

Это скрин карты в игре с караваном на ней, пытался на нем потренироваться, не находит (
 Caravan.bmp ( 18,36 килобайт ) Кол-во скачиваний: 192
Это скрин самого каравана, который надо найти.

Что я делаю не так, подскажите, пожалуйста.

[DarkMaster]

Есть у меня комбайн под подобные задачи. Работа расписана "для себя", если что-то не понятно - спрашивайте.
Вообще для себя я считаю хорошим тоном держать отдельный массив со всеми проверками на цвет для упрощения модификации при необходимости и улучшения читаемости.

Например:

Спойлер

Код

local fi = {}
fi.down_left = function() -- Если зеленый цвет, то кд прошел (НИЖНИЙ ЛЕВЫЙ) ДЛЯ PVP!
    -- если цвет истинный, то возвращаем координаты в таблице
    -- аналогичной по структуре финдимиджу/финдколору
    return color(56, 401) == 51541 and {{56,401}}
end

fi.down_2_left = function() -- Если зеленый цвет, то кд прошел (СНИЗУ ВТОРОЙ РЯД, ЛЕВЫЙ) ДЛЯ PVP!
     return color(109, 318) == 51541 and {{109, 318}}
end

fi.down_2_right = function() -- Если зеленый цвет, то кд прошел (СНИЗУ ВТОРОЙ РЯД, ПРАВЫЙ) ДЛЯ PVP!
     return color(161, 319) == 51541 and {{161, 319}}
end

fi.down_3_right = function() -- Если зеленый цвет, то кд прошел (СНИЗУ ТРЕТИЙ РЯД, ПРАВЫЙ) ДЛЯ PVP!
     return color(161, 234) == 51541 and {{161, 234}}
end

fi.upper = function() -- Если зеленый цвет, то кд прошел (САМЫЙ ВЕРХНИЙ) ДЛЯ PVP!
     return color(51, 139) == 51541 and {{51, 139}}
end

fi.combat_end_1 = function() -- Если зеленый цвет, то бой завершился
     return color(527, 421) == 51541 and color(364, 431) == 51541
end


-- Далее мой комбайн.
-- Обычно я его подгружаю из отдельного файла,
-- чтобы не было помойки.
-- В нем нет move или move_smoth перед кликом,
-- т.к. обычно это не нужно.
-- Если все-таки в этом есть реальная необходимость,
-- могу подправить.
-- Данный комбайн имеет функцию проверки на
-- успешность кликов и будет повторять попытки
-- пока success_func не вернет истину или
-- не выйдет допустимое время.
-- Так же обращаю ваше внимание,
-- что для кликов используется функция click.
-- Этой функции в пилоте не существует и я ее
-- задаю каждый раз в ручную для того, чтобы
-- в случае необходимости изменить тип кликов
-- не нужно было перелопачивать весь скрипт и везде
-- править left на kleft или еще какие-нибудь варианты.
local click = kleft -- теперь у нас click тоже саме, что и kleft
-- а можно сделать что-то свое.
-- в частности у вас использует move_smoth и мы можем
-- включить данные перемещения в вызов каждого клика:
click = function(x,y)
    move_smoth(x,y,5,5,5,5)
    wait(250)
    kleft(x,y,5,5,5,5)
end

-- Очень настоятельно рекомендую
-- делать проверки на успех всех кликов.
-- У вас нет проверок на успех клика,
-- возможно они вам просто не нужны,
-- тем не менее у меня они требуются.
-- создаем функцию - заглушку, которая
-- будет всегда возвращать истину:
local true_func = function()
    return true
end

-- Сообственно описание параметров комбайна.
-- Синтаксис:
--function(
--    click_x, click_y, success_func, click_timeout,
--    delay, first_delay, blink, limit,
--    offset_x, offset_y, override_x, override_y)

-- Функция нажимает в координаты click_x, click_y
-- click_x, click_y могут быть заданы сделедующими способами:
-- 1)
-- click_x - функция возвращающая массив кооринат (findimage/findcolor)
-- click_y - Комментарий при фейле поиска либо
-- НЕ указывается. Даже nil, параметр пропускается.
-- При передаче функции - она будет вызываться каждый раз
-- перед попыткой кликнуть, чтобы избежать клика в изменившийся интерфейс.
-- 2)
-- click_x - массив кооринат (findimage/findcolor)
-- click_y - НЕ указывается. Даже nil, параметр пропускается.
-- 3)
-- click_x - x координата
-- click_y - y координата

-- success_func - функция проверки успеха.
-- Пока не вернет успех будут попытки кликов.
-- Так же может быть задана массивом функций.
-- Время попыток может быть ограничено параметром limit.

-- click_timeout - таймер для повторной попытки клика.
-- Не влияет на проверки успеха результата.
-- Необязательный параметр. Значение по умолчанию 2сек.

-- delay - задержка в мс перед проверкой успеха.
-- необязательный параметр. Значение по умолчанию 100мс.

-- first_delay - задержка после _первого_ клика перед началом
-- проверок на успех, повторных кликов.
-- Необязательный параметр. Значение по умлчанию равно параметру delay * 5.

-- blink - задержка в мс перед повторной проверкой на успешность.
-- исключает случаи выхватывания изображения из недогрузившегося окна.
-- для выключения проверки используется nil.
-- необязательный параметр. Значение по умолчанию nil.

-- limit - ограничение времени (сек) на поиск.
-- для одноразвого прогона использовать 0.
-- nil - бесконечный поиск.
-- необязательный параметр. Значение по умолчанию nil(бесконечно).

-- offset_x, offset_y - смещения координат клика используется,
-- если click_x задан функцией.
-- Необязательный параметр. По умолчанию nil.

-- override_x, override_y - перезапись координат клика используется,
-- если click_x задан функцией.
-- Если задан override, то offset игнорируется.
-- Необязательный параметр. По умолчанию nil.

local open_with_check = function(
    click_x, click_y, success_func, click_timeout,
    delay, first_delay, blink, limit,
    offset_x, offset_y, override_x, override_y)
    local x,y

    if  type(click_x) == "function" then -- координаты клика заданы функцией
        -- смещаем параметры на 1 позицию вправо.
        if  type(click_y) == "function" or type(click_y) == "table" then
            override_y = override_x
            override_x = offset_y
            offset_y = offset_x
            offset_x = limit
            limit = blink
            blink = first_delay
            first_delay = delay or (click_timeout or 100) * 5
            delay = click_timeout or 100
            click_timeout = success_func or 2
            success_func = type(click_y)=="function" and {click_y} or click_y
        end
        -- click_y содержит комментарий к функции
        click_timeout = click_timeout or 2
        delay = delay or 100
        first_delay = first_delay or delay
        success_func = type(success_func)=="function" and {success_func} or success_func

    elseif type(click_x) == "table" then -- координата клика задана массивом
        -- смещаем параметры на 1 позицию вправо.
        override_y = override_x
        override_x = offset_y
        offset_y = offset_x
        offset_x = limit
        limit = blink
        blink = first_delay
        first_delay = delay or (click_timeout or 100) * 5
        delay = click_timeout or 100
        click_timeout = success_func or 2
        success_func = type(click_y)=="function" and {click_y} or click_y
        y = click_x[1][2]
        x = click_x[1][1]

    else  -- координата клика задана двумя переменными
        click_timeout = click_timeout or 2
        delay = delay or 100
        first_delay = first_delay or delay * 5
        success_func = type(success_func)=="function" and {success_func} or success_func
        x = click_x
        y = click_y
    end

    --[[log(tostring(click_x), tostring(click_y), tostring(success_func), tostring(click_timeout),
    "\r\n",
    delay, first_delay, blink, limit,
    "\r\n",
    offset_x, offset_y, override_x, override_y)   ]]


    local next_click_timeout = 0
    local limit_timeout = limit and os.clock() + limit
    local first_run = true
    local success = false
    repeat
        local clock = os.clock()
        if  type(click_x) == "function" then
            local result = click_x()
            if  result then
                x = result[1][1]
                y = result[1][2]
                if  next_click_timeout < clock then
                    if  override_x then
                        x = override_x
                        y = override_y
                    elseif offset_x then
                        x = x + offset_x
                        y = y + offset_y
                    end
                    click(x,y)
                    next_click_timeout = clock + click_timeout
                end
            else
                if  type(click_y) == "string" then
                    log(click_y)
                end
            end
        else
            if  next_click_timeout < clock then
                click(x,y)
                next_click_timeout = clock + click_timeout
            end
        end

        if  first_run then
            first_run = false
            wait(first_delay)
        else
            wait(delay)
        end


        for i = 1, #success_func do
            success = success_func[i]()
            if success then
                break
            end
        end
    until success or (limit_timeout and limit_timeout < os.clock())

    --log("check: " .. tostring(success and true or false))
    return success and true or false
end


-- соответственно ваш код при использовании данной функции принимает следуещий вид:


repeat -- ДЛЯ PVP!
    open_with_check(fi.down_left,     true_func, 0, 0, nil, 0)
    open_with_check(fi.down_2_left,   true_func, 0, 0, nil, 0)
    open_with_check(fi.down_2_right,  true_func, 0, 0, nil, 0)
    open_with_check(fi.down_3_right,  true_func, 0, 0, nil, 0)
    open_with_check(fi.upper,         true_func, 0, 0, nil, 0)
until fi.combat_end_1() -- Если зеленый цвет, то бой завершился

В самом примитивном примере это будет выглять, как:

Код

local my_func = function(i)
    log("мы получилив функцию значение "..i..", прилепили к нему текст вывели в лог.")
end

for i = 1, 5 do
    my_func(i)
end

Сообщение отредактировал DarkMaster - 3.11.2020, 17:26

[Cockney]

Есть у меня комбайн под подобные задачи. Работа расписана "для себя", если что-то не понятно - спрашивайте.
Вообще для себя я считаю хорошим тоном держать отдельный массив со всеми проверками на цвет для упрощения модификации при необходимости и улучшения читаемости.

Например:

Спойлер

Код

local fi = {}
fi.down_left = function() -- Если зеленый цвет, то кд прошел (НИЖНИЙ ЛЕВЫЙ) ДЛЯ PVP!
    -- если цвет истинный, то возвращаем координаты в таблице
    -- аналогичной по структуре финдимиджу/финдколору
    return color(56, 401) == 51541 and {{56,401}}
end

fi.down_2_left = function() -- Если зеленый цвет, то кд прошел (СНИЗУ ВТОРОЙ РЯД, ЛЕВЫЙ) ДЛЯ PVP!
     return color(109, 318) == 51541 and {{109, 318}}
end

fi.down_2_right = function() -- Если зеленый цвет, то кд прошел (СНИЗУ ВТОРОЙ РЯД, ПРАВЫЙ) ДЛЯ PVP!
     return color(161, 319) == 51541 and {{161, 319}}
end

fi.down_3_right = function() -- Если зеленый цвет, то кд прошел (СНИЗУ ТРЕТИЙ РЯД, ПРАВЫЙ) ДЛЯ PVP!
     return color(161, 234) == 51541 and {{161, 234}}
end

fi.upper = function() -- Если зеленый цвет, то кд прошел (САМЫЙ ВЕРХНИЙ) ДЛЯ PVP!
     return color(51, 139) == 51541 and {{51, 139}}
end

fi.combat_end_1 = function() -- Если зеленый цвет, то бой завершился
     return color(527, 421) == 51541 and color(364, 431) == 51541
end
-- Далее мой комбайн.
-- Обычно я его подгружаю из отдельного файла,
-- чтобы не было помойки.
-- В нем нет move или move_smoth перед кликом,
-- т.к. обычно это не нужно.
-- Если все-таки в этом есть реальная необходимость,
-- могу подправить.
-- Данный комбайн имеет функцию проверки на
-- успешность кликов и будет повторять попытки
-- пока success_func не вернет истину или
-- не выйдет допустимое время.
-- Так же обращаю ваше внимание,
-- что для кликов используется функция click.
-- Этой функции в пилоте не существует и я ее
-- задаю каждый раз в ручную для того, чтобы
-- в случае необходимости изменить тип кликов
-- не нужно было перелопачивать весь скрипт и везде
-- править left на kleft или еще какие-нибудь варианты.
local click = kleft -- теперь у нас click тоже саме, что и kleft
-- а можно сделать что-то свое.
-- в частности у вас использует move_smoth и мы можем
-- включить данные перемещения в вызов каждого клика:
click = function(x,y)
    move_smoth(x,y,5,5,5,5)
    wait(250)
    kleft(x,y,5,5,5,5)
end

-- Очень настоятельно рекомендую
-- делать проверки на успех всех кликов.
-- У вас нет проверок на успех клика,
-- возможно они вам просто не нужны,
-- тем не менее у меня они требуются.
-- создаем функцию - заглушку, которая
-- будет всегда возвращать истину:
local true_func = function()
    return true
end

-- Сообственно описание параметров комбайна.
-- Синтаксис:
--function(
--    click_x, click_y, success_func, click_timeout,
--    delay, first_delay, blink, limit,
--    offset_x, offset_y, override_x, override_y)

-- Функция нажимает в координаты click_x, click_y
-- click_x, click_y могут быть заданы сделедующими способами:
-- 1)
-- click_x - функция возвращающая массив кооринат (findimage/findcolor)
-- click_y - Комментарий при фейле поиска либо
-- НЕ указывается. Даже nil, параметр пропускается.
-- При передаче функции - она будет вызываться каждый раз
-- перед попыткой кликнуть, чтобы избежать клика в изменившийся интерфейс.
-- 2)
-- click_x - массив кооринат (findimage/findcolor)
-- click_y - НЕ указывается. Даже nil, параметр пропускается.
-- 3)
-- click_x - x координата
-- click_y - y координата

-- success_func - функция проверки успеха.
-- Пока не вернет успех будут попытки кликов.
-- Так же может быть задана массивом функций.
-- Время попыток может быть ограничено параметром limit.

-- click_timeout - таймер для повторной попытки клика.
-- Не влияет на проверки успеха результата.
-- Необязательный параметр. Значение по умолчанию 2сек.

-- delay - задержка в мс перед проверкой успеха.
-- необязательный параметр. Значение по умолчанию 100мс.

-- first_delay - задержка после _первого_ клика перед началом
-- проверок на успех, повторных кликов.
-- Необязательный параметр. Значение по умлчанию равно параметру delay * 5.

-- blink - задержка в мс перед повторной проверкой на успешность.
-- исключает случаи выхватывания изображения из недогрузившегося окна.
-- для выключения проверки используется nil.
-- необязательный параметр. Значение по умолчанию nil.

-- limit - ограничение времени (сек) на поиск.
-- для одноразвого прогона использовать 0.
-- nil - бесконечный поиск.
-- необязательный параметр. Значение по умолчанию nil(бесконечно).

-- offset_x, offset_y - смещения координат клика используется,
-- если click_x задан функцией.
-- Необязательный параметр. По умолчанию nil.

-- override_x, override_y - перезапись координат клика используется,
-- если click_x задан функцией.
-- Если задан override, то offset игнорируется.
-- Необязательный параметр. По умолчанию nil.

local open_with_check = function(
    click_x, click_y, success_func, click_timeout,
    delay, first_delay, blink, limit,
    offset_x, offset_y, override_x, override_y)
    local x,y

    if  type(click_x) == "function" then -- координаты клика заданы функцией
        -- смещаем параметры на 1 позицию вправо.
        if  type(click_y) == "function" or type(click_y) == "table" then
            override_y = override_x
            override_x = offset_y
            offset_y = offset_x
            offset_x = limit
            limit = blink
            blink = first_delay
            first_delay = delay or (click_timeout or 100) * 5
            delay = click_timeout or 100
            click_timeout = success_func or 2
            success_func = type(click_y)=="function" and {click_y} or click_y
        end
        -- click_y содержит комментарий к функции
        click_timeout = click_timeout or 2
        delay = delay or 100
        first_delay = first_delay or delay
        success_func = type(success_func)=="function" and {success_func} or success_func

    elseif type(click_x) == "table" then -- координата клика задана массивом
        -- смещаем параметры на 1 позицию вправо.
        override_y = override_x
        override_x = offset_y
        offset_y = offset_x
        offset_x = limit
        limit = blink
        blink = first_delay
        first_delay = delay or (click_timeout or 100) * 5
        delay = click_timeout or 100
        click_timeout = success_func or 2
        success_func = type(click_y)=="function" and {click_y} or click_y
        y = click_x[1][2]
        x = click_x[1][1]

    else  -- координата клика задана двумя переменными
        click_timeout = click_timeout or 2
        delay = delay or 100
        first_delay = first_delay or delay * 5
        success_func = type(success_func)=="function" and {success_func} or success_func
        x = click_x
        y = click_y
    end

    --[[log(tostring(click_x), tostring(click_y), tostring(success_func), tostring(click_timeout),
    "\r\n",
    delay, first_delay, blink, limit,
    "\r\n",
    offset_x, offset_y, override_x, override_y)   ]]
    local next_click_timeout = 0
    local limit_timeout = limit and os.clock() + limit
    local first_run = true
    local success = false
    repeat
        local clock = os.clock()
        if  type(click_x) == "function" then
            local result = click_x()
            if  result then
                x = result[1][1]
                y = result[1][2]
                if  next_click_timeout < clock then
                    if  override_x then
                        x = override_x
                        y = override_y
                    elseif offset_x then
                        x = x + offset_x
                        y = y + offset_y
                    end
                    click(x,y)
                    next_click_timeout = clock + click_timeout
                end
            else
                if  type(click_y) == "string" then
                    log(click_y)
                end
            end
        else
            if  next_click_timeout < clock then
                click(x,y)
                next_click_timeout = clock + click_timeout
            end
        end

        if  first_run then
            first_run = false
            wait(first_delay)
        else
            wait(delay)
        end
        for i = 1, #success_func do
            success = success_func[i]()
            if success then
                break
            end
        end
    until success or (limit_timeout and limit_timeout < os.clock())

    --log("check: " .. tostring(success and true or false))
    return success and true or false
end
-- соответственно ваш код при использовании данной функции принимает следуещий вид:
repeat -- ДЛЯ PVP!
    open_with_check(fi.down_left,     true_func, 0, 0, nil, 0)
    open_with_check(fi.down_2_left,   true_func, 0, 0, nil, 0)
    open_with_check(fi.down_2_right,  true_func, 0, 0, nil, 0)
    open_with_check(fi.down_3_right,  true_func, 0, 0, nil, 0)
    open_with_check(fi.upper,         true_func, 0, 0, nil, 0)
until fi.combat_end_1() -- Если зеленый цвет, то бой завершился

В самом примитивном примере это будет выглять, как:

Код

local my_func = function(i)
    log("мы получилив функцию значение "..i..", прилепили к нему текст вывели в лог.")
end

for i = 1, 5 do
    my_func(i)
end

Интересный подход. А были попытки сериализации таких функций-проверок в массив байт/файл с последующим восстановлением на клиентской стороне через tcp, как например в джаве или .нет ? Механизм многообещающий же.