Код элементарен. Хорошие примеры работы с API LUA можно найти в сорцах модуля math и др. , который поставляются с исходниками Lua. Особо не разобрался, т.к. протестировать нормально не могу, но вроде можно таким делом биндить классы из длл и другие фичи.
Сам собирал под VS 2017 CE. Кто сможет собрать и завести всю эту кухню - отпишите результат.
1) Нет необходимости в модификации dll. Может быть подключена уже существующая dll.
Какая dll и к чему подключается ? Если dll вообще любая хоть из winapi подключается к luajit - то да. Если dll изначально написана под api lua то она подключится как к обычному lua, так и к jit. Проверенно на 2.41.