É aquele projeto, que compila com hwgui, hmg 3, hmg extended, oohg, gtwvg, e agora também fivewin.
https://github.com/JoseQuintas/dlgauto/blob/main/source/lib_fivewin.prg
Esse fonte contém todos os comandos fivewin que estão sendo usados.
Acho que vai olhar gui_CreateDialog() e gui_ActivateDialog(), sobre a parte do MODAL.
O erro que mencionei provavelmente é porque em fivewin dialog é uma coisa e window é outra, igual acontece em minigui, diferente de hwgui que pode usar qualquer um pra qualquer coisa.
Se quiser olhar, mas acho que não resolve, gui_DlgMenu() é uma das primeiras.
Recapitulando:
tudo DEFINE WINDOW: tudo funciona, mas não é modal
tudo DEFINE DIALOG: nada acontece
primeira DEFINE WINDOW, e próxima DEFINE DIALOG, a primeira abre, mas a com dialog dá o erro mencionado.
José M. C. Quintas