rapaz, a questão em si n é o programa que ele usou. simplesmente o software que ele usou pode até ser mesmo de criação própria dele, por exemplo o meu sistema, o meu software fui eu msm que desenvolvi. a questão é vc saber qual algoritmo de criptografia ele usou. no meio de trocentos algoritmos é difícil viu. por isso é complicado engenharia reversa, pq n basta somente vc saber a senha, vc tbm tem que saber qual algoritmo ele usa. pode ser Xor, Xtea, RSA, Base256, ou até mesmo um algoritmo próprio do programador. o único meio de vc achar isso seria pelo exe, mas ai é que vem a parte boa, pra vc mexer com binário vc tem que saber mexer com linguagem de baixo nível como a Assembly.
te recomendo vc procurar um programador muito bom que saiba engenharia reversa pra poder fazer isso, mas eu creio que n vai sair barato nn.