Perdón, he conseguido obtener el error con RSAGetLastError(), y me devuelve esto:

error:0906D06C:PEM routines:PEM_read_bio:no start line;