>>open(PIPE, "| openssl ... |");
>>print PIPE $dataToSign;
>>print while(<PIPE>);
>>close PIPE;
>Хм. Странно но он результат в консоль валит при таком подходе

Точно, так тоже нельзя :)
Правильный ответ - в perldoc perlipc, глава `Bidirectional Communication with Another Process'

#!/usr/bin/perl

use FileHandle;
use IPC::Open2;

$pid = open2(*OUT, *IN, "md5");

print IN "somedata";
close IN;
$result = <OUT>;
close OUT;

waitpid($pid, 0); # чтобы зомбей не плодить

print "Result: $result\n";