> Вся "магия" происходит

А вам обязательно юзать свой код? На CPAN полно же готовых модулей.

File::Find;
File::Next;

 use File::Next;
    my $iter = File::Next::dirs(@ARGV[0]);
    while ( defined ( my $dirs = $iter->() ) ) {
        print $dirs, "\n";
    }