#!/usr/bin/env perl

use strict;
use warnings;
use feature qw(say);
use Data::Dump;
use Lingua::Stem qw(stem);

undef $/;

my $text = <DATA>;

say $text;

$text = lc $text;

$text =~ s/\n+/ /g;

say $text;

$text  =~ s/[:;'!?.,]+//g;

say $text;

my @words = split / /, $text;

dd \@words;

Lingua::Stem::set_locale('de');

say Lingua::Stem::get_locale;

my $stems = stem(@words);

dd $stems;

my %vocabulary = map {$_ => 1} @$stems;

dd  \%vocabulary;

say scalar keys %vocabulary;


__DATA__
Ich Bin Der Geist, Der Stets Verneint!
Und Das Mit Recht; denn alles, was entsteht,
Ist wert, daß es zugrunde geht;
Drum besser wär's, daß nichts entstünde.
So ist denn alles, was ihr Sünde,
Zerstörung, kurz, das Böse nennt,
Mein eigentliches Element.