my @toRemove = grep m/$pattern/i, @array1, @array2;
my %toRemove = map { ($_ => 1) } @toRemove;
@array1 = grep ! $toRemove{$_}, @array1;