dtneededsize

   1 #! /usr/bin/perl
   2 use strict;
   3 use warnings;
   4 use File::Basename qw(&dirname);
   5 use File::Find;
   6 use Data::Dumper;
   7 use Statistics::Basic::StdDev;
   8 use List::Util;
   9
  10 $|=1;
  11 sub readfile {
  12   my($fname)=@_;
  13   local *F;
  14   open F,"$fname" or die $fname;
  15   local $/=undef();
  16   defined(my $r=<F>) or die $fname;
  17   close F or die $fname;
  18   return $r;
  19 }
  20
  21 my %R;
  22 if (($ARGV[0]||"") eq "-r") {
  23   shift;
  24   my $r=readfile shift;
  25   $R{$1}=1 while $r=~s/^(.*?)\n//;
  26   die $r if $r;
  27 }
  28
  29 my %D;
  30 # ==> build/Cadence-1.0.0-0.12.20200504git5787908.fc33.src.rpm.dtneeded <==
  31 # /usr/lib/debug/.dwz/Cadence isdwzcommon 479079 NA
  32 # /usr/bin/cadence-jackmeter /usr/lib/debug/.dwz/Cadence 717792 1329040
  33 # /usr/bin/cadence-xycontroller /usr/lib/debug/.dwz/Cadence 1763616 2369832
  34 # ==> build/CVector-1.0.3.1-21.fc33.src.rpm.dtneeded <==
  35 # /usr/lib64/libCVector-1.0.3.so.2.0.0 nodwzcommon 28088 28896
  36 for my $dtneededfn (glob "build/*.dtneeded") {
  37   next if %R && !$R{($dtneededfn=~m{^build/(.*?)-[^-]*-[^-]*$})[0]."-debuginfo"};
  38   local *F;
  39   open F,$dtneededfn or die "$dtneededfn: $1";
  40   local $_;
  41   while (<F>) {
  42     chomp;
  43     my($fn,$dwzcommon,$dwzsize,$dtsize)=/^(\S+) (\S+) (\S+) (\S+)$/ or die "$dtneededfn: $_";
  44     die if $dwzcommon eq "isdwzcommon" && $dtsize ne "NA";
  45     my $ref=\$D{$fn};
  46     if ($$ref) {
  47       die if $dwzcommon eq "isdwzcommon";
  48       $$ref=[];
  49     } else {
  50       $$ref=[$dwzcommon,$dwzsize,$dtsize];
  51     }
  52   }
  53   close F or die "close $dtneededfn: $1";
  54 }
  55
  56 chdir "dtneeded.out" or die "dtneeded.out: $!";
  57
  58 my %F;
  59 my %SONAME;
  60 my @DEBUG;
  61 my %SYMLINK;
  62 find {
  63   "no_chdir"=>1,
  64   "wanted"=>sub {
  65     die $File::Find::dir if $File::Find::dir=~m{/$};
  66     my $binfn=$File::Find::name;
  67     if (-l $binfn) {
  68       my $target=readlink $binfn or die $binfn;
  69       $binfn=~s{^[.]}{};
  70       my $final;
  71       if ($target=~m{^/}) {
  72         $final=$target;
  73 #warn "$binfn,target=rel=$$ref\n";
  74       } else {
  75         my $base=dirname(".$binfn");
  76         my $abs=File::Spec->rel2abs($target,$base);
  77         $final="/".File::Spec->abs2rel($abs);
  78 #warn "$binfn,base=$base,target=$target,abs=$abs,rel=$$ref\n";
  79       }
  80       1 while $final=~s{/[^/]+/[.][.]/}{/};
  81       1 while $final=~s{/[^/]+/[.][.]$}{};
  82       if ($final=~m{/[.][.]}) {
  83         warn "$binfn,target=$target,final=$final\n";
  84         return;
  85       }
  86       my $ref=\$SYMLINK{$binfn};
  87       die if $$ref;
  88       $$ref=$final;
  89       return;
  90     }
  91     return if !-f $binfn;
  92     die $binfn if $binfn!~m{^[.]/};
  93     my $bin=readfile $binfn;
  94     $binfn=~s{^[.]}{} or die;
  95     my $rpath=($bin=~m{^.*\Q(R\E(?:UN)?\QPATH)\E\s*Library r(?:un)?path: \Q[\E(.*)\Q]\E$}m)[0];
  96     if ($rpath) {
  97       my $dirname=$File::Find::dir;
  98       die if $dirname!~s{^[.]/}{/};
  99       $rpath=~s{\$ORIGIN}{$dirname}g;
 100     }
 101     my $soname=($bin=~m{^.*\Q(SONAME)\E\s*Library soname: \Q[\E(.*)\Q]\E$}m)[0];
 102     my $h={
 103       "binfn"=>$binfn,
 104       "needed"=>[$bin=~m{^\s*0x0000000000000001\s*\Q(NEEDED)\E\s*\QShared library: [\E(.*)\Q]\E$}gm],
 105     };
 106     $h->{"rpath"}=$rpath if $rpath;
 107     $F{$binfn}=$h;
 108 #warn "$binfn=".Dumper($h)."\n" if $binfn=~/libc.so.6/;
 109 #    my $total=keys %F; warn "$total...\n" if 0==$total%1000;
 110     if ($soname) {
 111       my $sonamefn=$File::Find::dir."/".$soname;
 112       $sonamefn=~s{^[.]/}{/} or die $sonamefn;
 113       my $ref=\$SONAME{$sonamefn};
 114 #      warn "soname=<$sonamefn> <$binfn> vs. <".$$ref->{"binfn"}.">\n" if $$ref;
 115       $$ref=$h;
 116     }
 117     push @DEBUG,$binfn if $bin=~m{ \Q(DEBUG) \E };
 118   },
 119 },".";
 120
 121 #while (my($src,$target)=each %SYMLINK) {
 122 #  die "$src->$target" if exists $SYMLINK{$target};
 123 #}
 124
 125 my $dwzsizeall=0;
 126 my $dwzsizeduplall=0;
 127 my $dtsizeall=0;
 128 my @ratioall;
 129 my @ratioduplall;
 130 my $computed=0;
 131 BINFN: for my $binfn (@DEBUG) {
 132 #  warn "$binfn...\n".Dumper([sort @{$F{$binfn}{"needed"}}]);
 133   die $binfn if exists $SYMLINK{$binfn};
 134   my @l=$binfn;
 135   my %l=($binfn=>1);
 136   while (@l) {
 137     my $l=shift @l;
 138     my $h=$F{$l};
 139     for my $needed (@{$h->{"needed"}}) {
 140       my $found;
 141       if ($needed=~m{^/}) {
 142         $needed=$SYMLINK{$needed} while exists $SYMLINK{$needed};
 143         $found=$needed;
 144       } else {
 145 #       die "$binfn: $l: $needed" if $needed=~m{/};
 146         my @rpath;
 147         my $rpath=$h->{"rpath"};
 148         push @rpath,split /:/,$rpath if $rpath;
 149         push @rpath,qw(/lib64 /usr/lib64);
 150         for my $rpath (@rpath) {
 151           if ($rpath!~m{^/}) {
 152             warn "$binfn: $l: $rpath";
 153             next;
 154           }
 155           my $fn="$rpath/$needed";
 156           $fn=$SYMLINK{$fn} while exists $SYMLINK{$fn};
 157           next if !$SONAME{$fn};
 158           $found=$fn;
 159           last;
 160         }
 161         warn "$binfn: $l: $needed not found; rpath=".join(":",@rpath)."\n" if !$found;
 162       }
 163       push @l,$found if $found&&!$l{$found}++;
 164     }
 165   }
 166 #warn Dumper $binfn,\%l;
 167   my $dwzsizetot=0;
 168   my $dwzsizedupltot=0;
 169   my $dtsizetot=0;
 170   my %dwzcommons;
 171   for my $l (keys(%l)) {
 172     my $ref=$D{$l};
 173     if (!defined $ref) {
 174       warn "$binfn: $l: missing\n";
 175       next BINFN;
 176     }
 177     if (0==@$ref) {
 178       warn "$binfn: $l: ambiguous\n";
 179       next BINFN;
 180     }
 181     my $dtsize=$ref->[2];
 182     die if !defined $dtsize;
 183     $dtsizetot+=$dtsize;
 184     my $dwzsize=$ref->[1];
 185     die if !defined $dwzsize;
 186     $dwzsizetot+=$dwzsize;
 187     $dwzsizedupltot+=$dwzsize;
 188     $computed++;
 189     my $dwzcommon=$ref->[0];
 190     next if $dwzcommon eq "nodwzcommon";
 191     die if $dwzcommon eq "isdwzcommon";
 192     my $duplicate=$dwzcommons{$dwzcommon}++;
 193     my $dwzcommonref=$D{$dwzcommon};
 194     die if !$dwzcommonref;
 195     die if $dwzcommonref->[0] ne "isdwzcommon";
 196     die if $dwzcommonref->[2] ne "NA";
 197     my $dwzcommonsize=$dwzcommonref->[1];
 198     $dwzsizetot+=$dwzcommonsize if !$duplicate;
 199     $dwzsizedupltot+=$dwzcommonsize;
 200   }
 201   print "$binfn: dwzsizetot=$dwzsizetot dtsizetot=$dtsizetot\n";
 202 warn "$binfn: ".Dumper(\%dwzcommons);
 203   $dwzsizeall+=$dwzsizetot;
 204   $dwzsizeduplall+=$dwzsizedupltot;
 205   $dtsizeall+=$dtsizetot;
 206   push @ratioall    ,$dwzsizetot    /$dtsizetot;
 207   push @ratioduplall,$dwzsizedupltot/$dtsizetot;
 208 #  warn "$binfn done\n".Dumper([sort keys(%l)]);
 209 }
 210 print "dwzsizeall    =$dwzsizeall"    ." dtsizeall=$dtsizeall =".$dwzsizeall    /$dtsizeall." avg=".List::Util::sum(@ratioall    )/@ratioall    ." stddev=".Statistics::Basic::stddev(\@ratioall    )."\n";
 211 print "dwzsizeduplall=$dwzsizeduplall"." dtsizeall=$dtsizeall =".$dwzsizeduplall/$dtsizeall." avg=".List::Util::sum(@ratioduplall)/@ratioduplall." stddev=".Statistics::Basic::stddev(\@ratioduplall)."\n";
 212 print "computed=$computed of DEBUG=".(0+@DEBUG)." =".$computed/@DEBUG."\n";
 213 #print Dumper \@ratioall;