init
[massrebuild.git] / stat
1 #! /usr/bin/perl
2 use strict;
3 use warnings;
4
5 $|=1;
6 sub readfile {
7   my($fname)=@_;
8   local *F;
9   open F,"$fname" or die $fname;
10   local $/=undef();
11   defined(my $r=<F>) or die $fname;
12   close F or die $fname;
13   return $r;
14 }
15 sub writefile {
16   my($fname,$content)=@_;
17   local *F;
18   open F,">$fname" or die $fname;
19   print F $content or die $fname;
20   close F or die $fname;
21 }
22
23 my $mockfail=0;
24 my $dtmockfail=0;
25 my $emptybyfile=0;
26 my $dwzwinbyfile=0;
27 my $dtwinbyfile=0;
28 my $equalbyfile=0;
29 my $emptybyrpm=0;
30 my $dwzwinbyrpm=0;
31 my $dtwinbyrpm=0;
32 my $equalbyrpm=0;
33 my $dwzfilesizetot=0;
34 my $dtfilesizetot=0;
35 my $dwzrpmsizetot=0;
36 my $dtrpmsizetot=0;
37 my $done=0;
38 my %filestat;
39 my @srcrpms;
40 sub onesrcrpm($) {
41   my($srcrpm)=@_;
42 #  print "$srcrpm\n";
43   if (-e "$srcrpm.mockfail") {
44     die if -e "$srcrpm.dt.rpm.mockfail";
45     warn "mockfail: $srcrpm";
46     ++$mockfail;
47     return;
48   }
49   if (-e "$srcrpm.dt.rpm.mockfail") {
50     warn "dtmockfail: $srcrpm";
51     ++$dtmockfail;
52     return;
53   }
54   my $dwzfilesize=0+readfile "$srcrpm.filesize";
55   my $dwzrpmsize=0+readfile "$srcrpm.rpmsize";
56   my $dtfilesize=0+readfile "$srcrpm.dt.rpm.filesize";
57   my $dtrpmsize=0+readfile "$srcrpm.dt.rpm.rpmsize";
58   $dwzfilesizetot+=$dwzfilesize;
59   $dtfilesizetot+=$dtfilesize;
60   $dwzrpmsizetot+=$dwzrpmsize;
61   $dtrpmsizetot+=$dtrpmsize;
62   if (($dwzfilesize>=$dtfilesize)!=($dwzrpmsize>=$dtrpmsize)) {
63     #warn "file vs. rpm size do not match (dwzfilesize=$dwzfilesize dtfilesize=$dtfilesize dwzrpmsize=$dwzrpmsize dtrpmsize=$dtrpmsize: $srcrpm";
64     return;
65   }
66   if ($dwzfilesize==0&&$dtfilesize==0) {
67     ++$emptybyfile;
68   } elsif ($dwzfilesize<$dtfilesize) {
69     #warn "dwz dwzfilesize $dwzfilesize < dtfilesize $dtfilesize: $srcrpm";
70     ++$dwzwinbyfile;
71   } elsif ($dwzfilesize>$dtfilesize) {
72     ++$dtwinbyfile;
73   } else {
74     ++$equalbyfile;
75   }
76   push @{$filestat{$dwzfilesize/$dtfilesize}},"$srcrpm dwzfilesize=$dwzfilesize dtfilesize=$dtfilesize" if $dtfilesize;
77   if ($dwzrpmsize==0&&$dtrpmsize==0) {
78     ++$emptybyrpm;
79   } elsif ($dwzrpmsize<$dtrpmsize) {
80     ++$dwzwinbyrpm;
81   } elsif ($dwzrpmsize>$dtrpmsize) {
82     ++$dtwinbyrpm;
83   } else {
84     ++$equalbyrpm;
85   }
86   ++$done;
87   push @srcrpms,$srcrpm;
88 }
89 my %rpmqa;
90 if (($ARGV[0]||"") eq "-r") {
91   shift;
92   local $_;
93   for (split /\n/,readfile($ARGV[0] eq "-"?"rpm -qa '*-debuginfo'|":$ARGV[0])) {
94     next if /^\s*$/s;
95     /^(.*)-debuginfo-[^-]*-[^-]*$/ or die;
96     $rpmqa{$1}=1;
97   }
98   shift;
99 }
100 for my $srcrpmdone (glob "build/*.src.rpm.done") {
101   (my $srcrpm=$srcrpmdone)=~s{\Q.done\E$}{} or die $srcrpmdone;
102   if (%rpmqa) {
103     $srcrpm=~m{^build/(.*)-[^-]*-[^-]*$} or die;
104     next if !$rpmqa{$1};
105   }
106   onesrcrpm $srcrpm;
107 }
108 print "dwzwinbyfile=$dwzwinbyfile"." dtwinbyfile=$dtwinbyfile"." equalbyfile=$equalbyfile"." emptybyfile=$emptybyfile"."\n";
109 print "dwzwinbyrpm =$dwzwinbyrpm" ." dtwinbyrpm =$dtwinbyrpm" ." equalbyrpm =$equalbyrpm" ." emptybyrpm =$emptybyrpm" ."\n";
110 print "mockfail=$mockfail dtmockfail=$dtmockfail\n";
111 print "dwzfilesizetot=$dwzfilesizetot"." dtfilesizetot=$dtfilesizetot"." = ".($dwzfilesizetot/$dtfilesizetot*100)."%\n";
112 print " dwzrpmsizetot=$dwzrpmsizetot" ."  dtrpmsizetot=$dtrpmsizetot" ." = ".( $dwzrpmsizetot/ $dtrpmsizetot*100)."%\n";
113 my $fail=0;
114 for my $srcrpmfail (glob "build/*.src.rpm.*fail*") {
115   ++$fail;
116 }
117 my $allpkgs=readfile "dnf -C --disablerepo='*' --enablerepo=rawhide-source repoquery -a --arch src 2>/dev/null|";
118 $allpkgs=~tr/\n//cd;
119 $allpkgs=length $allpkgs;
120 print "done=$done + fail=$fail = ".($done+$fail)." all=$allpkgs processed=".(($done+$fail)/$allpkgs*100)."%\n";
121 #print "equal: $_\n" for @{$filestat{1}};
122 my @sorted=map({ my $r=$_; map(($_,$r),@{$filestat{$_}}); } sort {$a<=>$b;} keys %filestat);
123 sub out($) {
124   my($ix)=@_;
125   my $name=$sorted[2*$ix+0];
126   my $ratio=$sorted[2*$ix+1];
127   print(sprintf("%.2f",$ratio*100)."%: $name\n");
128 }
129 my $sorted=@sorted/2;
130 if (@ARGV) {
131   out $_ for 0..$sorted-1;
132 } else {
133   my $p=5;
134   out $_ for 0..$p-1;
135   out $_ for $sorted-$p..$sorted-1;
136 }
137 print "debuginfod download size: ";
138 my $dwzsizetot=0;
139 my $dtsizetot=0;
140 for my $srcrpm (@srcrpms) {
141   my $rpmsizes="$srcrpm.rpmsizes";
142   -e $rpmsizes or (system "./debuginfosize $srcrpm" and die $srcrpm);
143   -e $rpmsizes or die $srcrpm;
144   my $f=readfile $rpmsizes;
145   $f=~/^(\d+) (\d+)\n$/s;
146   my $dwzsize=$1;
147   my $dtsize=$2;
148   $dwzsizetot+=$dwzsize;
149   $dtsizetot+=$dtsize;
150 }
151 print "dwzsizetot=$dwzsizetot dtsizetot=$dtsizetot = ".sprintf("%.2f",$dwzsizetot/$dtsizetot*100)."%\n";
152 print "build time: ";
153 my $dwztime=0;
154 my $dttime=0;
155 for my $srcrpm (@srcrpms) {
156   sub onemocklog($) {
157     my($mocklog)=@_;
158     my $mocklogtime="$mocklog.time";
159     return 0+readfile $mocklogtime if -e $mocklogtime;
160     my $f=readfile($mocklog);
161     # INFO: Done(firefox-78.0-2.fc33.src.rpm) Config(fedora-rawhide-x86_64) 288 minutes 35 seconds
162     my $t;
163     $t=$1*60+$2 while $f=~/\nINFO: Done[(][^\n]*[)] (\d+) minutes (\d+) seconds\n/g;
164     defined $t or die $mocklog;
165     writefile $mocklogtime,"$t\n";
166     return $t;
167   }
168   $dwztime+=onemocklog "$srcrpm.mocklog";
169   $dttime+=onemocklog "$srcrpm.dt.rpm.mocklog";
170 }
171 print "dwztime=$dwztime dttime=$dttime = ".sprintf("%.2f",$dwztime/$dttime*100)."%\n";