Changed FrontendActionFactory::create to return a std::unique_ptr
[lldb.git] / clang-tools-extra / modularize / Modularize.cpp
1 //===- extra/modularize/Modularize.cpp - Check modularized headers --------===//
2 //
3 // Part of the LLVM Project, under the Apache License v2.0 with LLVM Exceptions.
4 // See https://llvm.org/LICENSE.txt for license information.
5 // SPDX-License-Identifier: Apache-2.0 WITH LLVM-exception
6 //
7 //===----------------------------------------------------------------------===//
8 //
9 // Introduction
10 //
11 // This file implements a tool that checks whether a set of headers provides
12 // the consistent definitions required to use modules.  It can also check an
13 // existing module map for full coverage of the headers in a directory tree.
14 //
15 // For example, in examining headers, it detects whether the same entity
16 // (say, a NULL macro or size_t typedef) is defined in multiple headers
17 // or whether a header produces different definitions under
18 // different circumstances. These conditions cause modules built from the
19 // headers to behave poorly, and should be fixed before introducing a module
20 // map.
21 //
22 // Modularize takes as input either one or more module maps (by default,
23 // "module.modulemap") or one or more text files contatining lists of headers
24 // to check.
25 //
26 // In the case of a module map, the module map must be well-formed in
27 // terms of syntax.  Modularize will extract the header file names
28 // from the map.  Only normal headers are checked, assuming headers
29 // marked "private", "textual", or "exclude" are not to be checked
30 // as a top-level include, assuming they either are included by
31 // other headers which are checked, or they are not suitable for
32 // modules.
33 //
34 // In the case of a file list, the list is a newline-separated list of headers
35 // to check with respect to each other.
36 // Lines beginning with '#' and empty lines are ignored.
37 // Header file names followed by a colon and other space-separated
38 // file names will include those extra files as dependencies.
39 // The file names can be relative or full paths, but must be on the
40 // same line.
41 //
42 // Modularize also accepts regular clang front-end arguments.
43 //
44 // Usage:   modularize [(modularize options)]
45 //   [(include-files_list)|(module map)]+ [(front-end-options) ...]
46 //
47 // Options:
48 //    -prefix=(optional header path prefix)
49 //          Note that unless a "-prefix (header path)" option is specified,
50 //          non-absolute file paths in the header list file will be relative
51 //          to the header list file directory.  Use -prefix to specify a
52 //          different directory.
53 //    -module-map-path=(module map)
54 //          Skip the checks, and instead act as a module.map generation
55 //          assistant, generating a module map file based on the header list.
56 //          An optional "-root-module=(rootName)" argument can specify a root
57 //          module to be created in the generated module.map file.  Note that
58 //          you will likely need to edit this file to suit the needs of your
59 //          headers.
60 //    -problem-files-list=(problem files list file name)
61 //          For use only with module map assistant.  Input list of files that
62 //          have problems with respect to modules.  These will still be
63 //          included in the generated module map, but will be marked as
64 //          "excluded" headers.
65 //    -root-module=(root module name)
66 //          Specifies a root module to be created in the generated module.map
67 //          file.
68 //    -block-check-header-list-only
69 //          Only warn if #include directives are inside extern or namespace
70 //          blocks if the included header is in the header list.
71 //    -no-coverage-check
72 //          Don't do the coverage check.
73 //    -coverage-check-only
74 //          Only do the coverage check.
75 //    -display-file-lists
76 //          Display lists of good files (no compile errors), problem files,
77 //          and a combined list with problem files preceded by a '#'.
78 //          This can be used to quickly determine which files have problems.
79 //          The latter combined list might be useful in starting to modularize
80 //          a set of headers.  You can start with a full list of headers,
81 //          use -display-file-lists option, and then use the combined list as
82 //          your intermediate list, uncommenting-out headers as you fix them.
83 //
84 // Note that by default, the modularize assumes .h files contain C++ source.
85 // If your .h files in the file list contain another language, you should
86 // append an appropriate -x option to your command line, i.e.:  -x c
87 //
88 // Modularization Issue Checks
89 //
90 // In the process of checking headers for modularization issues, modularize
91 // will do normal parsing, reporting normal errors and warnings,
92 // but will also report special error messages like the following:
93 //
94 //   error: '(symbol)' defined at multiple locations:
95 //       (file):(row):(column)
96 //       (file):(row):(column)
97 //
98 //   error: header '(file)' has different contents depending on how it was
99 //     included
100 //
101 // The latter might be followed by messages like the following:
102 //
103 //   note: '(symbol)' in (file) at (row):(column) not always provided
104 //
105 // Checks will also be performed for macro expansions, defined(macro)
106 // expressions, and preprocessor conditional directives that evaluate
107 // inconsistently, and can produce error messages like the following:
108 //
109 //   (...)/SubHeader.h:11:5:
110 //   #if SYMBOL == 1
111 //       ^
112 //   error: Macro instance 'SYMBOL' has different values in this header,
113 //          depending on how it was included.
114 //     'SYMBOL' expanded to: '1' with respect to these inclusion paths:
115 //       (...)/Header1.h
116 //         (...)/SubHeader.h
117 //   (...)/SubHeader.h:3:9:
118 //   #define SYMBOL 1
119 //             ^
120 //   Macro defined here.
121 //     'SYMBOL' expanded to: '2' with respect to these inclusion paths:
122 //       (...)/Header2.h
123 //           (...)/SubHeader.h
124 //   (...)/SubHeader.h:7:9:
125 //   #define SYMBOL 2
126 //             ^
127 //   Macro defined here.
128 //
129 // Checks will also be performed for '#include' directives that are
130 // nested inside 'extern "C/C++" {}' or 'namespace (name) {}' blocks,
131 // and can produce error message like the following:
132 //
133 // IncludeInExtern.h:2:3
134 //   #include "Empty.h"
135 //   ^
136 // error: Include directive within extern "C" {}.
137 // IncludeInExtern.h:1:1
138 // extern "C" {
139 // ^
140 // The "extern "C" {}" block is here.
141 //
142 // See PreprocessorTracker.cpp for additional details.
143 //
144 // Module Map Coverage Check
145 //
146 // The coverage check uses the Clang ModuleMap class to read and parse the
147 // module map file.  Starting at the module map file directory, or just the
148 // include paths, if specified, it will collect the names of all the files it
149 // considers headers (no extension, .h, or .inc--if you need more, modify the
150 // isHeader function).  It then compares the headers against those referenced
151 // in the module map, either explicitly named, or implicitly named via an
152 // umbrella directory or umbrella file, as parsed by the ModuleMap object.
153 // If headers are found which are not referenced or covered by an umbrella
154 // directory or file, warning messages will be produced, and this program
155 // will return an error code of 1.  Other errors result in an error code of 2.
156 // If no problems are found, an error code of 0 is returned.
157 //
158 // Note that in the case of umbrella headers, this tool invokes the compiler
159 // to preprocess the file, and uses a callback to collect the header files
160 // included by the umbrella header or any of its nested includes.  If any
161 // front end options are needed for these compiler invocations, these
162 // can be included on the command line after the module map file argument.
163 //
164 // Warning message have the form:
165 //
166 //  warning: module.modulemap does not account for file: Level3A.h
167 //
168 // Note that for the case of the module map referencing a file that does
169 // not exist, the module map parser in Clang will (at the time of this
170 // writing) display an error message.
171 //
172 // Module Map Assistant - Module Map Generation
173 //
174 // Modularize also has an option ("-module-map-path=module.modulemap") that will
175 // skip the checks, and instead act as a module.modulemap generation assistant,
176 // generating a module map file based on the header list.  An optional
177 // "-root-module=(rootName)" argument can specify a root module to be
178 // created in the generated module.modulemap file.  Note that you will likely
179 // need to edit this file to suit the needs of your headers.
180 //
181 // An example command line for generating a module.modulemap file:
182 //
183 //   modularize -module-map-path=module.modulemap -root-module=myroot \
184 //      headerlist.txt
185 //
186 // Note that if the headers in the header list have partial paths, sub-modules
187 // will be created for the subdirectires involved, assuming that the
188 // subdirectories contain headers to be grouped into a module, but still with
189 // individual modules for the headers in the subdirectory.
190 //
191 // See the ModuleAssistant.cpp file comments for additional details about the
192 // implementation of the assistant mode.
193 //
194 // Future directions:
195 //
196 // Basically, we want to add new checks for whatever we can check with respect
197 // to checking headers for module'ability.
198 //
199 // Some ideas:
200 //
201 // 1. Omit duplicate "not always provided" messages
202 //
203 // 2. Add options to disable any of the checks, in case
204 // there is some problem with them, or the messages get too verbose.
205 //
206 // 3. Try to figure out the preprocessor conditional directives that
207 // contribute to problems and tie them to the inconsistent definitions.
208 //
209 // 4. There are some legitimate uses of preprocessor macros that
210 // modularize will flag as errors, such as repeatedly #include'ing
211 // a file and using interleaving defined/undefined macros
212 // to change declarations in the included file.  Is there a way
213 // to address this?  Maybe have modularize accept a list of macros
214 // to ignore.  Otherwise you can just exclude the file, after checking
215 // for legitimate errors.
216 //
217 // 5. What else?
218 //
219 // General clean-up and refactoring:
220 //
221 // 1. The Location class seems to be something that we might
222 // want to design to be applicable to a wider range of tools, and stick it
223 // somewhere into Tooling/ in mainline
224 //
225 //===----------------------------------------------------------------------===//
226
227 #include "Modularize.h"
228 #include "ModularizeUtilities.h"
229 #include "PreprocessorTracker.h"
230 #include "clang/AST/ASTConsumer.h"
231 #include "clang/AST/ASTContext.h"
232 #include "clang/AST/RecursiveASTVisitor.h"
233 #include "clang/Basic/SourceManager.h"
234 #include "clang/Driver/Options.h"
235 #include "clang/Frontend/CompilerInstance.h"
236 #include "clang/Frontend/FrontendAction.h"
237 #include "clang/Frontend/FrontendActions.h"
238 #include "clang/Lex/Preprocessor.h"
239 #include "clang/Tooling/CompilationDatabase.h"
240 #include "clang/Tooling/Tooling.h"
241 #include "llvm/Option/Arg.h"
242 #include "llvm/Option/ArgList.h"
243 #include "llvm/Option/OptTable.h"
244 #include "llvm/Option/Option.h"
245 #include "llvm/Support/CommandLine.h"
246 #include "llvm/Support/FileSystem.h"
247 #include "llvm/Support/MemoryBuffer.h"
248 #include "llvm/Support/Path.h"
249 #include <algorithm>
250 #include <fstream>
251 #include <iterator>
252 #include <string>
253 #include <vector>
254
255 using namespace clang;
256 using namespace clang::driver;
257 using namespace clang::driver::options;
258 using namespace clang::tooling;
259 using namespace llvm;
260 using namespace llvm::opt;
261 using namespace Modularize;
262
263 // Option to specify a file name for a list of header files to check.
264 static cl::list<std::string>
265     ListFileNames(cl::Positional, cl::value_desc("list"),
266                   cl::desc("<list of one or more header list files>"),
267                   cl::CommaSeparated);
268
269 // Collect all other arguments, which will be passed to the front end.
270 static cl::list<std::string>
271     CC1Arguments(cl::ConsumeAfter,
272                  cl::desc("<arguments to be passed to front end>..."));
273
274 // Option to specify a prefix to be prepended to the header names.
275 static cl::opt<std::string> HeaderPrefix(
276     "prefix", cl::init(""),
277     cl::desc(
278         "Prepend header file paths with this prefix."
279         " If not specified,"
280         " the files are considered to be relative to the header list file."));
281
282 // Option for assistant mode, telling modularize to output a module map
283 // based on the headers list, and where to put it.
284 static cl::opt<std::string> ModuleMapPath(
285     "module-map-path", cl::init(""),
286     cl::desc("Turn on module map output and specify output path or file name."
287              " If no path is specified and if prefix option is specified,"
288              " use prefix for file path."));
289
290 // Option to specify list of problem files for assistant.
291 // This will cause assistant to exclude these files.
292 static cl::opt<std::string> ProblemFilesList(
293   "problem-files-list", cl::init(""),
294   cl::desc(
295   "List of files with compilation or modularization problems for"
296     " assistant mode.  This will be excluded."));
297
298 // Option for assistant mode, telling modularize the name of the root module.
299 static cl::opt<std::string>
300 RootModule("root-module", cl::init(""),
301            cl::desc("Specify the name of the root module."));
302
303 // Option for limiting the #include-inside-extern-or-namespace-block
304 // check to only those headers explicitly listed in the header list.
305 // This is a work-around for private includes that purposefully get
306 // included inside blocks.
307 static cl::opt<bool>
308 BlockCheckHeaderListOnly("block-check-header-list-only", cl::init(false),
309 cl::desc("Only warn if #include directives are inside extern or namespace"
310   " blocks if the included header is in the header list."));
311
312 // Option for include paths for coverage check.
313 static cl::list<std::string>
314 IncludePaths("I", cl::desc("Include path for coverage check."),
315 cl::ZeroOrMore, cl::value_desc("path"));
316
317 // Option for disabling the coverage check.
318 static cl::opt<bool>
319 NoCoverageCheck("no-coverage-check", cl::init(false),
320 cl::desc("Don't do the coverage check."));
321
322 // Option for just doing the coverage check.
323 static cl::opt<bool>
324 CoverageCheckOnly("coverage-check-only", cl::init(false),
325 cl::desc("Only do the coverage check."));
326
327 // Option for displaying lists of good, bad, and mixed files.
328 static cl::opt<bool>
329 DisplayFileLists("display-file-lists", cl::init(false),
330 cl::desc("Display lists of good files (no compile errors), problem files,"
331   " and a combined list with problem files preceded by a '#'."));
332
333 // Save the program name for error messages.
334 const char *Argv0;
335 // Save the command line for comments.
336 std::string CommandLine;
337
338 // Helper function for finding the input file in an arguments list.
339 static std::string findInputFile(const CommandLineArguments &CLArgs) {
340   std::unique_ptr<OptTable> Opts(createDriverOptTable());
341   const unsigned IncludedFlagsBitmask = options::CC1Option;
342   unsigned MissingArgIndex, MissingArgCount;
343   SmallVector<const char *, 256> Argv;
344   for (auto I = CLArgs.begin(), E = CLArgs.end(); I != E; ++I)
345     Argv.push_back(I->c_str());
346   InputArgList Args = Opts->ParseArgs(Argv, MissingArgIndex, MissingArgCount,
347                                       IncludedFlagsBitmask);
348   std::vector<std::string> Inputs = Args.getAllArgValues(OPT_INPUT);
349   return ModularizeUtilities::getCanonicalPath(Inputs.back());
350 }
351
352 // This arguments adjuster inserts "-include (file)" arguments for header
353 // dependencies.  It also inserts a "-w" option and a "-x c++",
354 // if no other "-x" option is present.
355 static ArgumentsAdjuster
356 getModularizeArgumentsAdjuster(DependencyMap &Dependencies) {
357   return [&Dependencies](const CommandLineArguments &Args,
358                          StringRef /*unused*/) {
359     std::string InputFile = findInputFile(Args);
360     DependentsVector &FileDependents = Dependencies[InputFile];
361     CommandLineArguments NewArgs(Args);
362     if (int Count = FileDependents.size()) {
363       for (int Index = 0; Index < Count; ++Index) {
364         NewArgs.push_back("-include");
365         std::string File(std::string("\"") + FileDependents[Index] +
366                          std::string("\""));
367         NewArgs.push_back(FileDependents[Index]);
368       }
369     }
370     // Ignore warnings.  (Insert after "clang_tool" at beginning.)
371     NewArgs.insert(NewArgs.begin() + 1, "-w");
372     // Since we are compiling .h files, assume C++ unless given a -x option.
373     if (!llvm::is_contained(NewArgs, "-x")) {
374       NewArgs.insert(NewArgs.begin() + 2, "-x");
375       NewArgs.insert(NewArgs.begin() + 3, "c++");
376     }
377     return NewArgs;
378   };
379 }
380
381 // FIXME: The Location class seems to be something that we might
382 // want to design to be applicable to a wider range of tools, and stick it
383 // somewhere into Tooling/ in mainline
384 struct Location {
385   const FileEntry *File;
386   unsigned Line, Column;
387
388   Location() : File(), Line(), Column() {}
389
390   Location(SourceManager &SM, SourceLocation Loc) : File(), Line(), Column() {
391     Loc = SM.getExpansionLoc(Loc);
392     if (Loc.isInvalid())
393       return;
394
395     std::pair<FileID, unsigned> Decomposed = SM.getDecomposedLoc(Loc);
396     File = SM.getFileEntryForID(Decomposed.first);
397     if (!File)
398       return;
399
400     Line = SM.getLineNumber(Decomposed.first, Decomposed.second);
401     Column = SM.getColumnNumber(Decomposed.first, Decomposed.second);
402   }
403
404   operator bool() const { return File != nullptr; }
405
406   friend bool operator==(const Location &X, const Location &Y) {
407     return X.File == Y.File && X.Line == Y.Line && X.Column == Y.Column;
408   }
409
410   friend bool operator!=(const Location &X, const Location &Y) {
411     return !(X == Y);
412   }
413
414   friend bool operator<(const Location &X, const Location &Y) {
415     if (X.File != Y.File)
416       return X.File < Y.File;
417     if (X.Line != Y.Line)
418       return X.Line < Y.Line;
419     return X.Column < Y.Column;
420   }
421   friend bool operator>(const Location &X, const Location &Y) { return Y < X; }
422   friend bool operator<=(const Location &X, const Location &Y) {
423     return !(Y < X);
424   }
425   friend bool operator>=(const Location &X, const Location &Y) {
426     return !(X < Y);
427   }
428 };
429
430 struct Entry {
431   enum EntryKind {
432     EK_Tag,
433     EK_Value,
434     EK_Macro,
435
436     EK_NumberOfKinds
437   } Kind;
438
439   Location Loc;
440
441   StringRef getKindName() { return getKindName(Kind); }
442   static StringRef getKindName(EntryKind kind);
443 };
444
445 // Return a string representing the given kind.
446 StringRef Entry::getKindName(Entry::EntryKind kind) {
447   switch (kind) {
448   case EK_Tag:
449     return "tag";
450   case EK_Value:
451     return "value";
452   case EK_Macro:
453     return "macro";
454   case EK_NumberOfKinds:
455     break;
456   }
457   llvm_unreachable("invalid Entry kind");
458 }
459
460 struct HeaderEntry {
461   std::string Name;
462   Location Loc;
463
464   friend bool operator==(const HeaderEntry &X, const HeaderEntry &Y) {
465     return X.Loc == Y.Loc && X.Name == Y.Name;
466   }
467   friend bool operator!=(const HeaderEntry &X, const HeaderEntry &Y) {
468     return !(X == Y);
469   }
470   friend bool operator<(const HeaderEntry &X, const HeaderEntry &Y) {
471     return X.Loc < Y.Loc || (X.Loc == Y.Loc && X.Name < Y.Name);
472   }
473   friend bool operator>(const HeaderEntry &X, const HeaderEntry &Y) {
474     return Y < X;
475   }
476   friend bool operator<=(const HeaderEntry &X, const HeaderEntry &Y) {
477     return !(Y < X);
478   }
479   friend bool operator>=(const HeaderEntry &X, const HeaderEntry &Y) {
480     return !(X < Y);
481   }
482 };
483
484 typedef std::vector<HeaderEntry> HeaderContents;
485
486 class EntityMap : public StringMap<SmallVector<Entry, 2> > {
487 public:
488   DenseMap<const FileEntry *, HeaderContents> HeaderContentMismatches;
489
490   void add(const std::string &Name, enum Entry::EntryKind Kind, Location Loc) {
491     // Record this entity in its header.
492     HeaderEntry HE = { Name, Loc };
493     CurHeaderContents[Loc.File].push_back(HE);
494
495     // Check whether we've seen this entry before.
496     SmallVector<Entry, 2> &Entries = (*this)[Name];
497     for (unsigned I = 0, N = Entries.size(); I != N; ++I) {
498       if (Entries[I].Kind == Kind && Entries[I].Loc == Loc)
499         return;
500     }
501
502     // We have not seen this entry before; record it.
503     Entry E = { Kind, Loc };
504     Entries.push_back(E);
505   }
506
507   void mergeCurHeaderContents() {
508     for (DenseMap<const FileEntry *, HeaderContents>::iterator
509              H = CurHeaderContents.begin(),
510              HEnd = CurHeaderContents.end();
511          H != HEnd; ++H) {
512       // Sort contents.
513       std::sort(H->second.begin(), H->second.end());
514
515       // Check whether we've seen this header before.
516       DenseMap<const FileEntry *, HeaderContents>::iterator KnownH =
517           AllHeaderContents.find(H->first);
518       if (KnownH == AllHeaderContents.end()) {
519         // We haven't seen this header before; record its contents.
520         AllHeaderContents.insert(*H);
521         continue;
522       }
523
524       // If the header contents are the same, we're done.
525       if (H->second == KnownH->second)
526         continue;
527
528       // Determine what changed.
529       std::set_symmetric_difference(
530           H->second.begin(), H->second.end(), KnownH->second.begin(),
531           KnownH->second.end(),
532           std::back_inserter(HeaderContentMismatches[H->first]));
533     }
534
535     CurHeaderContents.clear();
536   }
537
538 private:
539   DenseMap<const FileEntry *, HeaderContents> CurHeaderContents;
540   DenseMap<const FileEntry *, HeaderContents> AllHeaderContents;
541 };
542
543 class CollectEntitiesVisitor
544     : public RecursiveASTVisitor<CollectEntitiesVisitor> {
545 public:
546   CollectEntitiesVisitor(SourceManager &SM, EntityMap &Entities,
547                          Preprocessor &PP, PreprocessorTracker &PPTracker,
548                          int &HadErrors)
549       : SM(SM), Entities(Entities), PP(PP), PPTracker(PPTracker),
550         HadErrors(HadErrors) {}
551
552   bool TraverseStmt(Stmt *S) { return true; }
553   bool TraverseType(QualType T) { return true; }
554   bool TraverseTypeLoc(TypeLoc TL) { return true; }
555   bool TraverseNestedNameSpecifier(NestedNameSpecifier *NNS) { return true; }
556   bool TraverseNestedNameSpecifierLoc(NestedNameSpecifierLoc NNS) {
557     return true;
558   }
559   bool TraverseDeclarationNameInfo(DeclarationNameInfo NameInfo) {
560     return true;
561   }
562   bool TraverseTemplateName(TemplateName Template) { return true; }
563   bool TraverseTemplateArgument(const TemplateArgument &Arg) { return true; }
564   bool TraverseTemplateArgumentLoc(const TemplateArgumentLoc &ArgLoc) {
565     return true;
566   }
567   bool TraverseTemplateArguments(const TemplateArgument *Args,
568                                  unsigned NumArgs) {
569     return true;
570   }
571   bool TraverseConstructorInitializer(CXXCtorInitializer *Init) { return true; }
572   bool TraverseLambdaCapture(LambdaExpr *LE, const LambdaCapture *C,
573                              Expr *Init) {
574     return true;
575   }
576
577   // Check 'extern "*" {}' block for #include directives.
578   bool VisitLinkageSpecDecl(LinkageSpecDecl *D) {
579     // Bail if not a block.
580     if (!D->hasBraces())
581       return true;
582     SourceRange BlockRange = D->getSourceRange();
583     const char *LinkageLabel;
584     switch (D->getLanguage()) {
585     case LinkageSpecDecl::lang_c:
586       LinkageLabel = "extern \"C\" {}";
587       break;
588     case LinkageSpecDecl::lang_cxx:
589       LinkageLabel = "extern \"C++\" {}";
590       break;
591     }
592     if (!PPTracker.checkForIncludesInBlock(PP, BlockRange, LinkageLabel,
593                                            errs()))
594       HadErrors = 1;
595     return true;
596   }
597
598   // Check 'namespace (name) {}' block for #include directives.
599   bool VisitNamespaceDecl(const NamespaceDecl *D) {
600     SourceRange BlockRange = D->getSourceRange();
601     std::string Label("namespace ");
602     Label += D->getName();
603     Label += " {}";
604     if (!PPTracker.checkForIncludesInBlock(PP, BlockRange, Label.c_str(),
605                                            errs()))
606       HadErrors = 1;
607     return true;
608   }
609
610   // Collect definition entities.
611   bool VisitNamedDecl(NamedDecl *ND) {
612     // We only care about file-context variables.
613     if (!ND->getDeclContext()->isFileContext())
614       return true;
615
616     // Skip declarations that tend to be properly multiply-declared.
617     if (isa<NamespaceDecl>(ND) || isa<UsingDirectiveDecl>(ND) ||
618         isa<NamespaceAliasDecl>(ND) ||
619         isa<ClassTemplateSpecializationDecl>(ND) || isa<UsingDecl>(ND) ||
620         isa<ClassTemplateDecl>(ND) || isa<TemplateTypeParmDecl>(ND) ||
621         isa<TypeAliasTemplateDecl>(ND) || isa<UsingShadowDecl>(ND) ||
622         isa<FunctionDecl>(ND) || isa<FunctionTemplateDecl>(ND) ||
623         (isa<TagDecl>(ND) &&
624          !cast<TagDecl>(ND)->isThisDeclarationADefinition()))
625       return true;
626
627     // Skip anonymous declarations.
628     if (!ND->getDeclName())
629       return true;
630
631     // Get the qualified name.
632     std::string Name;
633     llvm::raw_string_ostream OS(Name);
634     ND->printQualifiedName(OS);
635     OS.flush();
636     if (Name.empty())
637       return true;
638
639     Location Loc(SM, ND->getLocation());
640     if (!Loc)
641       return true;
642
643     Entities.add(Name, isa<TagDecl>(ND) ? Entry::EK_Tag : Entry::EK_Value, Loc);
644     return true;
645   }
646
647 private:
648   SourceManager &SM;
649   EntityMap &Entities;
650   Preprocessor &PP;
651   PreprocessorTracker &PPTracker;
652   int &HadErrors;
653 };
654
655 class CollectEntitiesConsumer : public ASTConsumer {
656 public:
657   CollectEntitiesConsumer(EntityMap &Entities,
658                           PreprocessorTracker &preprocessorTracker,
659                           Preprocessor &PP, StringRef InFile, int &HadErrors)
660       : Entities(Entities), PPTracker(preprocessorTracker), PP(PP),
661         HadErrors(HadErrors) {
662     PPTracker.handlePreprocessorEntry(PP, InFile);
663   }
664
665   ~CollectEntitiesConsumer() override { PPTracker.handlePreprocessorExit(); }
666
667   void HandleTranslationUnit(ASTContext &Ctx) override {
668     SourceManager &SM = Ctx.getSourceManager();
669
670     // Collect declared entities.
671     CollectEntitiesVisitor(SM, Entities, PP, PPTracker, HadErrors)
672         .TraverseDecl(Ctx.getTranslationUnitDecl());
673
674     // Collect macro definitions.
675     for (Preprocessor::macro_iterator M = PP.macro_begin(),
676                                       MEnd = PP.macro_end();
677          M != MEnd; ++M) {
678       Location Loc(SM, M->second.getLatest()->getLocation());
679       if (!Loc)
680         continue;
681
682       Entities.add(M->first->getName().str(), Entry::EK_Macro, Loc);
683     }
684
685     // Merge header contents.
686     Entities.mergeCurHeaderContents();
687   }
688
689 private:
690   EntityMap &Entities;
691   PreprocessorTracker &PPTracker;
692   Preprocessor &PP;
693   int &HadErrors;
694 };
695
696 class CollectEntitiesAction : public SyntaxOnlyAction {
697 public:
698   CollectEntitiesAction(EntityMap &Entities,
699                         PreprocessorTracker &preprocessorTracker,
700                         int &HadErrors)
701       : Entities(Entities), PPTracker(preprocessorTracker),
702         HadErrors(HadErrors) {}
703
704 protected:
705   std::unique_ptr<clang::ASTConsumer>
706   CreateASTConsumer(CompilerInstance &CI, StringRef InFile) override {
707     return std::make_unique<CollectEntitiesConsumer>(
708         Entities, PPTracker, CI.getPreprocessor(), InFile, HadErrors);
709   }
710
711 private:
712   EntityMap &Entities;
713   PreprocessorTracker &PPTracker;
714   int &HadErrors;
715 };
716
717 class ModularizeFrontendActionFactory : public FrontendActionFactory {
718 public:
719   ModularizeFrontendActionFactory(EntityMap &Entities,
720                                   PreprocessorTracker &preprocessorTracker,
721                                   int &HadErrors)
722       : Entities(Entities), PPTracker(preprocessorTracker),
723         HadErrors(HadErrors) {}
724
725   std::unique_ptr<FrontendAction> create() override {
726     return std::make_unique<CollectEntitiesAction>(Entities, PPTracker,
727                                                    HadErrors);
728   }
729
730 private:
731   EntityMap &Entities;
732   PreprocessorTracker &PPTracker;
733   int &HadErrors;
734 };
735
736 class CompileCheckVisitor
737   : public RecursiveASTVisitor<CompileCheckVisitor> {
738 public:
739   CompileCheckVisitor() {}
740
741   bool TraverseStmt(Stmt *S) { return true; }
742   bool TraverseType(QualType T) { return true; }
743   bool TraverseTypeLoc(TypeLoc TL) { return true; }
744   bool TraverseNestedNameSpecifier(NestedNameSpecifier *NNS) { return true; }
745   bool TraverseNestedNameSpecifierLoc(NestedNameSpecifierLoc NNS) {
746     return true;
747   }
748   bool TraverseDeclarationNameInfo(DeclarationNameInfo NameInfo) {
749     return true;
750   }
751   bool TraverseTemplateName(TemplateName Template) { return true; }
752   bool TraverseTemplateArgument(const TemplateArgument &Arg) { return true; }
753   bool TraverseTemplateArgumentLoc(const TemplateArgumentLoc &ArgLoc) {
754     return true;
755   }
756   bool TraverseTemplateArguments(const TemplateArgument *Args,
757     unsigned NumArgs) {
758     return true;
759   }
760   bool TraverseConstructorInitializer(CXXCtorInitializer *Init) { return true; }
761   bool TraverseLambdaCapture(LambdaExpr *LE, const LambdaCapture *C,
762                              Expr *Init) {
763     return true;
764   }
765
766   // Check 'extern "*" {}' block for #include directives.
767   bool VisitLinkageSpecDecl(LinkageSpecDecl *D) {
768     return true;
769   }
770
771   // Check 'namespace (name) {}' block for #include directives.
772   bool VisitNamespaceDecl(const NamespaceDecl *D) {
773     return true;
774   }
775
776   // Collect definition entities.
777   bool VisitNamedDecl(NamedDecl *ND) {
778     return true;
779   }
780 };
781
782 class CompileCheckConsumer : public ASTConsumer {
783 public:
784   CompileCheckConsumer() {}
785
786   void HandleTranslationUnit(ASTContext &Ctx) override {
787     CompileCheckVisitor().TraverseDecl(Ctx.getTranslationUnitDecl());
788   }
789 };
790
791 class CompileCheckAction : public SyntaxOnlyAction {
792 public:
793   CompileCheckAction() {}
794
795 protected:
796   std::unique_ptr<clang::ASTConsumer>
797     CreateASTConsumer(CompilerInstance &CI, StringRef InFile) override {
798     return std::make_unique<CompileCheckConsumer>();
799   }
800 };
801
802 class CompileCheckFrontendActionFactory : public FrontendActionFactory {
803 public:
804   CompileCheckFrontendActionFactory() {}
805
806   std::unique_ptr<FrontendAction> create() override {
807     return std::make_unique<CompileCheckAction>();
808   }
809 };
810
811 int main(int Argc, const char **Argv) {
812
813   // Save program name for error messages.
814   Argv0 = Argv[0];
815
816   // Save program arguments for use in module.modulemap comment.
817   CommandLine = sys::path::stem(sys::path::filename(Argv0));
818   for (int ArgIndex = 1; ArgIndex < Argc; ArgIndex++) {
819     CommandLine.append(" ");
820     CommandLine.append(Argv[ArgIndex]);
821   }
822
823   // This causes options to be parsed.
824   cl::ParseCommandLineOptions(Argc, Argv, "modularize.\n");
825
826   // No go if we have no header list file.
827   if (ListFileNames.size() == 0) {
828     cl::PrintHelpMessage();
829     return 1;
830   }
831
832   std::unique_ptr<ModularizeUtilities> ModUtil;
833   int HadErrors = 0;
834
835   ModUtil.reset(
836     ModularizeUtilities::createModularizeUtilities(
837       ListFileNames, HeaderPrefix, ProblemFilesList));
838
839   // Get header file names and dependencies.
840   if (ModUtil->loadAllHeaderListsAndDependencies())
841     HadErrors = 1;
842
843   // If we are in assistant mode, output the module map and quit.
844   if (ModuleMapPath.length() != 0) {
845     if (!createModuleMap(ModuleMapPath, ModUtil->HeaderFileNames,
846                          ModUtil->ProblemFileNames,
847                          ModUtil->Dependencies, HeaderPrefix, RootModule))
848       return 1; // Failed.
849     return 0;   // Success - Skip checks in assistant mode.
850   }
851
852   // If we're doing module maps.
853   if (!NoCoverageCheck && ModUtil->HasModuleMap) {
854     // Do coverage check.
855     if (ModUtil->doCoverageCheck(IncludePaths, CommandLine))
856       HadErrors = 1;
857   }
858
859   // Bail early if only doing the coverage check.
860   if (CoverageCheckOnly)
861     return HadErrors;
862
863   // Create the compilation database.
864   SmallString<256> PathBuf;
865   sys::fs::current_path(PathBuf);
866   std::unique_ptr<CompilationDatabase> Compilations;
867   Compilations.reset(
868       new FixedCompilationDatabase(Twine(PathBuf), CC1Arguments));
869
870   // Create preprocessor tracker, to watch for macro and conditional problems.
871   std::unique_ptr<PreprocessorTracker> PPTracker(
872     PreprocessorTracker::create(ModUtil->HeaderFileNames,
873                                 BlockCheckHeaderListOnly));
874
875   // Coolect entities here.
876   EntityMap Entities;
877
878   // Because we can't easily determine which files failed
879   // during the tool run, if we're collecting the file lists
880   // for display, we do a first compile pass on individual
881   // files to find which ones don't compile stand-alone.
882   if (DisplayFileLists) {
883     // First, make a pass to just get compile errors.
884     for (auto &CompileCheckFile : ModUtil->HeaderFileNames) {
885       llvm::SmallVector<std::string, 32> CompileCheckFileArray;
886       CompileCheckFileArray.push_back(CompileCheckFile);
887       ClangTool CompileCheckTool(*Compilations, CompileCheckFileArray);
888       CompileCheckTool.appendArgumentsAdjuster(
889         getModularizeArgumentsAdjuster(ModUtil->Dependencies));
890       int CompileCheckFileErrors = 0;
891       // FIXME: use newFrontendActionFactory.
892       CompileCheckFrontendActionFactory CompileCheckFactory;
893       CompileCheckFileErrors |= CompileCheckTool.run(&CompileCheckFactory);
894       if (CompileCheckFileErrors != 0) {
895         ModUtil->addUniqueProblemFile(CompileCheckFile);   // Save problem file.
896         HadErrors |= 1;
897       }
898       else
899         ModUtil->addNoCompileErrorsFile(CompileCheckFile); // Save good file.
900     }
901   }
902
903   // Then we make another pass on the good files to do the rest of the work.
904   ClangTool Tool(*Compilations,
905     (DisplayFileLists ? ModUtil->GoodFileNames : ModUtil->HeaderFileNames));
906   Tool.appendArgumentsAdjuster(
907     getModularizeArgumentsAdjuster(ModUtil->Dependencies));
908   ModularizeFrontendActionFactory Factory(Entities, *PPTracker, HadErrors);
909   HadErrors |= Tool.run(&Factory);
910
911   // Create a place to save duplicate entity locations, separate bins per kind.
912   typedef SmallVector<Location, 8> LocationArray;
913   typedef SmallVector<LocationArray, Entry::EK_NumberOfKinds> EntryBinArray;
914   EntryBinArray EntryBins;
915   int KindIndex;
916   for (KindIndex = 0; KindIndex < Entry::EK_NumberOfKinds; ++KindIndex) {
917     LocationArray Array;
918     EntryBins.push_back(Array);
919   }
920
921   // Check for the same entity being defined in multiple places.
922   for (EntityMap::iterator E = Entities.begin(), EEnd = Entities.end();
923        E != EEnd; ++E) {
924     // If only one occurrence, exit early.
925     if (E->second.size() == 1)
926       continue;
927     // Clear entity locations.
928     for (EntryBinArray::iterator CI = EntryBins.begin(), CE = EntryBins.end();
929          CI != CE; ++CI) {
930       CI->clear();
931     }
932     // Walk the entities of a single name, collecting the locations,
933     // separated into separate bins.
934     for (unsigned I = 0, N = E->second.size(); I != N; ++I) {
935       EntryBins[E->second[I].Kind].push_back(E->second[I].Loc);
936     }
937     // Report any duplicate entity definition errors.
938     int KindIndex = 0;
939     for (EntryBinArray::iterator DI = EntryBins.begin(), DE = EntryBins.end();
940          DI != DE; ++DI, ++KindIndex) {
941       int ECount = DI->size();
942       // If only 1 occurrence of this entity, skip it, we only report duplicates.
943       if (ECount <= 1)
944         continue;
945       LocationArray::iterator FI = DI->begin();
946       StringRef kindName = Entry::getKindName((Entry::EntryKind)KindIndex);
947       errs() << "error: " << kindName << " '" << E->first()
948              << "' defined at multiple locations:\n";
949       for (LocationArray::iterator FE = DI->end(); FI != FE; ++FI) {
950         errs() << "    " << FI->File->getName() << ":" << FI->Line << ":"
951                << FI->Column << "\n";
952         ModUtil->addUniqueProblemFile(FI->File->getName());
953       }
954       HadErrors = 1;
955     }
956   }
957
958   // Complain about macro instance in header files that differ based on how
959   // they are included.
960   if (PPTracker->reportInconsistentMacros(errs()))
961     HadErrors = 1;
962
963   // Complain about preprocessor conditional directives in header files that
964   // differ based on how they are included.
965   if (PPTracker->reportInconsistentConditionals(errs()))
966     HadErrors = 1;
967
968   // Complain about any headers that have contents that differ based on how
969   // they are included.
970   // FIXME: Could we provide information about which preprocessor conditionals
971   // are involved?
972   for (DenseMap<const FileEntry *, HeaderContents>::iterator
973            H = Entities.HeaderContentMismatches.begin(),
974            HEnd = Entities.HeaderContentMismatches.end();
975        H != HEnd; ++H) {
976     if (H->second.empty()) {
977       errs() << "internal error: phantom header content mismatch\n";
978       continue;
979     }
980
981     HadErrors = 1;
982     ModUtil->addUniqueProblemFile(H->first->getName());
983     errs() << "error: header '" << H->first->getName()
984            << "' has different contents depending on how it was included.\n";
985     for (unsigned I = 0, N = H->second.size(); I != N; ++I) {
986       errs() << "note: '" << H->second[I].Name << "' in "
987              << H->second[I].Loc.File->getName() << " at "
988              << H->second[I].Loc.Line << ":" << H->second[I].Loc.Column
989              << " not always provided\n";
990     }
991   }
992
993   if (DisplayFileLists) {
994     ModUtil->displayProblemFiles();
995     ModUtil->displayGoodFiles();
996     ModUtil->displayCombinedFiles();
997   }
998
999   return HadErrors;
1000 }