Microsoft Windows File Systems-Connector bereitstellen

Sie können Google Cloud Search so einrichten, dass zusätzlich zu Ihren Google Workspace-Inhalten auch Ergebnisse aus den Microsoft Windows-Freigaben Ihrer Organisation zurückgegeben werden. Dazu verwenden Sie den File Systems-Connector für Google Cloud Search und konfigurieren ihn für den Zugriff auf bestimmte Windows-Freigaben. Eine einzelne Connector-Instanz kann mehrere Microsoft Windows-Freigaben unterstützen.

Wichtige Aspekte

Kontinuierliche automatische Updates

Standardmäßig überwacht der Connector beim Start des Connectors kontinuierlich die Startpfade (Werte aus fs.src in der Connector-Konfigurationsdatei). Wenn das Dateisystem Änderungen an den Inhalts- oder Zugriffssteuerungen meldet, wird der Connector ausgelöst, um das Dateisystem noch einmal zu crawlen. Dieses erneute Crawling kann ressourcenintensiv sein. Wenn Sie die Dateisystemüberwachung deaktivieren möchten, setzen Sie fs.monitorForUpdates auf false. Sie reduzieren die Ressourcennutzung des Connectors erheblich. Die Änderungen werden jedoch erst später im Connector widergespiegelt. Weitere Informationen

DFS-Zugriffssteuerung

Das DFS-System wendet die Zugriffssteuerung auf Links an und normalerweise hat jeder DFS-Link eine eigene ACL. In DFS wird unter anderem die zugriffsbasierte Aufzählung (Access-based Enumeration, ABE) eingesetzt. Damit können die an einen Nutzer zurückgegebenen DFS-Links eingeschränkt werden. Wenn ABE gehostete Basisverzeichnisse isoliert, erhalten Nutzer möglicherweise nur einen Teil der DFS-Links oder auch nur einen Link. Wenn der Connector ein DFS-System durchläuft, berücksichtigt er die DFS-Link-ACL und die Freigabe-ACL des Ziels. Die Freigabe-ACL übernimmt die Einstellungen der DFS-ACL.

Bekannte Einschränkungen

  • Dateisystem: Der File Systems-Connector unterstützt weder zugeordnete noch lokale Laufwerke.
  • Verteiltes Dateisystem: Ein Laufwerk, das einem UNC-DFS zugeordnet ist, funktioniert nicht richtig. Einige ACLs werden nicht richtig gelesen.
  • Der File Systems-Connector unterstützt DFS-Namespaces und -Links (Distributed File System). Der Connector unterstützt jedoch nur DFS-Links in einem DFS-Namespace, nicht die regulären Ordner im DFS-Namespace.
  • Auf cloudsearch.google.com zurückgegebene Dateilinks sind nicht anklickbar. Auch die von der Query API zurückgegebenen Dateilinks sind in den meisten Browsern nicht anklickbar.

Systemanforderungen

Systemanforderungen
Betriebssystem
  • Windows Server 2016
  • Windows Server 2012
  • Windows Server 2008 R2
Software
  • Java JRE 1.8, installiert auf dem Computer, auf dem der File Systems-Connector für Google Cloud Search ausgeführt wird
Dateisystemprotokolle
  • Server Message Block (SMB) – SMB1
  • Server Message Block (SMB) – SMB2
  • Verteiltes Dateisystem (Distributed File System, DFS)

Nicht unterstützt:Lokale Windows-Dateisysteme, Sun Network File System (NFS) 2.0, Sun Network File System (NFS) 3.0 oder ein lokales Linux-Dateisystem.

Connector bereitstellen

Voraussetzungen

Bevor Sie den File Systems-Connector für Cloud Search bereitstellen, prüfen Sie, ob Ihre Umgebung die folgenden Voraussetzungen erfüllt:

Erforderliche Berechtigungen für Microsoft Windows-Konten

Das Microsoft Windows-Konto, unter dem der Connector ausgeführt wird, muss ausreichende Berechtigungen für die folgenden Aktionen haben:

  • Inhalt von Ordnern auflisten
  • Inhalt von Dokumenten lesen
  • Attribute von Dateien und Ordnern lesen
  • Leseberechtigungen (ACLs) für Dateien und Ordner
  • Berechtigungen für grundlegende Attribute schreiben

Durch die Mitgliedschaft in einer der folgenden Gruppen erhält ein Windows-Konto die erforderlichen Berechtigungen, die der Connector benötigt:

  • Administratoren
  • Poweruser
  • Druckoperatoren
  • Serveroperatoren

Schritt 1. File Systems-Connector für Google Cloud Search installieren

  1. Rufen Sie das Connector-Repository von GitHub ab und erstellen Sie es.

    So verwenden Sie Git auf dem Windows-Server:

    1. Klonen Sie das Repository:

      > git clone https://github.com/google-cloudsearch/windows-filesystems-connector.git
      > cd windows-filesystems-connector
    2. Prüfen Sie die gewünschte Version des Connectors:

      > git checkout tags/v1-0.0.3

    So laden Sie Dateien direkt von GitHub herunter:

    1. Rufen Sie https://github.com/google-cloudsearch/windows-filesystems-connector auf.
    2. Klicken Sie auf Klonen oder herunterladen ZIP-Datei herunterladen.
    3. Entpacken Sie das Paket.
    4. Wechseln Sie in das neue Verzeichnis:
      > cd windows-filesystems-connector
  2. Erstellen Sie den Connector. Installieren Sie bei Bedarf Apache Maven.

    > mvn package

    Wenn Sie beim Erstellen des Connectors Tests überspringen möchten, führen Sie mvn package -DskipTests anstelle von mvn package aus.

  3. Kopieren Sie die ZIP-Datei des Connectors in Ihr lokales Installationsverzeichnis:

    > cp target/google-cloudsearch-windows-filesystems-connector-v1-0.0.3.zip installation-dir
    > cd installation-dir
    > unzip google-cloudsearch-windows-filesystems-connector-v1-0.0.3.zip
    > cd google-cloudsearch-windows-filesystems-connector-v1-0.0.3

Schritt 2: Konfigurationsdatei für Connector erstellen

  1. Erstellen Sie im selben Verzeichnis wie die Connector-Installation eine Datei und nennen Sie sie connector-config.properties.

  2. Fügen Sie dem Dateiinhalt Parameter als Schlüssel/Wert-Paare hinzu, wie im folgenden Beispiel gezeigt:

    ### File system connector configuration ###
    
    # Required parameters for Cloud Search data source and identity source access
    api.serviceAccountPrivateKeyFile=/path/to/file.json
    api.sourceId=0123456789abcde
    api.identitySourceId=a1b1c1234567
    
    # Required parameters for file system access
    fs.src=\\\\host\\share;\\\\dfshost\\dfsnamespace;\\\\dfshost\\dfsnamespace\\link
    
    # Optional parameters for file system monitoring
    traverse.abortAfterExceptions=500
    fs.monitorForUpdates = true
    fs.preserveLastAccessTime = IF_ALLOWED
    

    Ausführliche Beschreibungen der einzelnen Parameter finden Sie in der Referenz zu Konfigurationsparametern.

  3. Optional: Konfigurieren Sie nach Bedarf weitere Connector-Parameter. Weitere Informationen zu den von Google bereitgestellten Connectorparametern

Schritt 3. Logging aktivieren

  1. Erstellen Sie in dem Verzeichnis, das die Binärdatei des Connectors enthält, einen Ordner mit dem Namen logs.
  2. Erstellen Sie in dem Verzeichnis, das die Connector-Binärdatei enthält, eine ASCII- oder UTF-8-Datei mit dem Namen logging.properties und fügen Sie den folgenden Inhalt hinzu:

    handlers = java.util.logging.ConsoleHandler,java.util.logging.FileHandler
    # Default log level
    .level = WARNING
    com.google.enterprise.cloudsearch.level = INFO
    com.google.enterprise.cloudsearch.fs.level = INFO
    
    # uncomment line below to increase logging level to enable API trace
    #com.google.api.client.http.level = FINE
    java.util.logging.ConsoleHandler.level = INFO
    java.util.logging.FileHandler.pattern=logs/connector-fs.%g.log
    java.util.logging.FileHandler.limit=10485760
    java.util.logging.FileHandler.count=10
    java.util.logging.FileHandler.formatter=java.util.logging.SimpleFormatter
    

Schritt 4. Optional: Medientypen konfigurieren

Standardmäßig versucht der Connector, den Medientyp für jede Datei mit der vom JDK bereitgestellten Erkennung des Medientyps zu ermitteln. Unter Microsoft Windows ermittelt das JDK die Medientypen für Dateien über die Windows-Registrierung. Ein fehlender Registrierungseintrag kann für bestimmte Dateien zu einem Null-Medientyp führen.

Bei Bedarf können Sie einen Medientyp angeben, mit dem vorhandene Bindungen überschrieben oder ein Null-Medientyp verhindert werden.

  1. Erstellen Sie im Connector-Verzeichnis eine Latin-1-verschlüsselte Datei mit dem Namen mime-type.properties.
  2. Geben Sie die Dateiendungen und die entsprechenden Medientypen wie in den folgenden Beispielen ein:

    xlsx=application/vnd.openxmlformats-officedocument.spreadsheetml.sheet
    one=application/msonenote
    txt=text/plain
    pdf=application/pdf
    

Schritt 5: File Systems-Connector ausführen

Nachdem Sie den File Systems-Connector installiert und konfiguriert haben, führen Sie einen Befehl wie im folgenden Beispiel aus, um ihn auf dem Hostcomputer zu starten:

> java -jar google-cloudsearch-windows-filesystems-connector-v1-0.0.3.jar -Djava.util.logging.config.file=logging.properties[ -Dconfig=my.config]

Geben Sie den Konfigurationsdateipfad an, wenn er vom Standard abweicht (im selben Verzeichnis wie die Binärdatei mit dem Namen connector-config.properties).

Referenz zu Konfigurationsparametern

Zugriff auf Datenquellen

Einstellung Parameter
ID der Datenquelle api.sourceId=1234567890abcdef

Erforderlich. Die ID der Google Cloud Search-Quelle, die vom Google Workspace-Administrator eingerichtet wurde.

Pfad zur privaten Schlüsseldatei des Dienstkontos api.serviceAccountPrivateKeyFile=./PrivateKey.json

Erforderlich. Die Schlüsseldatei des Google Cloud Search-Dienstkontos für den Zugriff des File Systems-Connectors auf Google Cloud Search.

ID der Identitätsquelle api.identitySourceId=x0987654321

Erforderlich. Die ID der Cloud Search-Identitätsquelle, die vom Google Workspace-Administrator eingerichtet wurde, um Active Directory-Identitäten mithilfe von GCDS zu synchronisieren.

Dateisystemzugriff

Einstellung Parameter
Quelldateisysteme fs.src=path1[,path2, ...]

Erforderlich. Geben Sie Quelldateisysteme als eine oder mehrere UNC-Quellen an, die durch das mit fs.src.separator konfigurierte Trennzeichen getrennt sind. Falls Sie Zeichen verwenden, die nicht in Latin1 enthalten sind, codieren Sie sie mit Java-Unicode-Escape-Zeichen.

Pfadtrennzeichen

Einstellung Parameter
Pfadtrennzeichen fs.src.separator=separator-character

Das Standardtrennzeichen ist „;“. Wenn Ihre Quellpfade Semikolons enthalten, können Sie ein anderes Trennzeichen festlegen, z. B. ein Komma („,“), das nicht mit den Zeichen in Ihren Pfaden in Konflikt steht und nicht durch die Syntax der Property-Datei selbst reserviert ist.

Wenn der Wert fs.src.separator ein leerer String ist, wird der Wert fs.src als einzelner Pfad behandelt.

Connector-Verhalten

Einstellung Parameter
Windows-Domain fs.supportedDomain=domain

Erforderlich, damit Nutzer, für die GCDS eingerichtet ist, über Cloud Search auf Dokumente zugreifen können. Geben Sie diesen als einzelnen NetBIOS-Domainnamen des Active Directory an.

Konten in ACLS aufnehmen fs.supportedAccounts=account-1[, account-2,...]

Eine durch Kommas getrennte Liste der Konten, die in ACLs enthalten sein sollen, unabhängig davon, ob es sich um integrierte Konten handelt.

Der Standardwert ist BUILTIN\\Administrators,Everyone,BUILTIN\\Users, BUILTIN\\Guest,NT AUTHORITY\\INTERACTIVE, NT AUTHORITY\\Authenticated Users.

Integrierte Konten von ACLs ausschließen fs.builtinGroupPrefix=prefix

Geben Sie das Präfix für integrierte Konten an. Konten, die mit diesem Präfix beginnen, gelten als integrierte Konten und werden von den ACLs ausgeschlossen.

Der Standardwert ist BUILTIN\\.

Indexierung versteckter Dateien und Ordner zulassen fs.crawlHiddenFiles=boolean

Legen Sie true fest, damit der Connector versteckte Dateien und Ordner crawlen kann. Unter Windows-Dateisystemen gilt eine Datei oder ein Ordner als versteckt, wenn das DOS-Attribut „Versteckt“ festgelegt ist. Der Standardwert ist false.

Indexierung von gecrawlten Ordnerlisten und Aufzählungen von DFS-Namespaces zulassen fs.indexFolders=boolean

Wenn true (Standardeinstellung) festgelegt ist, erstellt der Connector beim Crawlen eines Ordners ein CONTAINER_ITEM-Objekt. Wenn dieser Wert auf „false“ gesetzt ist, erstellt der Connector stattdessen ein VIRTUAL_CONTAINER_ITEM-Objekt.

Änderungsmonitoring für Dateisysteme aktivieren fs.monitorForUpdates=boolean

Wenn die Richtlinie auf true gesetzt ist (Standardeinstellung), wird bei Änderungen an der Inhalts- oder Zugriffssteuerung der Connector neu gecrawlt. Wenn Sie das Monitoring deaktivieren (auf false gesetzt), verringern Sie die Ressourcennutzung des Connectors erheblich. Die Änderungen werden jedoch erst später im Connector widergespiegelt.

Maximale Größe des Verzeichniscaches festlegen fs.directoryCacheSize=number-of-entries

Die maximale Größe des Verzeichnis-Cache. Der Connector verwendet den Cache, um versteckte Ordner zu identifizieren, damit Dateien und Ordner in versteckten Ordnern nicht indexiert werden.

Der Standardwert ist 50.000 Einträge, die normalerweise 10 bis 15 Megabyte RAM belegen.

Zeitstempelaufbewahrung und Crawling-Steuerung

Einstellung Parameter
Zeitstempel des letzten Zugriffs beibehalten fs.preserveLastAccessTime=value

Wenn der Connector Dateien und Ordner crawlt, kann er den Zeitstempel des letzten Zugriffs der Dateien und Ordner in den Zeitpunkt des Crawlings ändern. Wenn die Zeiten des letzten Zugriffs nicht beibehalten werden, verschieben Sicherungs- und Archivierungssysteme die entsprechenden Dateien und Ordner aufgrund des Connector-Aufrufs möglicherweise nicht in den sekundären Speicher.

Standardmäßig versucht der Connector, den Zeitpunkt des letzten Zugriffs beizubehalten (fs.preserveLastAccessTime ist auf ALWAYS gesetzt). Der Zeitpunkt des letzten Zugriffs für die Datei kann möglicherweise nicht wiederhergestellt werden, wenn der Nutzer, der den Durchlauf durchführt, keine ausreichenden Berechtigungen zum Schreiben von Dateiattributen hat. Wenn ALWAYS festgelegt ist, lehnt der Connector Crawling-Anfragen für das Dateisystem ab, sodass der Zeitstempel des letzten Zugriffs der Dateien nicht geändert wird.

Mögliche Werte:

  • ALWAYS: Der Connector versucht, beim Crawlen von Dateien und Ordnern den Zeitpunkt des letzten Zugriffs beizubehalten. Wenn der Connector den Zeitpunkt des letzten Zugriffs zum ersten Mal nicht beibehalten kann, lehnt er alle nachfolgenden Crawling-Anfragen für das Dateisystem ab, um zu verhindern, dass der Zeitstempel des letzten Zugriffs geändert wird.
  • IF_ALLOWED: Der Connector versucht, beim Crawlen von Dateien und Ordnern den Zeitpunkt des letzten Zugriffs beizubehalten. Das Crawling wird auch dann fortgesetzt, wenn einige Zeitstempel nicht beibehalten werden.
  • NEVER: Der Connector versucht nicht, beim Crawlen von Dateien und Ordnern den Zeitpunkt des letzten Zugriffs beizubehalten.
Nur Dateien crawlen, auf die nach einem bestimmten Datum zugegriffen wurde fs.lastAccessedDate=YYYY-MM-DD

Inhalte werden nur gecrawlt, wenn der Zeitpunkt des letzten Zugriffs nach dem angegebenen Datum liegt. Der Standardwert ist disabled.

Geben Sie das Datum im ISO8601-Datumsformat an: JJJJ-MM-TT. Wenn der Wert beispielsweise 2010-01-01 lautet, crawlt der Connector nur Inhalte, auf die nach Anfang 2010 zugegriffen wurde.

Wenn Sie fs.lastAccessedDate angeben, können Sie keinen Wert für fs.lastAccessedDays festlegen.

Nur Dateien crawlen, auf die innerhalb der vergangenen Anzahl von Tagen zugegriffen wurde fs.lastAccessedDays=number-of-days

Inhalte werden nur gecrawlt, wenn der Zeitpunkt des letzten Zugriffs innerhalb der Anzahl der Tage vor dem aktuellen Zeitpunkt liegt. Der Standardwert ist disabled.

Mit dieser Eigenschaft können Sie zuvor indexierte Inhalte ablaufen lassen, auf die seit einiger Zeit nicht mehr zugegriffen wurde. Legen Sie beispielsweise 365 fest, damit Inhalte nur dann gecrawlt werden, wenn im letzten Jahr darauf zugegriffen wurde.

Wenn Sie fs.lastAccessedDays angeben, können Sie keinen Wert für fs.lastAccessedDate festlegen.

Nur Dateien crawlen, die nach einem bestimmten Datum geändert wurden fs.lastModifiedDate=YYYY-MM-DD

Inhalte werden nur gecrawlt, wenn der Zeitpunkt der letzten Änderung nach dem angegebenen Datum liegt. Der Standardwert ist disabled.

Geben Sie das Datum im ISO8601-Datumsformat an: JJJJ-MM-TT. Wenn der Wert beispielsweise „2010-01-01“ lautet, crawlt der Connector nur Inhalte, die nach Anfang 2010 geändert wurden.

Wenn Sie fs.lastModifiedDate angeben, können Sie keinen Wert für fs.lastModifiedDays festlegen.

Nur Dateien crawlen, die innerhalb der letzten Anzahl von Tagen geändert wurden fs.lastModifiedDays=number-of-days

Inhalte werden nur gecrawlt, wenn der Zeitpunkt der letzten Änderung innerhalb der Anzahl der Tage vor dem aktuellen Zeitpunkt liegt. Der Standardwert ist disabled.

Mit dieser Eigenschaft können Sie zuvor indexierte Inhalte ablaufen lassen, die seit einiger Zeit nicht mehr geändert wurden. Legen Sie beispielsweise 365 fest, damit Inhalte nur gecrawlt werden, wenn sie im letzten Jahr geändert wurden.

Wenn Sie fs.lastModifiedDays angeben, können Sie keinen Wert für fs.lastModifiedDate festlegen.

Zugriffssteuerung für Dateifreigaben überspringen

Standardmäßig behält der Connector die Integrität der Zugriffssteuerung bei, wenn er ACLs (Access Control Lists) an die Indexierungs-API sendet, einschließlich der ACLs für die Dateifreigabe. In einigen Konfigurationen hat der Connector jedoch möglicherweise nicht die erforderlichen Berechtigungen zum Lesen der Freigabe-ACL. In diesen Fällen gibt der Connector in den Suchergebnissen keine Dateien zurück, die in dieser Dateifreigabe verwaltet werden.

Sie können den Connector so konfigurieren, dass die Freigabe-ACL ignoriert wird, damit Inhalte immer in den Suchergebnissen zurückgegeben werden. In diesem Fall erhält die Indexierungs-API statt der tatsächlichen Freigabe-ACL eine vollständig zulässige Freigabe-ACL.

Einstellung Parameter
Zugriffssteuerung für Dateifreigaben überspringen fs.skipShareAccessControl=boolean

Legen Sie false fest (Standardeinstellung), um Freigabe-ACLs zu erzwingen. Legen Sie true fest, um die Freigabe-ACLs zu ignorieren.