Wdrażanie oprogramowania sprzęgającego systemu plików Microsoft Windows

Możesz skonfigurować Google Cloud Search tak, aby zwracał wyniki z zasobów Microsoft Windows organizacji oprócz treści z Google Workspace. Użyj łącznika Google Cloud Search File Systems i skonfiguruj go tak, aby uzyskać dostęp do określonych udziałów Windows. Jedna instancja łącznika może obsługiwać wiele udziałów Microsoft Windows.

Ważne kwestie

Ciągłe automatyczne aktualizacje

Domyślnie oprogramowanie sprzęgające stale monitoruje ścieżki początkowe (wartości z fs.src w pliku konfiguracyjnym oprogramowania sprzęgającego) podczas uruchamiania. Gdy system plików zgłasza zmiany w kontroli treści lub dostępu, powoduje to ponowne zindeksowanie systemu plików przez konektor. Ponownie przeszukiwanie może wymagać wielu zasobów. Aby wyłączyć monitorowanie systemu plików, ustaw fs.monitorForUpdates na false. Znacznie zmniejszysz wykorzystanie zasobów przez usługę łączoną, ale opóźnisz moment, w którym usługa połączona uwzględni zmiany. Więcej informacji

Kontrola dostępu DFS

System DFS stosuje kontrolę dostępu do swoich połączeń i zazwyczaj każde połączenie DFS ma własną listę ACL. Jednym z mechanizmów używanych przez DFS jest enumeracja oparta na dostępie (ABE), która może ograniczać linki DFS zwracane użytkownikowi. Użytkownicy mogą uzyskać tylko podzbiór połączeń DFS lub nawet tylko jedno połączenie, gdy ABE izoluje hostowane katalogi domowe. Gdy łącznik przechodzi przez system DFS, uwzględnia listę kontroli dostępu DFS i listę kontroli dostępu do udostępniania docelowego, a lista kontroli dostępu do udostępniania dziedziczy listę kontroli dostępu DFS.

Znane ograniczenia

  • System plików: łącznik System plików nie obsługuje dysków mapowanych ani dysków lokalnych.
  • Rozproszony system plików: skonfigurowany dysk mapowany do UNC DFS nie działa prawidłowo. Niektóre listy ACL nie są odczytywane prawidłowo.
  • Oprogramowanie sprzęgające systemy plików obsługuje nazwy Namespaces i linki Distributed File System (DFS). Jednak łącznik obsługuje linki DFS tylko w przestrzeni nazw DFS, a nie zwykłe foldery w tej przestrzeni.
  • Linki do plików zwracane na stronie cloudsearch.google.com nie są klikalne. Linki do plików zwracane przez Query API nie są klikalne w większości przeglądarek.

Wymagania systemowe

Wymagania systemowe
System operacyjny
  • Windows Server 2016
  • Windows Server 2012
  • Windows Server 2008 R2
Oprogramowanie
  • środowisko JRE Java w wersji 1.8 zainstalowane na komputerze, na którym będzie działać oprogramowanie sprzęgające Google Cloud Search File Systems;
Protokoły systemu plików
  • Server Message Block (SMB) – SMB1
  • Server Message Block (SMB) – SMB2
  • Rozproszony system plików (DFS)

Nieobsługiwane: lokalne systemy plików Windows, Sun Network File System (NFS) 2.0, Sun Network File System (NFS) 3.0 lub lokalny system plików Linux.

Wdrażanie oprogramowania sprzęgającego

Wymagania wstępne

Zanim wdrożysz łącznik Cloud Search File Systems, upewnij się, że w Twoim środowisku znajdują się wszystkie te wymagane komponenty:

Wymagane uprawnienia konta Microsoft Windows

Konto Microsoft Windows, na którym działa sprzęg, musi mieć wystarczające uprawnienia do wykonywania tych czynności:

  • Wyświetlanie listy zawartości folderów
  • czytać zawartość dokumentów,
  • odczytywać atrybuty plików i folderów;
  • uprawnienia do odczytu (listy ACL) zarówno plików, jak i folderów;
  • Uprawnienia do zapisu atrybutów podstawowych

Członkostwo w jednej z tych grup zapewnia kontom systemu Windows wystarczające uprawnienia potrzebne do działania łącznika:

  • Administratorzy
  • Zaawansowani użytkownicy
  • Operatorzy drukowania
  • Operatorzy serwerów

Krok 1. Instalowanie łącznika systemów plików Google Cloud Search

  1. Pobierz repozytorium usługi łącznika z GitHuba i je skompiluj.

    Aby używać Gita na serwerze z systemem Windows:

    1. Sklonuj repozytorium:

      > git clone https://github.com/google-cloudsearch/windows-filesystems-connector.git
> cd windows-filesystems-connector

    2. Pobierz odpowiednią wersję oprogramowania sprzęgającego:

      > git checkout tags/v1-0.0.3

    Aby pobrać bezpośrednio z GitHuba:

    1. Wejdź na https://github.com/google-cloudsearch/windows-filesystems-connector.
    2. Kliknij Klonuj lub pobierz Pobierz plik ZIP.
    3. Rozpakuj pakiet.
    4. Przejdź do nowego katalogu: 
      > cd windows-filesystems-connector

  2. Utwórz oprogramowanie sprzęgające. W razie potrzeby zainstaluj Apache Maven.

    > mvn package

    Aby pominąć testy podczas kompilowania łącznika, uruchom mvn package -DskipTests zamiast mvn package.

  3. Skopiuj plik ZIP z oprogramowaniem sprzęgającym do lokalnego katalogu instalacji:

    > cp target/google-cloudsearch-windows-filesystems-connector-v1-0.0.3.zip installation-dir
> cd installation-dir
> unzip google-cloudsearch-windows-filesystems-connector-v1-0.0.3.zip
> cd google-cloudsearch-windows-filesystems-connector-v1-0.0.3

Krok 2. Tworzenie pliku konfiguracji oprogramowania sprzęgającego

  1. W tym samym katalogu, w którym zainstalowano usługę łącznika, utwórz plik o nazwie connector-config.properties.

  2. Dodaj parametry jako pary klucz-wartość do zawartości pliku, jak w tym przykładzie:

    ### File system connector configuration ###

# Required parameters for Cloud Search data source and identity source access
api.serviceAccountPrivateKeyFile=/path/to/file.json
api.sourceId=0123456789abcde
api.identitySourceId=a1b1c1234567

# Required parameters for file system access
fs.src=\\\\host\\share;\\\\dfshost\\dfsnamespace;\\\\dfshost\\dfsnamespace\\link

# Optional parameters for file system monitoring
traverse.abortAfterExceptions=500
fs.monitorForUpdates = true
fs.preserveLastAccessTime = IF_ALLOWED

    Szczegółowe opisy poszczególnych parametrów znajdziesz w dokumentacji parametrów konfiguracji.

  3. (Opcjonalnie) W razie potrzeby skonfiguruj inne parametry łącznika. Szczegółowe informacje znajdziesz w sekcji Parametry złącza dostarczanego przez Google.

Krok 3. Włącz logowanie

  1. W katalogu zawierającym plik binarny oprogramowania sprzęgającego utwórz folder o nazwie logs.

  2. Utwórz plik o nazwie logging.properties w formacie ASCII lub UTF-8 w katalogu zawierającym plik binarny łącznika i dodaj do niego tę treść:

    handlers = java.util.logging.ConsoleHandler,java.util.logging.FileHandler
# Default log level
.level = WARNING
com.google.enterprise.cloudsearch.level = INFO
com.google.enterprise.cloudsearch.fs.level = INFO

# uncomment line below to increase logging level to enable API trace
#com.google.api.client.http.level = FINE
java.util.logging.ConsoleHandler.level = INFO
java.util.logging.FileHandler.pattern=logs/connector-fs.%g.log
java.util.logging.FileHandler.limit=10485760
java.util.logging.FileHandler.count=10
java.util.logging.FileHandler.formatter=java.util.logging.SimpleFormatter

Krok 4. (Opcjonalnie) Konfigurowanie typów mediów

Domyślnie oprogramowanie sprzęgające próbuje wykryć typ multimediów dla każdego pliku za pomocą funkcji wykrywania typu multimediów udostępnianej przez JDK. W systemie Microsoft Windows JDK korzysta z rejestru systemu Windows, aby określić typy mediów dla plików. Brak wpisu w rejestrze może spowodować, że w przypadku niektórych plików typ multimediów będzie miał wartość null.

W razie potrzeby możesz określić typ zawartości, który zastąpi wszystkie istniejące powiązania lub uniemożliwi użycie typu null.

  1. W katalogu usługi tworzenia raportów utwórz plik mime-type.properties zaszyfrowany za pomocą kodowania Latin-1.

  2. Wpisz rozszerzenia plików i odpowiadające im typy multimediów, jak w poniższych przykładach:

    xlsx=application/vnd.openxmlformats-officedocument.spreadsheetml.sheet
one=application/msonenote
txt=text/plain
pdf=application/pdf

Krok 5. Uruchom oprogramowanie sprzęgające Systemy plików

Po zainstalowaniu i skonfigurowaniu łącznika File Systems uruchom go na hoście, wpisując polecenie podobne do tego:

> java -jar google-cloudsearch-windows-filesystems-connector-v1-0.0.3.jar -Djava.util.logging.config.file=logging.properties[ -Dconfig=my.config]

Podaj ścieżkę do pliku konfiguracyjnego, jeśli jest inna niż domyślna (w tym samym katalogu co plik binarny o nazwie connector-config.properties).

Informacje o parametrach konfiguracji

Dostęp do źródła danych

Ustawienie Parametr
Identyfikator źródła danych api.sourceId=1234567890abcdef

Wymagane. Identyfikator źródła Google Cloud Search skonfigurowany przez administratora Google Workspace.
Ścieżka do pliku klucza prywatnego konta usługi api.serviceAccountPrivateKeyFile=./PrivateKey.json

Wymagane. Plik klucza konta usługi Google Cloud Search do obsługi szyfrowania w przypadku szyfrowania w systemie plików Google Cloud Search.
Identyfikator źródła tożsamości api.identitySourceId=x0987654321

Wymagane. Identyfikator źródła tożsamości Cloud Search skonfigurowany przez administratora Google Workspace do synchronizowania tożsamości w Active Directory za pomocą GCDS.

Dostęp do systemu plików

Ustawienie Parametr
Systemy plików źródłowych fs.src=path1[,path2, ...]

Wymagane. Podaj systemy plików źródłowych jako co najmniej 1 źródło UNC rozdzielone separatorem skonfigurowanym za pomocą opcji fs.src.separator. Jeśli używasz znaków spoza zestawu Latin1, zakoduj je za pomocą znaków ucieczki Unicode w Javie.

Znak separatora ścieżki

Ustawienie Parametr
Znak separatora ścieżki fs.src.separator=separator-character

Domyślnym separatorem jest „;”. Jeśli ścieżki źródłowe zawierają średniki, możesz ustawić inny separator, np. przecinek („,”), który nie koliduje ze znakami w ścieżkach i nie jest zarezerwowany przez samą składnię pliku z właściwościami.

Jeśli wartość fs.src.separator to pusty ciąg znaków, wartość fs.src jest traktowana jako pojedyncza ścieżka.

Działanie oprogramowania sprzęgającego

Ustawienie Parametr
Domena Windows fs.supportedDomain=domain

Wymagane, aby umożliwić użytkownikom skonfigurowanym za pomocą GCDS dostęp do dokumentów za pomocą Cloud Search. Podaj jako jedną nazwę NetBIOS domeny Active Directory.
Dodawanie kont do listy ACL fs.supportedAccounts=account-1[, account-2,...]

Lista kont oddzielonych przecinkami, które mają być uwzględnione w regułach dostępu, niezależnie od tego, czy są to konta wbudowane.

Wartością domyślną jest BUILTIN\\Administrators,Everyone,BUILTIN\\Users, BUILTIN\\Guest,NT AUTHORITY\\INTERACTIVE, NT AUTHORITY\\Authenticated Users.
Wykluczanie kont wbudowanych z list dostępu fs.builtinGroupPrefix=prefix

Określ przedrostek kont wbudowanych. Konto, które zaczyna się od tego prefiksu, jest uważane za wbudowane i nie jest uwzględniane na listach kontroli dostępu.

Wartością domyślną jest BUILTIN\\.
Zezwalanie na indeksowanie ukrytych plików i folderów fs.crawlHiddenFiles=boolean

Ustaw na true, aby umożliwić połączeniu indeksowanie ukrytych plików i folderów (w systemach plików Windows plik lub folder jest uważany za ukryty, jeśli jest ustawiony atrybut ukryty DOS). (wartością domyślną jest false);
Zezwalanie na indeksowanie zindeksowanych folderów i wyliczeń w ramach przestrzeni nazw DFS fs.indexFolders=boolean

Gdy wartość to true (domyślna), podczas indeksowania folderu oprogramowanie sprzęgające tworzy obiekt CONTAINER_ITEM. Gdy ta opcja jest ustawiona na wartość false, oprogramowanie sprzęgające tworzy obiekt VIRTUAL_CONTAINER_ITEM.
Włączanie monitorowania zmian w systemie plików fs.monitorForUpdates=boolean

Gdy wartość wynosi true (domyślnie), zmiany w treści lub kontrolkach dostępu powodują ponowne zindeksowanie przez konwerter. Gdy wyłączysz monitorowanie (ustawienie false), znacznie ograniczysz wykorzystanie zasobów przez złącze, ale opóźnisz też wprowadzanie zmian przez to złącze.
Ustawianie maksymalnego rozmiaru pamięci podręcznej katalogów fs.directoryCacheSize=number-of-entries

Maksymalny rozmiar pamięci podręcznej katalogu. Połączenie używa pamięci podręcznej do identyfikowania ukrytych folderów, aby uniknąć indeksowania plików i folderów w ukrytych folderach.

Domyślnie jest to 50 tys. wpisów, które zajmują zwykle 10–15 MB pamięci RAM.

Zachowanie sygnatury czasowej i kontrola indeksowania

Ustawienie Parametr
Zachowaj sygnaturę czasową ostatniego dostępu fs.preserveLastAccessTime=value

Podczas indeksowania plików i folderów przez konwerter może on zmienić sygnaturę czasową ostatniego dostępu do plików i folderów na czas indeksowania. Jeśli czasy ostatniego dostępu nie są zachowywane, systemy kopii zapasowych i archiwów mogą nie przenosić odpowiednich plików i folderów do pamięci podręcznej z powodu wizyty wtyczki.

Domyślnie łącznik próbuje zachować czas ostatniego dostępu (fs.preserveLastAccessTime ustawiony na ALWAYS). Jeśli użytkownik przechodzący nie ma wystarczających uprawnień do zapisywania atrybutów pliku, łącznik może nie być w stanie przywrócić czasu ostatniego dostępu do pliku. Gdy ta wartość jest ustawiona na ALWAYS, oprogramowanie sprzęgające odrzuca żądania indeksowania systemu plików, aby nie zmieniać sygnatur czasowych ostatniego dostępu do plików.

Możliwe wartości:

  • ALWAYS: podczas indeksowania plików i folderów łącznik próbuje zachować czas ostatniego dostępu. Gdy po raz pierwszy nie uda się zachować czasu ostatniego dostępu, sprzęg nie przyjmie kolejnych żądań indeksowania systemu plików, aby zapobiec zmianie sygnatur czasowych ostatniego dostępu.
  • IF_ALLOWED: podczas indeksowania plików i folderów łącznik próbuje zachować czas ostatniego dostępu. Crawler nadal indeksuje stronę, nawet jeśli niektóre sygnatury czasowe nie zostaną zachowane.
  • NEVER: podczas indeksowania plików i folderów łącznik nie próbuje zachować czasu ostatniego dostępu.
indeksowanie tylko plików, do których dostęp uzyskano po określonej dacie; fs.lastAccessedDate=YYYY-MM-DD

Przeskanuj treści tylko wtedy, gdy czas ostatniego dostępu jest późniejszy niż podana data. Wartością domyślną jest disabled.

Podaj datę w formacie ISO8601: RRRR-MM-DD. Jeśli np. wartość to 2010-01-01, łącznik indeksuje tylko treści, do których dostęp uzyskano po 1 stycznia 2010 r.

Jeśli określisz wartość fs.lastAccessedDate, nie możesz też ustawić wartości dla parametru fs.lastAccessedDays.
Przeszukiwanie tylko plików, do których dostęp był uzyskiwany w ciągu określonej liczby dni fs.lastAccessedDays=number-of-days

Przeszukiwać treści tylko wtedy, gdy czas ostatniego dostępu jest mniejszy niż podana liczba dni. Wartością domyślną jest disabled.

Użyj tej właściwości, aby wygasić wcześniej zindeksowane treści, do których od jakiegoś czasu nie ma dostępu. Ustaw na przykład wartość 365, aby indeksować treści tylko wtedy, gdy były one dostępne w ciągu ostatniego roku.

Jeśli określisz wartość fs.lastAccessedDays, nie możesz też ustawić wartości dla parametru fs.lastAccessedDate.
indeksowanie tylko plików, które zostały zmodyfikowane po określonej dacie; fs.lastModifiedDate=YYYY-MM-DD

Przeskanuj treści tylko wtedy, gdy czas ostatniej modyfikacji jest późniejszy niż wskazana data. Wartością domyślną jest disabled.

Podaj datę w formacie ISO8601: RRRR-MM-DD. Jeśli np. wartość to 2010-01-01, łącznik indeksuje tylko treści, które zostały zmodyfikowane po 1 stycznia 2010 r.

Jeśli określisz wartość fs.lastModifiedDate, nie możesz też ustawić wartości dla parametru fs.lastModifiedDays.
Przeszukiwanie tylko plików, które zostały zmodyfikowane w ciągu określonej liczby dni fs.lastModifiedDays=number-of-days

Przeszukiwaj treści tylko wtedy, gdy czas ostatniej modyfikacji mieści się w okresie określonym w liczbie dni przed datą bieżącą. Wartością domyślną jest disabled.

Użyj tej właściwości, aby wygasić wcześniej zindeksowane treści, które od jakiegoś czasu nie zostały zmodyfikowane. Ustaw na przykład wartość 365, aby indeksować treści tylko wtedy, gdy zostały one zmodyfikowane w ciągu ostatniego roku.

Jeśli określisz wartość fs.lastModifiedDays, nie możesz też ustawić wartości dla parametru fs.lastModifiedDate.

Pomiń kontrolę dostępu do udostępniania plików

Domyślnie sprzęg dba o integralność kontroli dostępu, gdy wysyła listy kontroli dostępu (ACL) do interfejsu indeksowania API, w tym listy ACL na udostępnieniu pliku. W niektórych konfiguracjach jednak łącznik może nie mieć wystarczających uprawnień do odczytu uprawnień ACL udziału. W takich przypadkach w wynikach wyszukiwania nie są wyświetlane żadne pliki przechowywane w tym udostępnieniu plików.

Możesz skonfigurować usługę łączenie tak, aby ignorowała listę kontroli dostępu do udostępniania, dzięki czemu treści będą zawsze zwracane w wynikach wyszukiwania. W tym przypadku interfejs API indeksowania otrzymuje listę ACL udostępniania z pełną kontrolą dostępu, a nie rzeczywistą listę ACL udostępniania.

Ustawienie Parametr
Pomiń kontrolę dostępu do udostępniania plików fs.skipShareAccessControl=boolean

Ustaw na false (domyślnie), aby wymusić listy kontroli dostępu do udostępnień. Aby zignorować listy kontroli dostępu do zasobu, ustaw wartość true.