После того, как Google Assistant заработает в вашем проекте, попробуйте следующее:
Настройте способ взаимодействия вашего проекта с Ассистентом. Например, запустите Ассистента нажатием кнопки или мигните светодиодом во время воспроизведения звука. Вы даже можете показать на дисплее расшифровку распознавания речи из Ассистента.
Управляйте своим проектом с помощью пользовательских команд. Например, попросите производителя коктейлей с поддержкой Ассистента приготовить ваш любимый напиток.
Настройте взаимодействие вашего проекта с Ассистентом
Запустить Ассистента
С помощью API службы Google Assistant вы можете контролировать, когда запускать запрос Ассистента. Измените пример кода , чтобы управлять этим (например, нажатием кнопки). Запуск запроса Ассистента осуществляется путем отправки запроса в EmbeddedAssistant.Assist .
Получить расшифровку запроса пользователя
Google Assistant SDK предоставляет вам текстовую расшифровку запроса пользователя. Используйте это, чтобы предоставить пользователю обратную связь путем вывода текста на дисплей или даже для чего-то более творческого, например выполнения некоторых локальных действий на устройстве.
Эта расшифровка находится в поле SpeechRecognitionResult.transcript .
Получите текст ответа Ассистента
Google Assistant SDK предоставляет вам простой текст ответа Ассистента. Используйте это, чтобы предоставить пользователю обратную связь путем отображения текста на дисплее.
Этот текст находится в поле DialogStateOut.supplemental_display_text .
Получите визуальный ответ Ассистента
SDK Google Assistant поддерживает отображение ответа Ассистента на дисплее в случае визуальных ответов на определенные запросы. Например, запрос Какая погода в Маунтин-Вью? отобразит текущую температуру, графическое представление погоды и предложения по соответствующим запросам. Эти данные HTML5 (если они присутствуют) находятся в поле ScreenOut.data , если эта функция включена .
Это можно включить в примерах pushtotalk.py и textinput.py с помощью флага командной строки --display . Данные отображаются в окне браузера.
Отправка запросов посредством текстового ввода
Если к устройству подключен текстовый интерфейс (например, клавиатура), установите поле text_query в поле config (см. AssistConfig ). Не устанавливайте поле audio_in_config .
Пример кода включает файл textinput.py . Вы можете запустить этот файл для отправки запросов посредством текстового ввода.
Отправка запросов через ввод аудиофайла
Пример кода включает файл audiofileinput.py . Вы можете запустить этот файл, чтобы отправить запрос через аудиофайл. В примере выводится аудиофайл с ответом Ассистента.
Управляйте своим проектом с помощью пользовательских команд
Вы можете добавлять в Ассистент собственные команды, которые позволят вам управлять своим проектом с помощью голоса.
Вот два способа сделать это:
Расширьте пример службы Google Assistant, включив в него действия с устройством .
Создайте рецепт IFTTT для Ассистента. Затем настройте IFTTT для отправки специального HTTP-запроса к выбранной вами конечной точке в ответ на команду Ассистента. Для этого используйте действия Maker IFTTT .