メインコンテンツへスキップ
見出し画像

Google Nest Hubに家の発電・蓄電状況を表示するための試行錯誤

    家の発電状況をオムロンの発電モニタリングサイトで見えるようになっているのですが、家の画面付きのスマートスピーカ(Google Nest Hub)の待ち受けで常に発電状況を表示できるようするための試行錯誤してみましたので検証結果まとめます。
    (結果、断念しました)

    目的・やりたいこと

    家に置いてあるGoogle Nest Hubの待ち受け画面にオムロンの発電モニタリングサイトを表示して、常に発電状況を見てわかるようにしたい。

    画像
    Nest hub
    画像
    発電モニタリング

    実現方法案

    以下2つの方法がありそうでしたが、1つめのGoogle Photoを使う方法を検証することにしました。

    1. Google Photoに定期的に画面キャプチャをアップロードしてフォトフレームで表示する

    これが一番現実的な案です。
    AWS LambdaなどでWebサイトのキャプチャを保存して、Google Photo APIでアップロードすることが可能なので、定期実行も無料でできる範囲です。

    2. Actions on Googleを使ってNest hub用のアプリを作る

    Nest hub用の専用アプリを作って実現できないかと思いましたが、いくつかの理由で断念しました。

    • Actions on Google自体が2023年で廃止される等の情報が過去に出ており、先行きが不透明

    • 音声操作に反応するアプリは作れるかもしれないが、常に待ち受けにすることが実現できる情報が見つからなかった

    実現方式

    こんな感じで実装してみました。

    画像

    ヘッドレスブラウザ+puppeteerを使ったブラウザ操作

    ブラウザ操作をしてキャプチャを自動取得するためにヘッドレスブラウザをpuppeteerで操作してキャプチャ取得しました。

    SeleniumとかPlaywrightでもよかったですが、Lambdaなどで動かそうとすると容量の問題があります。
    puppeteerを使ったlambda用の軽量chromeドライバとpuppeteerのライブラリが公開されていたので、puppeteerを選びました。

    GitHub - alixaxel/chrome-aws-lambda: Chromium Binary for AWS Lambda and Google Cloud Functions

    Google Photo APIを利用して写真をアップロード

    キャプチャを取得したらGoogle Photo APIを利用してアップロードします。

    APIを利用するためにGoogle Cloud Consoleに登録してキーを払い出す必要があります。

    Google Photo APIの利用準備

    以下の手順でプロジェクトの作成とキーを用意しておく必要があります。

    〇プロジェクト作成とAPI有効化

    1. Google Cloud Consoleにアクセスし、新しいプロジェクトを作成

    2. 「Photos Library API」を有効にする

    〇OAuth 2.0 クライアントIDを作成

    1. ナビゲーションメニュー → 「APIとサービス」→「認証情報」

    2. 「+ 認証情報を作成」→「OAuth クライアント ID」

    3. アプリケーションの種類を「デスクトップ アプリ」にして作成

    4. credentials.json をダウンロード

    作ったコード

    以上一連の処理を行うJSコードを貼り付けておきます。
    アップロードまでは上手くいきましたが、いくつか課題があるため後述します。
    ※ChatGPTで2時間ぐらいで出来ました。

    Google PhotoのAPIを呼ぶ際にブラウザでユーザ認証が必要となります。
    が自動実行だとこれはできないので、最初に一度手動で実行してブラウザでGoogleアカウントを選択して認証します。
    そのとき払い出されたアクセストークンを「token.json」ファイルに保存して使いまわす仕様になっています。

    const puppeteer = require('puppeteer-core');
    const fs = require('fs');
    const path = require('path');
    const readline = require('readline'); // 追加
    const { google } = require('googleapis');
    const setTimeout = require("node:timers/promises").setTimeout;
    const fetch = (...args) => import('node-fetch').then(({default: fetch}) => fetch(...args));
    require('dotenv').config();
    
    const SCREENSHOT_PATH = 'omron_screenshot.png';
    
    const OMRON_USERNAME = 'ID';
    const OMRON_PASSWORD = 'PW';
    
    const SCOPES = ['https://www.googleapis.com/auth/photoslibrary.appendonly'];
    const TOKEN_PATH = 'token.json';
    const CREDENTIALS_PATH = 'credentials.json';
    
    // ① オムロンにログインしてスクリーンショットを撮る
    async function captureOmron() {
      const browser = await puppeteer.launch({
        headless: true,
        args: ['--no-sandbox', '--disable-setuid-sandbox'],
        executablePath: 'C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe'
      });
    
      const page = await browser.newPage();
      await page.goto('https://ctrl.kp-net.com/settingcontrol/login'); 
    
      await page.waitForSelector('#loginid');
      await page.type('#loginid', OMRON_USERNAME);
      await page.type('#loginpassword', OMRON_PASSWORD);
      await page.click('#login-button'); 
    
      await setTimeout(5000);; // ロードを待つ
    
      // 少しスクロール
      await page.evaluate(() => {
        window.scrollBy(0, 200); // 下に200pxスクロール
      });
    
      await page.screenshot({ path: SCREENSHOT_PATH });
      await browser.close();
    }
    
    // ②Google Photo認証用関数
    async function authorize() {
      const credentials = JSON.parse(fs.readFileSync(CREDENTIALS_PATH, 'utf8'));
      const { client_secret, client_id, redirect_uris } = credentials.installed;
      const oAuth2Client = new google.auth.OAuth2(client_id, client_secret, redirect_uris[0]);
    
      // 既存トークンの読み込み
      if (fs.existsSync(TOKEN_PATH)) {
        const token = JSON.parse(fs.readFileSync(TOKEN_PATH, 'utf8'));
        oAuth2Client.setCredentials(token);
        return oAuth2Client;
      }
    
      // 新しい認証
      const authUrl = oAuth2Client.generateAuthUrl({
        access_type: 'offline',
        scope: SCOPES,
      });
      console.log('👉 以下のURLをブラウザで開いてコードを貼り付けてください:\n', authUrl);
    
      const rl = readline.createInterface({
        input: process.stdin,
        output: process.stdout,
      });
    
      const code = await new Promise((resolve) => {
        rl.question('🔑 認証コードを入力: ', (code) => {
          rl.close();
          resolve(code);
        });
      });
    
      const { tokens } = await oAuth2Client.getToken(code);
      oAuth2Client.setCredentials(tokens);
    
      // トークン保存
      fs.writeFileSync(TOKEN_PATH, JSON.stringify(tokens));
      console.log('✅ トークンを保存しました:', TOKEN_PATH);
    
      return oAuth2Client;
    }
    
    // ② Googleフォトにアップロード
    async function uploadToGooglePhotos() {
      const authClient = await authorize();
      const token = await authClient.getAccessToken();
      const accessToken = token.token;
    
      const fileData = fs.readFileSync(SCREENSHOT_PATH);
    
      // ステップ1: アップロードトークン取得
      const uploadTokenRes = await fetch('https://photoslibrary.googleapis.com/v1/uploads', {
        method: 'POST',
        headers: {
          'Authorization': `Bearer ${accessToken}`,
          'Content-Type': 'application/octet-stream',
          'X-Goog-Upload-File-Name': path.basename(SCREENSHOT_PATH),
          'X-Goog-Upload-Protocol': 'raw'
        },
        body: fileData
      });
    
      const uploadToken = await uploadTokenRes.text();
      console.log('✅ Upload token:', uploadToken);
    
      // ステップ2: メディアアイテム作成
      const createRes = await fetch('https://photoslibrary.googleapis.com/v1/mediaItems:batchCreate', {
        method: 'POST',
        headers: {
          'Authorization': `Bearer ${accessToken}`,
          'Content-Type': 'application/json',
        },
        body: JSON.stringify({
          newMediaItems: [
            {
              description: 'Omron screenshot',
              simpleMediaItem: {
                uploadToken: uploadToken,
                fileName: path.basename(SCREENSHOT_PATH),
              }
            }
          ]
        })
      });
    
      const result = await createRes.json();
      console.log('✅ Googleフォトにアップロード完了:', JSON.stringify(result, null, 2));
    }
    
    // 実行
    (async () => {
      try {
        // await captureOmron();
        await uploadToGooglePhotos();
      } catch (err) {
        console.error('❌ エラー:', err);
      }
    })();
    

    結果:最初は上手くいったが・・・

    想定していた通り、最初はGoogle PhotoにアップロードしてNestHubに表示することができました。
    が、急に表示されなくなってしまいました。

    Google Photoには新しキャプチャは保存しているのですが、フォトフレームのプレビューにどうしてもキャプチャが出てこない状態に。

    理由を調べていると、フォトフレームは写真として適切でないものは除外される仕組み(AI?)が入っているみたいでした。

    写真でないような画像はAIで学習されて表示できなくなるみたいです・・・

    ということで、これが理由で断念しました。

    ノウハウや課題のまとめ

    他にもいろいろ課題などが分かったためまとめます。

    Nest hubのフォトフレームは写真として判断されないと表示から除外される

    先ほどのノックアウトファクターです。こういう仕様を解除したいができないみたいです。

    Google Photo APIでは写真の削除ができない

    古いキャプチャを消して新しいのをアップロードすることで常に新しい状態を表示しようとしていたのですが、Google Photo APIではアルバムか削除はできるが、写真を削除するAPIが提供されていませんでした。

    つまり、アップロードする度に写真が溜まっていくので、定期的に手動お掃除が必要になる・・・

    Google Photo APIを使うために最初は手動でのアカウント認証が必要となる

    アクセストークンを取得するために最初の1回はブラウザ操作でアカウント認証が必要となります。トークンの有効期限が切れたら差し替える必要ありそうなので、これも自動化の制約になりそうです。

    Lambdaからブラウザ操作をしようとすると容量がギリギリ

    ヘッドレスブラウザやドライバ、puppeteerなどブラウザ操作をLambdaでやると、容量との戦いになります。
    ヘッドレスブラウザもまとめてアップロードしはければならないので、軽量チューニングしたものでないと容量制限を超えてしまうので。

    といった感じでした。なかなかスマートスピーカーは使い勝手が悪い。



     
     
    東工大卒、現在は大手SIerで管理職兼ソフトウェアアーキテクトをやってます。 開発PMやITコンサルをしつつ、最近はAIの開発への導入を試行錯誤中。 ITネタや何か役立ちそうな情報を生活の中から気ままに書いていきます。

    あなたへのおすすめ