メインコンテンツへスキップ
見出し画像

プログラミング初心者でもAIでWebアプリを作れる。PythonからJavaScriptへ移行した画像処理ソフトの開発記


    はじめに ― プログラムを書くより、AIに設計図を渡してみる

    最近、ChatGPTなどの生成AIを利用して、さまざまなプログラムを制作しています。

    以前は、プログラムを作るためには、その言語を勉強して、ライブラリの使い方を覚えて、コードを書いて……という手順が必要でした。

    もちろん、今でもプログラミングの知識は重要です。

    しかし、生成AIが登場したことで、プログラムの作り方そのものが変わってきたように感じています。

    作りたいものの仕組みさえ説明できれば、実際のプログラムはAIに考えてもらえる。

    私は、この方法でいくつかのソフトウェアを制作してきました。

    今回はその一例として、画像認識AIのSAMを利用した画像調整ソフトを紹介します。

    以前はPythonで動作するソフトとして制作していましたが、今回はJavaScriptを使ったWebアプリに作り直しました。


    画像
    ①WEB画面


    画像
    ②筆者の愛車FXDCのタンクを抽出しましょう


    画像
    ③解析が終わると調整点の選択


    画像
    ④タンクだけマスキング


    画像
    ⑤タンクだけ表示


    実は、JavaScriptを一から勉強して制作したわけではありません。

    必要な機能や使用する技術を整理し、ChatGPTにプログラムの作成を依頼しました。

    その結果、PCだけでなく、スマートフォンのブラウザからも利用できる画像調整ソフトを制作できました。

    今回の記事では、JavaScriptの文法や細かなプログラムの書き方を説明するつもりはありません。

    代わりに、どんな技術を組み合わせれば目的のアプリが作れるのか、その設計図を公開します。

    設計図にはPlantUMLという形式を使用します。

    PlantUMLは、システムの構成や処理の流れをテキストで表現できる仕組みです。

    今回公開する設計図をコピーしてChatGPTなどに渡せば、AIにアプリの基本構造を伝えられます。

    そこから、自分が欲しい機能を追加したり、画面のデザインを変更したりすることもできます。

    もちろん、設計図を貼り付けるだけで、必ず完成品ができるわけではありません。

    実際にはAIとのやり取りや動作確認が必要です。

    それでも、プログラムの細かな文法から勉強する必要はありません。

    「何を作るか」は自分で考え、「どう作るか」はAIと一緒に考える。

    今回は、そんな開発方法を紹介したいと思います。


    第1章 Pythonで作った画像処理ソフトをWebアプリにする

    1-1.以前制作したPython版の問題

    私はPIXELカメレオンという、写真を立体的なレリーフに変換し、光を通すとカラー画像が浮かび上がる製品を開発しています。

    その製造工程では、写真の背景を削除したり、特定の部分だけを調整したりする画像処理が必要になります。

    以前の記事では、SAMという画像認識AIを利用して、画像の一部分を選択できるPythonソフトを制作した話を紹介しました。

    例えば、黒い犬が写っている写真。

    犬の毛並みが暗くなってしまった場合、写真全体を明るくすると背景まで明るくなってしまいます。

    そこで、犬の部分だけを選択して、明るさやコントラストを調整できるソフトを制作しました。

    Python版は自分のPCで使うには便利でした。

    しかし、一般公開することを考えると、少し問題があります。

    Pythonの実行環境、必要なライブラリ、AIモデルなどを準備する必要があるためです。

    Windows用の実行ファイルにする方法もありますが、別のOSやスマートフォンへの対応も考えると、管理が複雑になります。

    そこで考えたのが、Webアプリへの移行でした。

    1-2.Webアプリならブラウザから使える

    Webアプリにすれば、専用ソフトをインストールする必要がありません。

    利用者はWebサイトにアクセスするだけです。

    さらに、今回の画像処理ソフトは、AIの計算をブラウザ内で実行する構成にしました。

    これなら、画像を解析するための専用サーバーも必要ありません。

    PCでもスマートフォンでも、対応するブラウザから利用できます。

    ただし、Pythonで作ったプログラムを、そのままWebサイトに置いても動きません。

    Webブラウザで動作する仕組みに作り直す必要があります。

    そこで、今回はJavaScriptを採用しました。

    1-3.JavaScriptを勉強しなくても開発できた

    JavaScriptは、WebサイトやWebアプリで広く使用されているプログラミング言語です。

    しかし、今回の開発を始めるにあたって、私がJavaScriptの文法を一から勉強したわけではありません。

    ChatGPTに、実現したい動作を伝えてプログラムを作成してもらいました。

    例えば、次のような指示です。

    「写真を読み込んで、クリックした場所をSAMで選択できるようにしてください」

    「選択した範囲だけ明るさや彩度を調整できるようにしてください」

    「PCだけでなく、スマートフォンでも操作できるようにしてください」

    このように、必要な機能を順番に伝えていきます。

    もちろん、一度の指示ですべて完成するわけではありません。

    実際に動かしてみると、選択範囲が正しく表示されなかったり、操作しにくかったりすることがあります。

    その場合は、何が問題なのかをAIに伝えて修正していきます。

    私が担当するのは、必要な機能を考えることと、実際に動作を確認することです。

    プログラムの作成や修正方法は、基本的にChatGPTに任せています。

    この方法なら、JavaScriptの専門的な知識がなくても、Webアプリ制作に挑戦できます。


    第2章 SAMをWebブラウザで動かすには?

    2-1.SAMとは何か?

    SAMは「Segment Anything Model」の略称です。

    Metaが公開した、画像内の対象物を選択するためのAIモデルです。

    例えば、写真に犬と人間が写っている場合。

    犬をクリックすると、AIが犬の領域を推定します。

    さらに、残したい部分や除外したい部分を指定することで、選択範囲を調整できます。

    今回のソフトでは、この機能を利用しています。

    ただし、SAMだけで画像編集ソフトが完成するわけではありません。

    SAMが担当するのは、画像のどこを選択するかという判断です。

    実際に明るさや彩度を変更する処理は、別のプログラムが担当します。

    2-2.Web版で使用した技術

    今回のWebアプリでは、主に次の技術を組み合わせています。

    技術役割HTML画面の構成JavaScript操作や画像編集SlimSAM画像の選択範囲を推定Transformers.jsAIモデルを読み込むONNX Runtime WebAIモデルを実行するWebAssemblyブラウザ内で計算するWeb WorkerAI処理を画面操作と分離Canvas画像の表示・加工・合成

    少し難しい名前が並んでいます。

    しかし、すべてを詳しく理解する必要はありません。

    例えば、今回のアプリで最も重要なのは、次の関係です。

    SlimSAM:画像の選択範囲を判断するAI

    Transformers.js:JavaScriptからAIモデルを利用するためのライブラリ

    ONNX Runtime Web:AIの計算を実行する仕組み

    JavaScript:選択した部分の画像を補正する

    この組み合わせを知っているだけでも、AIに対する開発指示が具体的になります。

    「画像をクリックして選択するアプリを作って」と伝えるより、

    「SlimSAMとTransformers.jsを使って、クリックした対象を選択するWebアプリを作って」

    と伝えた方が、使用する技術が明確になります。

    私が今回の記事で伝えたいのも、この部分です。

    プログラムを全部理解する必要はなくても、どんな技術を使えば目的を実現できるのかを知っておくと、AIに開発を依頼しやすくなります。

    2-3.軽量なSlimSAMを採用した理由

    今回のソフトでは、通常のSAMではなく、軽量化されたSlimSAMを使用しました。

    使用したモデルは、Hugging Faceで公開されている「Xenova/slimsam-77-uniform」です。

    理由は、一般的なPCやスマートフォンでも動作させたかったからです。

    画像認識AIは、モデルによって計算負荷が大きく異なります。

    高性能なGPUが必要になると、利用できる環境が限られてしまいます。

    そこで今回は、ブラウザで利用できる軽量モデルを採用しました。

    もちろん、軽量モデルだからといって、すべての画像を正確に認識できるわけではありません。

    犬の毛並みや人物の髪の毛など、複雑な輪郭を完全に選択できない場合もあります。

    そのため、AIによる選択に加えて、手動で修正できる機能も用意しています。


    【ここまで無料公開】

     
     
    特許取得のフォトアート「PIXELカメレオン」を開発・制作しています。Pythonを使った画像処理などのプログラム作成や、AIを活用した画像編集・写真プレビュー・パズルなどのWebアプリづくり、商品開発や発信の試行錯誤、日々考えていることを書いています。

    あなたへのおすすめ