2024年5月27日に開催した「第2回RapidMiner AIコンテスト発表会」のレポートをお届けします。今回のRapidMiner AIコンテストでは、過去の気象予報情報などから⼀⽇先の太陽光発電量を予測するモデルを作成し、その予測精度を競って頂きました。
本レポートは、各部門(20〜30代部⾨、40代部⾨、50代以上部⾨)の優勝者3名の方よりご報告いただいた分析アプローチ等を要約しております。ぜひご覧ください。
- カテゴリ:
- 上級者
第2 回 RapidMiner AI コンテスト 発表会 開催レポート
Altair AI Studio 2024.0 リリース
Altair AI Studio 2024.0がリリースされました。
RapidMiner StudioからAltair AI Studioへリブランドされ、複数バージョンインストールが可能になりました。Interactive Analysisでは数値ラベル対応やツリー編集、ノード分布表示など新機能が追加され、ログ機能も改善されました。より使いやすく、強力なAI分析プラットフォームとなっています。
Altairログ解析
Altairライセンスサーバーのログを取得・解析する方法を解説した資料です。
本資料では、Managedライセンスとオンプレミスの場合に分けて、ログの取得方法を解説します。さらに、ログ解析用Parserツールの使い方や、解析結果の見方を詳しく解説しております。使用日時、Feature名、ユニット数、ユーザー名など、様々な情報からライセンス使用状況を把握し、管理の効率化やコスト削減に役立てていただけますと幸いです。
SFTPサーバーとの接続
RapidMinerとSFTPサーバーとの接続についてご説明します。RapidMiner Studio、AI HubからSFTPサーバーへの読み込み、書き込みができるようになることをゴールとした資料になります。ぜひご参考にしてください。
SFTP(SSH・ファイル・トランスファ・プロトコル)サーバー:インターネット上で安全にファイルを送受信する仕組み。SSHによる暗号化・認証化を行い、安全にファイル間で送受信することが可能になる。
SMBサーバーとの接続
RapidMinerとSMBサーバーとの接続方法についてご説明します。RapidMiner Studio、AI HubからSMBサーバーへの読み込み、書き込みができるようになることを本資料のゴールとしています。ぜひご参考にしてください。
SMBサーバー:ネットワーク上でファイルの共有などを行うための通信プロトコル
Deleyオペレーターを使用した一定間隔処理
RapidMiner Studioで作成したプロセスを一定間隔遅らせて実行する処理をご紹介します。例えば、あるデータ加工の処理が1時間後には終了する予定なので、そのデータが生成されてから実行したいといった場合に利用できます。
Operator Toolbox Extension(無償拡張機能)を使用しており、サンプルデータとプロセスは下記よりダウンロード頂けます。ぜひご参考にしてください。
▼サンプルデータとプロセス
https://ksk-anl.smktg.jp/public/file/document/download/3566
>>Extensionのインストール方法
拡張機能の紹介 ーGenerative AI Extensionー
“Generative AI Extension”は、テキストと画像を生成するために OpenAI の API へアクセスするための2つのオペレーターを提供します。Generative AI Extensionで利用するOpenAIは、テキストを理解し生成することに優れた最先端の言語モデルを提供しています。具体的には、コンテンツ生成、要約、分類、感情分析、データ抽出、翻訳などのタスクをこなすことができます。
本資料では、Generative AI Extensionの実行準備と実行方法をご説明しておりますのでぜひご参考ください。
RapidMiner Studio ver.10.2の変更点
RapidMiner Studio ver.10.2ではさまざまな新機能が追加されました。多くの変更点がありますが、その中でも特に大きな変更点をピックアップしております。ぜひご参考にして頂ければと思います。
Snowflakeとの接続
SnowflakeとRapidMinerとの接続についてご説明します。Snowflakeは、企業のデータ活用プロセスをシンプルにするクラウドデータプラットフォームで、多くの企業に活用されています。
本資料では、RapidMiner Studio、AI HubからSnowflakeへの読み込み/書き込み/更新 をするための方法を記載しております。使用するRapidMinerのバージョンによって少し手順が異なるため、Ver10以降とVer9.x以前のバージョンの順でご説明します。Snowflakeからデータを取得し、価値ある知見を得られる一助となれば幸いです。
SQL Serverとの接続
SQL ServerとRapidMinerとの接続についてご説明します。
RapidMiner Studio、AI HubからSQL Serverへの 読み込み/書き込み/更新 をするための方法を記載しております。接続方法については、他のデータベースでも基本的な流れは同様です。ぜひご活用ください。
RapidMinerからメッセージ送信
RapidMiner からMicrosoft Teams / Text Messages(SMS)へメッセージを送信する方法をご紹介します。
最近 “Communicationエクステンション”が追加されました。この拡張機能を使用することで、 AIによる重要な決定をより迅速に発信し、組織内の人へ効果的に届けることができます。ぜひご活用ください。
アナログゲージのデジタル化
アナログゲージの情報をデジタル化する手順をご紹介します。デジタル形式で取り込むことができれば、過去の測定値および別の場所にあるゲージの測定値を必要なとき、必要な場所で表示できるようになります。また、気温や振動、その他の測定用センサーなど関連する情報を集約しアクセス可能な状態になれば、履歴データを組み合わせて予知保全のような機械学習タスクにも使用できます。
使用データとプロセスは資料に記載したリンクからダウンロードいただけます。(画像処理のエクステンション “Image Handling”を使用)ぜひご活用ください。
RapidMinerでメールの送信
RapidMinerでメールを送信する方法をご紹介します。RapidMiner StudioとAI Hubの両方での実行方法をご説明します。活用例も掲載しておりますので、ぜひご参考ください。
テキストを用いた口コミのレーティング予測
テキストマイニングについて、Amazonレビューを使ったレーティング(★の数)予測を例にご紹介します。分析プロセスの設計やテキスト分析の代表的なオペレータなどをご説明しておりますので、ぜひ参考にしてみてください。
テキストマイニングを行うための拡張機能は、マーケットプレイスまたは下記WEBページからダウンロードいただけます。
https://marketplace.rapidminer.com/UpdateServer/faces/product_details.xhtml?productId=rmx_text
代表的な拡張機能の紹介 ーIn-Database Processingー
データベース上の処理を視覚的に行うことができる拡張機能 ”In-Database Processing Extension”をご紹介します。SQLで書く必要がなく、データ準備や前処理がより効率的に実行できます。パラメータの解説や使用方法も掲載しておりますので、ぜひご活用ください。
RapidMinerでRの実行
RapidMiner StudioとRapidMiner AI Hubで、Rを実行する方法についてご紹介します。Rは、主に統計解析やグラフィックに使用される オープンソースな言語・環境で、多様な統計手法を使用することができます。連携させることで、より高度な分析が可能になります。
代表的な拡張機能の紹介 ーDeep Learningー
”Deep Learning Extension”をご紹介します。この拡張機能は、CPUおよびGPUで実行するためのディープラーニング機能を提供しています。レイヤーの内容の編集や、CNNやRNNなども行うことができますので、ぜひお試しください。
拡張機能の紹介 ーOPC-UA Connector Extensionー
新しくリリースされたOPC-UA接続のための拡張機能とその実践例をご紹介します。”OPC-UA Connector Extension”は、IoT 機器から生成された過去のデータを分析するために、RapidMinerへ読み込むための機能を提供しています。接続することによって現場レベルのデータに関する深い洞察を得ることができます。ぜひ試してみてください。
なぜ Tableau が RapidMiner ユーザーにおすすめなのか
Tableau と RapidMiner の統合は、RapidMiner ユーザーにとってどのような影響があるのかについてご紹介します。RapidMinerで行った作業をTableauで表現し、自身の仕事のビジネスインパクトを向上させる具体的な方法に加え、なぜデータ(サイエンス)の可視化が重要なのかも見ていきます。
RapidMiner9.10リリース
2021年8月に、RapidMinerの9.10がリリースされました。実際にお客様からご要望があったものが実装されております。主な変更点についてご紹介しておりますので、ぜひご参考にして頂ければと思います。
代表的な拡張機能の紹介 ーSensor LinkでPI Systemと連携ー
製造業で広く導入されているPI SystemとRapidMinerとの連携を簡単に素早く行うことができる拡張機能 “Sensor Link Extension” をご紹介します。さまざまなオペレータが収録されておりますので、PI Systemをお使いの製造業の方はぜひお試しください。
PI System:操業パフォーマンス管理に必要な情報(生産実績、品質情報、設備稼働率など)をリアルタイムに共有するシステム
代表的な拡張機能の紹介 ーOperator Toolboxー
マーケットプレイスでよくダウンロードされている拡張機能”Operator Toolbox”をご紹介します。
各オペレータにはチュートリアルが収録されており、使い方をお試しいただけます。目的に合わせて、ぜひご活用ください。
マーケットプレイスと拡張機能の利用方法はこちら▶︎
チタン合金画像の分類問題
近年、画像やテキストといった非構造データ使った分析も注目を集めており、RapidMinerで非構造データを扱いたいというご要望が増えてきています。
本資料では、チタン合金画像を使用し結晶状態の分類を実装いたします。ニューラルネットワークのレイヤの設定方法もご紹介しております。ぜひご覧ください。
拡張機能イントロダクション ーMarketPlaceの活用ー
RapidMiner Studioの機能を最大限活用するための、マーケットプレイスと拡張機能の利用方法をご紹介します。
無料の拡張機能をインストールすることで、レコメンデーションなどより高度な分析ができます。さらに、オープンソースの統計分析ソフトRやプログラミング言語Pythonなどを呼び出して使うこともできます。(一部有償の拡張機能あり)
拡張機能を利用することで、目的に合ったRapidMinerにカスタマイズしさらにご活用いただけます。
RapidMiner vs KNIME
ビジュアルワークフロー型のデータ分析プラットフォーム
RapidMinerとKNIME(ナイム)について、提供しているサービスに焦点を当て比較しております。RapidMiner製品・サービスの特徴もまとめてご紹介しておりますので、ぜひご覧ください。
プラットフォーム セキュリティ
データを最大限に活用するために、組織でデータを扱う安全なプロセスを確立する必要があります。本資料では、RapidMinerプラットフォームのセキュリティについてご紹介します。セキュリティインフラにより、コンプライアンスを気にする時間を減らし、データから実用的な知見を得る時間を増やすことができます。
組織でデータ分析を行い活用をされる方はぜひご覧ください。
自動化特徴量エンジニアリングの RapidMinerプロセスでの実装
機械学習モデルの出来はビジネスに大きな影響を与えており、モデルの改善策の一つとして「特徴量エンジニアリング」があります。しかし、データサイエンスや業務知識が必要とされ活用が難しいとされています。
本資料では、特徴量エンジニアリングを簡単に取り入れることができる”AutomaticFeatureEngineering”の使い方をご紹介いたします。ぜひご覧ください。
(”AutomaticFeatureEngineering”は有償オペレータとなっております。)
Python Transformerを利用したカーネル密度分布の作成
散布図はデータ間の関係性を視覚的に把握する際に役立ちますが、プロットされる点の数が多くなるほど把握しづらいという問題点があります。カーネル密度推定の手法を使うことで、データ全体の傾向をより読み取りやすくなります。
本資料では、Python Extensionを用いて、カーネル密度推定による可視化機能を実装いたします。下記からプロセスをダウンロード頂けますので、お手元のRapidMinerで再現頂けます。
https://ksk-anl.smktg.jp/public/file/document/download/1586
RapidMinerとPython連携
RapidMinerのようなGUIの機械学習ツールは、PythonやRといったコーディングでの機械学習と対比されることが多いのですが、RapidMinerではPythonとの連携を積極的に推し進めています。何故なら、RapidMinerとPythonはそれぞれに一長一短があり、関係はライバルではなく、パートナーのようなものだからです。RapidMinerだけでは足りない部分をPythonが埋めてくれ、Pythonでは手の届かない部分をRapidMinerがカバーしています。
Ver9.9へのアップデートでRapidMinerとPythonの連携はさらに強固になりました。新しいExcute Pythonオペレーターと、Customオペレーターを使うことで、PythonユーザーとRapidMinerユーザーは同一環境でデータ分析を行うことが容易になります。
本資料では二つのオペレーターの使い方を細かく実例付きでご紹介いたしますので、RapidMinerユーザーだけでなく、Pythonユーザーの方も是非ご覧ください。
RapidMiner9.9リリース
先般、RapidMinerの9.9がリリースされました。それに合わせてStudioやAI-Hubに関する変更点についてRapidMiner社のリリースノートを日本語訳致しました。RapidMinerのバージョンアップについて、ご不明なことがございましたら、こちらをご参考にして頂ければと思います。
RapidMiner Radoopでビックデータ分析
ビックデータを使った分析を行おうとした時に、課題として挙がってきやすいこととして、コンピュータ性能の拡張や複数のコンピュータでの分散処理などがあります。金銭的にせよ時間的にせよ、どれもコストが掛かってしまいやすく、乗り越えられないままビッグデータ分析が暗礁に乗り上げてしまうこともあります。
RapidMiner Radoopなら、Apache Hadoop とSpark とHiveを使って、コード無しの分散型機械学習を簡単に実装出来ます。本記事ではそんなRapidMiner Radoopの概要についてご紹介しますので、ビッグデータ分析に興味がお有りの方は一度、ご覧ください。
AutoModelのオートクリーニングを再現
有償版機能のAutoModelとTurboPrepには自動で特徴量の内容を集計し、IDと思われるものや相関が高すぎるものといった、分析に悪影響を及ぼす可能性がある特徴量を見つけてくれる”Quality Measures”機能があります。非常に便利な機能ですので、有効に活用されている方も多いと思います。
今回はそんな”Quality Measures”機能をAutoModelやTurboPrep無しに、通常のプロセスに組み込む方法をご紹介します。AutoModelなどで使う時と違い、より自分好みに制御出来ますので、もっと使いこなしたい方は是非お試しください。
目的変数最適化へのアプローチ
予測モデルの作成は、次に何が起きようとしているのかを予測するのに役立ちます。適切な方法を用いれば、なぜそれが起きるのか原因を理解することもできる場合があります。
しかし、何が起こるのか、なぜ起こるのかだけでは、意思決定を行うには十分とは言えません。意思決定を行うためには、結果を変更するためにどのパラメーターをどれくらいにすれば所望の値に近づけるのかを知る必要があります。それを実現できるのがRapidMinerの最適化オペレーター(Prescriptive Optimizer)です。
本資料では、目的変数と制御可能な変数、制約がある変数を組み込んだモデルを作成し、最適化を実行します。資料内で使用しているデータと作成したプロセスのサンプルは下記URLよりダウンロード出来ます。
https://ksk-anl.smktg.jp/cc/0x1QT1Av
RapidMiner × デバイスゲートウェイ
RapidMinerで作成したモデルを製造現場で活用していくためには、PLCやDCS、その他計測装置など様々な現場機器にアクセスしデータを収集することが必要となります。
「デバイスゲートウェイ」はPLCなどの生産現場の稼働情報を取
本資料では、RapidMiner Serverとデバイスゲートウェイの連携事例をご紹介させて頂きます。