目次
1. はじめに
皆さんこんにちは。
Databricks SQL は、Azure Databricks Lakehouse プラットフォームで動作する高速で使いやすいデータ ウェアハウスです。
この連載では、Azure DatabricksのSQLクエリの実行手順について説明していきます。
第1回：ログイン～データ検索をしてみる（今回）
第2回：データ挿入、データ更新、データ削除
第3回：テーブル作成、テーブル削除、ビュー作成、ビュー削除
2. DatabricksとSQLの概要
Databricksは、クラウド上で動作するデータ処理プラットフォームで、Apache Sparkをベースとしたオープンソースのビッグデータ処理エンジンを使用しています。Databricksを使用することで、スケーラブルなデータ処理と分析を行うことができます。
SQLは、リレーショナルデータベースのデータを扱うための標準的なクエリ言語です。
Databricks SQLは、SQLを使用してビッグデータにアクセスすることができます。
3. Azure Databricks でSQLクエリを実行する手順（ログイン～データ検索）
3-1. ワークスペースにログインする
ワークスペースのアクセス方法(2パターン)
・以下URLから直接アクセスします。https://adb-{workspaceId}.{random}.azuredatabricks.net
・Azure PortalのAzure Databricks サービスから、
「ワークスペースの起動」をクリックします。
3-2. SQLワークスペースを表示する
Azure Databricksポータル画面で、サイドバーを展開します。
Databricks ロゴ の下にあるアイコンをクリックし、3つのペルソナの中から [SQL] をクリックします。
【ペルソナについて】
-
- Data Science & Engineering
データ エンジニア、データ サイエンティスト、機械学習エンジニア間のコラボレーションを可能にする対話型ワークスペースを提供します。
様々なデータソースから、Azure Databricks を使ってデータを読み取り、そのデータを Spark で変換することによって
重要な分析情報が得ることが可能です。
- Data Science & Engineering
-
- Machine Learning
統合化されたエンドツーエンドの機会学習機能です。
データから機械学習モデルを自動的に生成したり、モデル化し検証、ログを残すことで
機械学習モデルを改善することができます。
- Machine Learning
- SQL
データ レイク上で SQL クエリをすばやく実行できます。
クエリでは複数の視覚化の種類がサポートされており、さまざまな観点からクエリ結果を調べることができます。
また、ダッシュボードを構築して共有したりするための、使いやすいプラットフォームが提供されます。
3-3.新規SQLエディタを起動する
Azure Databricksポータル画面でカーソルを合わせサイドバーを展開します。
[SQL Editor] をクリックします。
〈新規クエリ〉
+ボタン > Create new queryを選択します。
〈既存クエリ〉
表示したいクエリ名をクリックします。
3-4. SQL Warehouseを起動する※
Warehouseバーをクリックします。
起動したいWarehouse 名をクリックします。
※SQL Warehouseとは
Azure Databricks のSQL Warehouseとは、Databricks のデータオブジェクトに対してSQLを実行できるコンピューティングリソースです。
3-5.データ検索コマンドを実行する
データ検索コマンドを入力 し、 実行ボタン(RUN)をクリックします。
文法
SELECT [項目名] FROM [カタログ名].[スキーマ名].[テーブル名]
WHERE [条件式]
GROUP BY [項目名]
HAVING [条件式]
例
|
1 |
SELECT * FROM sql_catalog.sql_demo01.project |
4. まとめ
Azure DatabricksでSQLのクエリの実行手順の、ログインからデータを検索する部分まで説明しました。
Azure Databricks SQLのメリットとしては、SQLを利用して大量のデータを高速かつ大規模に処理を実行できます。
本連載では、
第1回：ログイン～データ検索 （今回）
第2回：「データ挿入」「データ更新」「データ削除」
第3回：「テーブル作成」「テーブル削除」「ビュー作成」「ビュー削除」
についてご説明しています。
今回の記事が少しでもDatabricksを知るきっかけや、業務のご参考になれば幸いです。
日商エレクトロニクスでは、Azure Databricksの環境構築パッケージを用意しています。
Azure DatabricksやAzure活用、マイクロソフト製品の活用についてご相談事がありましたらぜひお問い合わせください！
Azure Databricks連載記事のまとめはこちら
お問い合わせはこちら この記事を読んだ方へのオススメコンテンツはこちら
この記事を書いた人
