【在宅可】データエンジニア◆Databricks設計‧PySpark開発∕完全週休2日∕土日祝休

◇上流から運用まで一貫して携われる∕大規模データ処理の技術力を伸ばせる∕Databricks環境での実装に留まらず、PySparkによる大規模データ処

理の最適化やDelta Lake設計もお任せ◇

■業務概要

Databricksを中核としたデータプラットフォームの設計‧開発‧最適化を一気通貫で担当いただきます。

■魅力

◎Databricks‧PySparkを活用した大規模データ基盤の構築に携わります。データパイプライン設計やパフォーマンス最適化、データレイク設計まで

担当するため、Databricksエンジニアとして高い専門性を身につけることができます。

◎要件整理から設計‧開発‧運用まで一貫して担当します。「どのような構成が最適か」「どのように性能を改善するか」といった設計部分にも関与

できるため、技術的な裁量を持って働くことができます。

■職務詳細

‧Databricksによるデータパイプライン(ETL / ELT)の設計‧開発

‧PySparkを用いた分散データ処理の実装‧最適化

‧Delta Lakeを用いたデータレイク設計‧運用

‧Databricks Workflowsによるジョブ設計‧スケジューリング

‧Notebookベースでのデータ処理開発‧検証

‧データ変換ロジック(配列処理‧集計‧結合)の実装

‧大規模データ処理におけるパフォーマンスチューニング

‧データ品質管理(バリデーション‧例外処理設計)

■技術スタック

プラットフォーム:Databricks

処理基盤:Apache Spark(PySpark)

ストレージ:Delta Lake

開発:Notebook / Jobs / Workflows

言語:Python / SQL

※クラウド(AWS / Azure / GCP)は実行基盤として利用

■評価制度

客先常駐の働き方ではありますが、協力ベンダーなどから普段の業務状況などのフィードバックも取り入れることで納得感‧透明性の高い評価実施を

大切にしています。

■組織構成

「計6名」

‧CEO 30代後半

∟ITコンサルタント、エンジニア(上流)を担当

‧エンジニア 20代2名‧30代2名

∟詳細設計〜開発〜テスト〜リリースまでを中心に担当

‧営業担当 2名

■いずれも必須

‧Databricksの実務経験(2年目安)

‧PySparkによるデータ処理開発経験

‧Delta Lakeの理解および利用経験

‧Databricks上でのジョブ設計‧運用経験(Workflows等)

‧SQLによるデータ加工‧分析経験

‧大規模データ処理におけるパフォーマンス改善経験

‧Databricksのアーキテクチャ設計経験

‧Unity Catalogなどのデータガバナンス運用経験

‧ML/AI基盤としてのDatabricks活用経験

想定年収:900万円〜1200万円

月給:550,000円〜750,000円

月額(基本給):550,000円〜750,000円

■昇給:有(年1回)

■賞与:有(年2回∕4ヶ月(前年度実績))

■歩合給:本人の希望があれば営業業務をサブミッションとして課し、新規案件の追加受託を獲得すればインセンティヴを支給

します。受注した案件の粗利あたり20%程度を還元します。(上記年収とは別途支給)

就業時間:9:00〜18:00(所定労働時間:8時間0分)

休憩:60分

時間外労働:有

■残業:月平均5時間程※月給に月45時間分の固定残業手当を含みます。

完全週休2日制(土日祝)

年間有給休暇:10日〜(下限日数は、入社半年経過後の日数となります)

通勤手当:有 上限:50000円

健康保険:有

厚生年金:有

雇用保険:有

労災保険:有

【社会保険完備】

寮社宅:有

教育制度/資格補助:■スキルアップ

定期的に社内で勉強会を開催していることに加え、外部のセミナーの受講いただくことも可能です。また書籍購入制度も用意し

ており、社員のスキルアップを応援しています。

■選考フロー:

書類選考 → 一次面接 → 二次面接 → オファー面談 → 内定

※オンライン面接:可(二次面接まではオンラインで実施予定です。)

面接回数: 2回

筆記試験: なし