ソフトウェアエンジニア - IT関連企業

Location: Tokyo
Contract Type: Permanent
Salary: ¥9000000.00 - ¥15000000.00 (年収)
Specialization: Technology & Digital, Telecommunication,
Sub Specialization: Programmer,
Contact: Ryo Nakano
Reference: JO-2211-476260

☑リモートワーク可能 ☑フレックス勤務 ☑ハイブリッド(出社×リモートワーク)

[ポジション]
ソフトウェアエンジニア(Pipeline Services)

[事業内容・会社の特徴]
グローバルIT関連企業

[仕事内容]
■募集部門について
当社では数億人を越えるユーザー数を誇る様々な分野のサービスを世界中に提供しています。これらのサービスから日々大量のデータが生まれ、現在では250PBを越えるデータ量が蓄積されています。
本ポジションの募集部門では、この膨大なデータに対してサービスグロースへの活用や効率的に活用するためのプラットフォームの提供、またエンジニアに加えサービスプランニング・マーケティングをも対象としたデータ促進を図ることで、データの民主化や強固な機械学習基盤を実現しようとしています。

■本ポジションについて
このポジションでは、当社が運営する様々なサービスと、データを蓄積し高度な分析を行うためのData Platformとの双方をつなぐ、全社共通の大規模データパイプライン開発を行うソフトウェアエンジニアを募集しています。

ストリーミングデータ用にApache Flinkをベースとして、またデータベースのスナップショットバッチ用にDjangoとSpark/Sqoopを利用して、2種類のデータパイプライン構築しています。これらは1000台を超えるスケールのKubernetes上にデプロイされ、ArgoCDをもとに自動化がされています。多種多様なサービスとそのビジネスニーズに対応するため、柔軟なデータ設計と高度なスケールアウト戦略を可能にするアーキテクチャを維持し、当社のサービス成長をデータ面から支える重要な役割を担っています。

  • 高可用性、高スループットを両立したデータフロー
  • 大規模データに対するIncremental Processing
  • 開発からリリースまでの一貫したCI/CD pipeline
  • 柔軟なログ設計を可能にするプロトコル設計

ペタバイトを超えるデータスケールはとてもチャレンジングな領域であり、さまざまな問題を理解し解決していくために、定期的なデータエンジニアミートアップやチーム内OJTを行い、スキルの向上と組織課題の両方からのサポートも行っています。

■使っているツール/開発環境

  • ストリーミング処理 - Flink/Fluentd/Kafka
  • バッチ処理 - Spark/Sqoop/Airflow
  • 分散環境 - Kubernetes/YARN
  • CI/CD - ArgoCD/DroneCI/Jenkins
  • 運用・モニタリング - Ansible/Grafana/Prometheus/Promgen
  • 分散ストレージ - HDFS/Elasticsearch
  • クエリエンジン - Hive/Trino/Spark
  • BIツール - Tableau/yanagishima/OASIS(internal BI tool)
  • 開発環境 - IntelliJ/Github
  • 開発言語・フレームワーク - Java/Kotlin/Scala/Python

[応募資格]
【必須の経験・スキル】

  • Linux上でのシステム開発、運用、トラブルシューティングの経験
  • データ構造、アルゴリズム、計算量分析などのコンピュータサイエンスの基本を理解していること

【歓迎する経験・スキル】

  • Flink、Sparkなどを用いたストリーミングデータパイプライン開発経験
  • Airflow、Luigi、Azkaban、Digdagなどを用いたバッチパイプライン開発経験
  • Hadoop、AWS EMR、Cloud Dataproc、機械学習パイプラインなどの大規模分散環境におけるビッグデータ領域の経験
  • Kubernetesを始めとするコンテナ関連技術を用いたシステム構築スキル
  • Kafka、AWS Kinesis、Cloud Pub/Subなどのメッセージブローカーをベースにしたアプリケーション開発経験
  • オーケストレーションツールやモニタリングツールを用いた運用の自動化・最適化経験
  • オープンソースへの積極的な貢献

【求める人物像】

  • 自律的に問題を見つけ解決していく姿勢
  • 分散システムやデータに関する興味、関心
  • 新しい技術の探求など知的好奇心、チャレンジ精神のある方
  • 多種多様なユーザからのニーズを把握する力
  • 必要があれば他チームを巻き込んで調整していける方
  • 難しい問題や複雑な問題の解決に取り組める方

[勤務地]
東京都/在宅勤務制度あり
(出社×リモートのハイブリッド勤務)

[勤務時間]
フレックス制度あり

[給与]
900〜1500万円(スキル・ご経験により決定)

[待遇・福利厚生]
■各種保険
・雇用保険、労災保険、健康保険、厚生年金保険

■福利厚生
・定期健康診断
・各種社内イベント他

■受動喫煙防止措置の実施
・屋内原則禁煙(屋内に喫煙室あり)

[休日休暇]
■休日/休暇
・完全週休2日制(土・日)、祝日、年次有給休暇、年末年始休暇、慶弔休暇、リフレッシュ休暇制度(勤続5年で10日間)

※ご興味をおもちいただけましたら、まずはエントリーをお願いいたします。
ご紹介できる場合は、5営業日以内に担当コンサルタントよりご連絡いたします。
詳細はその際に別途明示いたします。

Reference: JO-2211-476260
#LI-Hybrid
Seniority Level: Mid-Senior level
Job Function: Information Technology