Preferred Networksの機械学習クラスタを支える技術

大村 伸吾 Engineer, Preferred Networks, Inc.

Preferred Networksでは多くの機械学習の負荷を効率よく計算させるためにの機械学習向けのジョブクラスタを開発・運用を行っています。それらのジョブは多くのWebサービスとは異なる性質を持つものが多く、実行要件も多岐にわたります。さらに、そうしたジョブをGPUやInfinibandといった特殊な計算資源を持つクラスタの中で効率よく実行することが求められます。本講演では、私達が開発したジョブクラスタの概要、これまで開発運用してきた中で出会った課題、解決策について共有します。

ソフトウェアで構築する成長し続けるインフラストラクチャとメルカリの挑戦

長野 雅広 株式会社メルカリ プリンシパルエンジニア・SRE

メルカリSREは設立から「いつでも快適に安全に利用できる信頼性の高いサービス」を実現するために継続的に様々な取り組みを行ってきました。堅牢で回復性の高いインフラストラクチャ、パフォーマンスの向上、セキュリティなど取り組みの範囲は多岐にわたり、その多くはソフトウェアによって実現されています。

サービス開始から5年近くになるメルカリのインフラストラクチャと運用のこれまで、そしてより変化に強いアーキテクチャを作り上げるための取り組みなどを事例含め、”Infrastructure Software Engineering"の紹介をいたします。