ビッグデータの開発と運用（WOT講師シャン・イー：ビッグデータを使った製品開発と運用の最適化）

WOT講師シャン・イー：ビッグデータを活用して製品を開発し、業務を最適化する

ビッグデータはどこにでもあります。才能を発見し、ビジネス上の意思決定を行うために使用されます。実際、ビッグデータはすでに私たちの生活のあらゆる側面をカバーしており、データマイニングとデータ分析の技術はあらゆる分野で活用されています。今回、51CTOは[WOT2015「インターネット+」時代ビッグデータ技術サミット]の特別講師であり、Liepin.comの最高データ責任者であるShan Yi氏を招き、企業、人材、技術の観点からビッグデータを解釈していただきました。

Shan Yi は、米国の清華大学とアリゾナ大学を卒業し、経営情報システムの学士号と修士号を取得しました。現在、Liepin.com の最高データ責任者として、機械学習技術と製品開発、ビジネスデータ分析、ビッグデータ インフラストラクチャの構築を担当しています。彼はデータマイニングとシステム開発の分野で 15 年の経験を持っています。以前は、Omni-Dimension Inc (Beacon Interactive) および WPP Group/Ogilvy ITOP 24/7 Networks の CTO を務め、データ駆動型インターネット広告最適化テクノロジーと高精度広告ネットワークの研究開発を担当していました。また、Kongzhong.com Wukong Search および Yahoo! の副社長も務めました。大規模検索技術やテキストマイニング技術の研究開発に従事するシニアウェブ検索エンジニア。

ビッグデータを活用して採用プロセスをガイドし、最適化する

Liepin.com は国内で有名な中高級求人サイトであり、2,400 万人以上の登録ユーザーと 40 万社以上の企業にサービスを提供しており、毎日約 80 万件のオンライン求人を提供しています。このような膨大なデータには、大量のユーザーデータと行動データが含まれます。このデータから価値を引き出し、富を生み出すにはどうすればよいでしょうか? Shan Yi 氏は著者に対し、「Bo Le プロジェクト」と呼ばれる人材と仕事のマッチング システムを開発したと語った。彼らはまず、NLP とテキスト マイニング アルゴリズムを使用して候補者とポジションの両方を抽出して構造化し、次にテキストの類似性、意味的関連性、ユーザーと HR の行動など、さまざまな角度から候補者データベースの多面的な検索とマッチングを実行しました。その後、モデルを使用して候補者を総合的にランク付けし、最終的に企業のニーズに合った人材を企業に提示しました。このシステムは導入後、社内で推進され、好評を得ています。別の観点から見ると、同様のテクノロジーとアルゴリズムを使用して、ユーザーに適したポジションを推奨することもできます。

社会的な分野では、多くの人が就職活動やキャリア開発の計画を立てる際に、より多くの同僚と知り合いになりたいと願っています。 Liepin Tongdao のネットワーク推薦システムは、ユーザーの業界、職種、同僚、クラスメート、友人関係を分析およびマイニングし、機械学習とソーシャル グラフ分析技術を使用してユーザー関係をマイニングし、ユーザーに高品質の職場の友人推薦リストを提示します。

さらに、機械学習アルゴリズムを使用することで、登録ユーザーから商業価値のあるユーザーを選別するスコアリングモデルも作成し、企業がターゲットユーザーグループを正確に特定できるようにすることで、カスタマーサービス部門と運用部門の効率を大幅に向上させました。

データ人材の現状

近年ビッグデータという概念が非常に人気になっていますが、データ人材市場の現状はどうなっているのでしょうか? Shan Yi氏によると、Liepin.comに掲載されているデータから判断すると、ビッグデータ人材に対する市場の需要は確かに過去2年間で急速かつ爆発的な成長を遂げているという。ポジション数で見ると、2014 年 2 月には Liepin.com のデータ アナリストのポジションは 250 件程度しかありませんでしたが、2015 年 8 月までに同じポジションの需要は 3,000 件を超えました。 Liepin.com の法人顧客数の急増の影響を除けば、この成長は依然として非常に印象的です。他のビッグデータ関連職種でも同様の需要増加が見られ、市場全体の需要が非常に強いことがわかります。

地域別に見ると、北京、上海、広州、深セン、杭州など、特にインターネットネットワークが発達している一級都市では、ビッグデータ人材の需要が最も高い。それに比べて、他の地域ではこのタイプの人材に対する需要は少ないです。したがって、ビッグデータ人材の育成のためには、北京、上海、広州、深センなどの一級都市に留まることをお勧めします。

業界別に見ると、データ分析の人材は主にインターネット、金融、消費財、医薬品などの業界に集中しています。同時に、これらの業界では他のビッグデータ関連の人材に対する需要も非常に高くなっています。

給与面では、シャン・イー氏は記者に対し、ビッグデータ業界の給与水準はインターネット業界の他の職種に比べて大幅に高いと語った。この高い水準は、雇用の初期段階に反映されるのではなく、経験の蓄積とスキルの向上に伴って給与水準が急速に上昇するという事実に反映されます。新卒者がデータアナリストとして働き始めると、彼らの給与は実際には平均レベルと同程度になります。しかし、3年後には大幅な昇給があり、他の職種の給与水準よりも大幅に高くなります。

データ業界に興味がある場合、どのように学び、成長できるでしょうか?

ビッグデータ業界はこのように幅広い展望を秘めていますが、ビッグデータ関連分野での発展に興味のある人はどのように学び、成長していくべきでしょうか。 Shan Yi は、職業を選択する際には、まず自分の興味と専門知識を考慮するべきだと考えています。 「トレンドを盲目的に追いかけるのは最良の選択ではありません。これは一般的なルールです。この種の仕事に興味がある場合は、まず自分の能力とデータに敏感であるかどうかを考慮する必要があります。次に、定量的に考えるのが好きで、数学の基礎がしっかりしているかどうか。そして、ビッグデータ業界のさまざまなポジションの要件と自分のスキルの一致度を研究する必要があります。」

彼は著者に対し、現在のビッグデータ関連の職種は主に 3 つのカテゴリーに分かれており、それぞれに独自の専門的特徴があると語った。最初のカテゴリは、主にプログラミングを通じてビッグデータ基盤を開発するビッグデータエンジニアです。プログラミング能力に対する要件は高く、分散システム、データベース、ネットワークプログラミングなどのスキルに精通していることが求められます。

2 番目のタイプの人はデータ アナリストです。彼らはビジネス中心であり、定量的な方法を使用してビジネスにおけるパターンや問題を発見します。彼らはまた、いくつかの対応する戦略を提供し、多くのデータ モデリング作業を行っています。この種の仕事には、まずビジネスを学ぶことが好きで、ビジネスに対する興味と感覚を持っていることが求められます。第二に、定量的かつ数学的なモデリングの方法を理解する必要があります。 3 番目に、最も基本的な Excel を含む、データ分析によく使用されるツールの使用に習熟している必要があります。

3 番目のタイプの人は、データ マイニング エンジニア (アルゴリズム エンジニアとも呼ばれます) です。彼らはアルゴリズムとプログラミングの両方に長けており、この 2 つを組み合わせて実稼働環境向けのデータ マイニング システムを構築できます。このポジションには、特にプログラミングにおいて高度な数学およびプログラミングスキルが必要です。この仕事をうまくこなすには、ある程度の熟練度が必要です。

これら 3 種類のデータ人材の異なる発展方向に関して、Shan Yi 氏は、これに興味があり、プログラミングが得意であれば、データ エンジニアになる方が適していると示唆しています。数学の基礎がしっかりしていて、ビジネスに興味があり、プログラミングが得意ではないが、データ分析ツールを上手に使用できる場合は、データアナリストに適しています。両方に長けている場合は、データマイニングエンジニアを目指してみてはいかがでしょうか。同氏は、上記3つのタイプの人々はビッグデータの分野に携わっているものの、それぞれの技術や重点は異なるため、各自が自分の興味や強みに基づいて、自分の発展に適した分野を選択するべきだと著者に語った。また、応用力が高い分野なので、データ基盤がしっかりしている企業や、データドリブンな開発に力を入れている企業で働くこともキャリア形成にとても役立ちます。

ビッグデータはビジネスオペレーションの最適化に役立ちます

データ分析とデータテクノロジーをどのように活用して事業開発を促進するかについて話す際、Shan Yi 氏は、データは主に 2 つの側面で会社の業務を大きく促進できると著者に語りました。1 つは、データに基づいて意思決定を行うことです。たとえば、Liepin.com では、営業担当者がどのタイプの顧客にコンタクトすべきか、顧客がもたらす販売機会はどの程度か、広告の掲載方法や投資収益率の確保方法など、毎日多くのビジネス上の意思決定を行う必要があります。これらすべてにおいて、データに基づいた意思決定が必要です。 2 つ目は、データ テクノロジーと手法を使用して、ビジネス オペレーションのリンクを最適化することです。 「たとえば、先ほど販売機会のランキングについてお話ししましたが、データ手法を使用して、販売担当者が最も適した顧客や最大の機会を持つ顧客を見つけられるようにすることができます。」また、彼は、リエピンのもう一つのサービスである「ファストインタビュー」についても言及した。このサービスもデータ駆動型の方法を使用して、企業の採用ニーズに最も適したヘッドハンターをマッチングさせ、サービスプロセス全体をより効率的かつ合理的にしている。

「データ製品やデータ駆動型製品を作ることに加え、企業がデータを使って意思決定をしたり、データ技術を使って業務運営における特定の重要なリンクを最適化し、企業の効率と収益を向上させたりするのに活用することもできます。これらは将来大きな発展の可能性がある分野だと思います」とシャン・イー氏は語った。