【2018年版】広告システムエンジニアは絶対におもしろいと思う理由

これは Supership株式会社 Advent Calendar 201825日目の記事です。

Supership株式会社 CTO @yamaz です。

広告システムエンジニアは絶対におもしろいと思う理由

という記事をちょうど10年前に書きました。

 

今回はあれから10年経って現在広告システムエンジニアをとりまく環境ははどうなっているかについて書きたいと思います。

 

TL;DR (3行で)

  1. 10年前と変わらず技術的、学術的、ビジネス的にエキサイティングな領域だよ。
  2. 広告テクノロジーをプレイヤーが切磋琢磨し続けてきた結果、大規模配信・集計技術もさることながら大規模データ分析や運用技術の領域も大事になってきたよ。
  3. まだまだ課題満載な業界だけど、デジタルマーケティングに未来を感じてる人はぜひ広告業界へ応募を!

10年前と変わらず技術的、学術的、ビジネス的にエキサイティングな領域である

 

10年前はユーザのリクエストに対して手元のDBにある広告返すだけのシステムだったが、現在はプログラマティックバイイングという仕組みでリアルタイム(100msec程度)に広告在庫をオークション形式で買い付けが完了するようになった。またアクセス数も10年前は弊社が配信する配信量はせいぜい月間数億アクセス程度だったが現在は月間数千億〜くらいの規模になっている。

 

実際のところこの規模のアクセスをさばくのはクラウド全盛の現代においてはそこまで大した話ではない。だけどビジネス的にとても大事な「より安く」という条件が加わるととたんに難しくなる。「早く、安く、うまい」を成立させるためにはOS/ネットワーク/アルゴリズム/各種実装技術の詳細などのコンピュータサイエンスでの知識にとどまらず、機械学習的なアプローチも当然組み入れることになるので、大学で学んだであろうほぼすべての知識を要求される。

 

このあたりは10年前と変わらず引き続き面白い領域だ。

 

データ分析と機械学習の台頭

 

広告テクノロジーを持つプレイヤーがこの10年切磋琢磨した結果、大規模配信と集計技術はかなりコモディティ化してきた。これをもって「アドテクは死んだ」という人もいる。だけど配信・集計技術はあくまでもマーケティングを達成するための手段であって目的ではない。これでやっとマーケターの人たちにデジタルマーケティングをしてもらうための下地が固まってきたと考えるのが正解だと思う。

 

その結果としてデータ分析というジャンルが出てきた。かつては分析というとせいぜいクリックデータなどの時系列分析程度だったが、機械学習による推定技術の発達によりユーザの属性分析などの高度な分析が可能となってきた。

 

このあたりいわゆる機械学習データマイニングの分野だが、この分野はしかるべき量の生データがないとどうにもならないけど、その点データはあきれるほどあり、退屈することはないと思う。

 

広告運用技術の発達

 

10年前広告システムと言えばざっくりヤフーとGoogleとその他ちょっとしかなかった。だけど現在は

Google

ヤフー

Facebook

Twitter

Line

Gunosy

Criteo

その他DSPなどなど

少し大型のデジタル広告をしようと思うと20くらいのシステムを使う必要がある。その結果として実際の入力オペレーションやレポーティングが非常に煩雑になってきた。

 

我々はマーケテックと呼んでいるが、このような煩雑な広告オペレーションを楽にするための技術投入は上記のアドテクなどに比べてほぼ行われてないと言ってももよく、

まさにこれからでやりがいのある分野だと思う。

終わりに

以上広告システムがいかにおもしろいかを述べてみた。たいていの人は広告システムというものをまじめに考えたことがないと思うので、興味を持った人は候補の中に入れてみてください。興味がある方は「話を聞きたい」というようなレベルでも構わないので、

https://supership.jp/recruit/

https://www.wantedly.com/companies/Supership

あたりから応募をしてほしいです。

 

あわせて読みたい

Supershipでは広告技術もですが、検索技術にも力を入れています。

検索技術も広告技術と並んで技術的、学術的、ビジネス的に面白い分野なので、興味ある方は合わせてどうぞ。

検索サービス開発が絶対におもしろいと思う理由【2018 改訂版】

 

【おまけ】デジタルマーケティング業界の残念な部分と、だけど未来は絶対にあるという話

 

ここまでかっこいいことばかり書いてきたけど、私がデジタルマーケティング業界にいる中で少し残念に思っていることを書きたい。

 

それは転職ドラフトというサービスでレジュメを書く際に「避けたい分野」として他ジャンルに混ざって「広告」がそこそこ選ばれてる現実があるということだ。

これはデジタルマーケティング20年ほど関わっている私にとってかなり寂しいことで、これは避けようとしている応募者の方に問題があるわけではなく、業界側に原因があるという理解です。

 

転職ドラフトで避けたい分野としてわざわざ「広告」を選んでる人はおそらく今もしくは過去に広告業界に在籍した人の可能性が高いと思っています。

 

おそらくはデジタルマーケティングの業界に希望を持って飛び込んできたものの、

  1. アクセスが実際殆ど無い
  2. システムを触らせてもらえない
  3. 触らせてもらってもデジタルマーケティングとは言えない雑務ばかり
  4. そもそも技術者がいない
  5. 儲けのために非倫理的な業務をさせられる

など色んな理由で期待を裏切られて幻滅したとかそんな理由だと思う。

 

だけどそれはその在籍した会社の問題であって、全部の会社がそんな会社ばかりではなく、うまくやっている会社は存在するというのは知ってほしいと思います。

 

オンラインメディアは「OneToOneターゲティング」を「リアルタイムレスポンス」で可能とする唯一のメディアであり、その収益を支えるデジタルマーケティング領域は今後伸びる一方で下火になることはほぼありえません。

 

ですので、もしあなたがデジタルマーケティング業界の未来に希望を持っているのなら、他の業界に行く前にうまくやっている会社を受けてほしいと切に思います。また弊社はその一社であると断言します。

 

せっかく希望をもってこの業界に入ってきたのに、うまくやってるところを知ることなく去ってしまうのは本当にもったいないことなのだから。

 

(おしまい)

平文のTCP/IPにおいて転送されたデータの信頼性を期待してはいけない

TL;DR 平文のTCP/IPの通信では送信したデータの完全性は期待できないので、経路にはSSL/TLSを使いましょう

 

TCP/IPは信頼性のある通信を実現するためのプロトコルという説明がよくされる。
なのでTCP/IPでやり取りしたデータは1bitの狂いもなく転送先に届くと思われがちだ。

TCP/IPが信頼性のある通信を確保してると言われているのは下記の理由による。

 

1. データが届かなかった場合に再送処理がプロトコルに入っている
2. TCPパケットにペイロードチェックサムがあり、検知されると修正もしくは再送される(ただし16bit)
3. IP層の更に下の層にチェックサムがあり、検知されると修正もしくは再送される(イーサの場合32bit)

 

しかしチェックサムはそれぞれ16/32bitのため、昨今の超大量データを取り扱うにはかなり心もとない。

 

1. ざっくり1600万〜100億パケットに1回の確率で検知できないエラー(データ化け)が起き得る

When the CRC and TCP checksum disagree


2.  数百ギガバイトのインターネット経由の転送でデータ化け

2005-01-30 - 登 大遊@筑波大学大学院コンピュータサイエンス専攻の SoftEther VPN 日記

 

10年ほど前はIPより下の層は技術向上によりどんどん信頼性が増すものだと思っていたけど、技術革新が故にモバイルや衛星間通信など今まで信頼性を確保できなかった領域に物理層が拡充するようになってきて大分怪しくなってきたと思う。

 

というわけで平文のTCP/IPにおいて転送されたデータの信頼性を期待してはいけないことは理解してもらえたと思う。ではどうすればいいか?その答えはSSLを噛ませば良い。


SSLは暗号化の技術なのになんでデータの信頼性に関係あるの?」と思うかもしれない。SSLには暗号化を行って第三者からデータを秘匿する機能の他に第三者によるデータ改ざんを防止する機能もある。

データ改ざんの防止

→データが改ざんされることなく届く

→データの信頼性の確保ができる

 というわけだ。TCP/IPの上位にさらに改ざん防止がつくためTCP/IPとは比べ物にならない信頼性を確保できる。

 

# SSLの改ざんに対する強度についてはちょっと力尽きました。誰か教えて。。

 

今回職場でストリーミング処理基盤の話をしている際、違うチームで同じ話になったり、いくつかのストリーミング処理基板の初期実装で転送部分がSSL非対応だったりしたので、もしかしたらこれは一般的に知られてる話ではないのかもしれない。

 

 「インターネット越しの通信は盗聴がやばいからSSLにしとこう」ということでSSLにしといたので意図せずデータが救われてるケースもあるが、データセンター間の専用線の場合「秘匿の必要がないから平文で大丈夫」と考えるのはとても危険な考え方だと思う。

 

莫大なデータをやり取りするようになった昨今、TCP/IPは信頼できると無邪気にインターネット越しにデータ転送してたら実はデータが壊れてたみたいな話は今後ありそうなので、気をつけていきたい。

(おしまい)

ビビりなエンジニアが大企業を辞めて起業した話

この記事は

Supership株式会社 Advent Calendar 2016 - Qiita

の1日目の記事になります。遅くなりました。

Supership CTO室室長 @yamaz です。

ビビりなエンジニアが大企業を辞めて起業した話を書きます。

 

スケールアウトを立ち上げる前、私はヤフージャパンに務めていた。

当時私は結構な給与をもらっており、かつそこそこの立場におり、かつ仕事も面白く、普通なら辞めないような立場だった。

 

だけど思うところがあり、会社を辞めその後会社を作ることになった。今回はそのあたりの話をしようと思う。今から10年ほど前の話だ。

 

きっかけ

きっかけは上司からの命令だった。

Adsense作って。2人で」

なんとなくそれっぽいものを作ったものの、エンジニアとしての自分に疑問を持つ結果となった。

AdSenseのすばらしさとのギャップ

AdSenseはすごいプロダクトだ。「各URLでそのページの情報に即した広告を出す」と簡単に言うけれど、インターネット全ページのメタ情報を持ち、それに沿った広告案件を選択するというのは、Googleの設備があって初めて成立する話だ。

 

実装を想像すればするほどすごいプロダクトで、「今後はこれ相当を作れる感じじゃないとダメなの?」と絶望的な気持ちになった。

ヤフーテクノロジーのすばらしさとのギャップ

当時ヤフージャパンはアメリカのYahoo! Incからソフトウェアを供給してもらい、それを日本向けに改造してビジネスを行っていた。Yahoo! Incから提供されるソフトウェアはWorld Wideで十分に鍛えられたソフトウェアで、市場的に2,3年遅れてる日本に投入するだけでまさに未来からやってきた謎兵器のように機能し、少なくとも技術的には苦労という苦労をすることなく市場を席巻できた。いわゆる「タイムマシン経営」と言うやつだ。

 

ただ「市場を席巻できた」といいつつも、実際はヤフーテクノロジーに大きく下駄を履かせてもらった上でビジネスをしていたので、自分の実力がどの程度なのかよくわかってなかったという問題があった。

2006年当時日本で一番HTTPアクセスをさばいていた企業は実はヤフージャパンではなく、おそらくガラケー版「怪盗ロワイヤル」を提供していたDeNAだったと思う。彼らはYahoo! Incのような外部に頼ることなく、0から超トラフィックをさばく体制を構築してわけで、彼らと比較して「あれ?自分ってヤフーテクノロジーに大きく下駄を履かせてもらってるだけで、全然大したことないんじゃね?」と、これまた自分の実力に疑問を持つことになった。

(2016/12/6 注  怪盗ロワイヤルは2009年10月のリリースなので、時系列的な勘違いがあるようです。DeNAの中の人に怪盗ロワイヤル込みの全体数値を聞いて「あ、ヤフー超えてるな」と思ったのは確かです)

早くえらくなりすぎてしまった問題

 私がいわゆるWeb業界に入ったのは1998年で当時25歳、辞めたのは2006年で8年ほどやった勘定になる。その時25人位のチームメンバーを仕切っててやってることはほとんどExcelパワポの仕事だった。

その時私が考えたのは

 

「今まで8年やって34歳。65まで働くとしてこのあと31年。今までと同じような業界の伸びがあとざっと4セットあるとして、パワポExcel仕事なんかしていて人生もつのか?」

 

ということだった。1998年当時はアメリカから出来上がったプログラムを持ってきて、perl4でcgi-lite.pl(古い!)でちょっと気の利いたCGIプログラムを書くだけで神扱いされたのが、8年経った時点でAdSenseっぽいものを作れてもなんだか役に立たない状態になっていた。この急激な伸びがあと4セットもあるのにExcelをいじる仕事をするだけで会社人生がまっとうできるとは到底思えなかった。

 

私はもともとそこまで凄腕のエンジニアというわけではなく単なるビビリのエンジニアで、当時の普通のメーカーに就職し、退職金をもらって定年退職できればいいやと思っていたんだけど、この業界のこのスピード感と自分の実力を鑑みるに、「こんな状況じゃ、普通の定年退職すらやばいのでは!?」と怖くなって退職することにした。

退職と起業

勢い良く退職したはいいものの退職後なにかプランがあったわけではなく、

プラプラしながらいろんな勉強をしていた。そんなときにとある企業の社長から

 

「いいのできたら採用してあげるから広告システム作ってよ」

 

と言われて本気印の広告システムを0から作ることにした。当時特に目的がなかった私にとって、この提案は願ったり叶ったりで、

 

「超本気でシステムを作ったら仮に採用されなくても、できあがったプロダクトを名刺代わりに求職活動すれば、どっかの会社が拾ってくれるだろう」

 

と考え、半年ほど部屋にこもりっきりでコードを書き続けた。

残念ながら最初に声をかけて貰った企業さんには採用されなかったが、

別の企業さんに採用され、それがスケールアウトの起業のきっかけになった。

 

その後いろんな仲間との出会いやラッキーがあり、買収、合併などを経て今も順調に業績を伸ばしているが、この経験を通じてヤフーテクノロジーに履かせてもらっていた下駄に近いものを0から構築することができ、今後も闘っていく自信を得ることができた。

最後に

本ブログは「最速配信研究会」などという偉そうな名前だけど、 なんだか普通のビビりな1エンジニアがみなさんと同様に悩みながらもエンジニア人生を全うすべく模索している記録でもあります。

 

私は今44歳で大抵のWebエンジニアのみなさんよりも少しだけ年配だと思います。

年配としていろいろ見てきていて多少偉そうなことを言えるとするなら

 

「エンジニアとして全うしたいならおそらくは手を動かし続けられる環境に居続ける必要がありそう」

ということです。

あなたがちょっとばかりやり手の35歳技術マネージャーだったとしましょう。25年前~現在以上の業界進化がこれから定年までの25年間で起きるとして、全く手を動かさない仕事をしていて逃げ切る自信はありますか?私はその賭に勝つ自信が全くなかったので、会社を辞めて起業をしました。

— 最速配信研究会(スケールアウト山崎大輔) (@yamaz) 2012年2月28日

弊社はエンジニアがエンジニアとして全うできる環境を作るべく日々努力してますので、興味があるかたは是非。

 

採用情報 | Supership Recruit

 

(おしまい)

 

P.S 起業は本当に大変だったので、手を動かし続けられる環境を作る目的で起業するのは全くおすすめしませんw。が、自分とは全く関係ない海の向こうの話というわけでもありません。このあたりの話もニーズがあるようだったら書きます。