昨年末からTwitterで面白い動きが起きています。インターネットの普及で直接民主制が可能になるかもしれないと思っていましたが、一つ目の波が来つつあるようです。従来のマスコミとは完全に分離して、自然発生した「野生」オンブズマン(※)が活動しているので時代の流れを感じます。
今週の世界の研究所は、Twitter社です。今週はインターネット上のプラットフォームと関連技術を調べたいと思います。またちょっと仕事の波が来ているので、調査が浅くなることはご容赦ください。まずTwitter社の技術ブログ(2017)から:
https://blog.twitter.com/engineering/en_us/topics/infrastructure/2017/the-infrastructure-behind-twitter-scale
トラフィックの爆発的増大に伴ってデータセンターの組み換えをした様子が書かれています。ハードウェアの使用割合が最初の円グラフですが、意外なことにDatabaseやMessagingの割合は低く、Mesosというのが35.9%、Hadoopというのが19.6%を占めます。
Hadoop https://oss.nttdata.com/hadoop/hadoop.html Google発祥の技術で、大規模データの蓄積と分析をします。
Mesos https://ja.wikipedia.org/wiki/Apache_Mesos 大学発、コンピュータの集合体を管理する仕組み、Twitter, Airbnb, Siriなどで活用。
いままであまり勉強していなかったですが、ネットワークの技術は実によくできていますね。円グラフの残りの項目は文字通りでしょう。
下記技術ブログ集はいろいろ勉強になりそうです。
https://blog.twitter.com/engineering/en_us
リッチ曲率など、数学の概念も出てきて面白いです(すごく役に立つわけではなさそうですが…)
https://blog.twitter.com/engineering/en_us/topics/insights/2022/over-squashing–bottlenecks–and-graph-ricci-curvature
https://ja.wikipedia.org/wiki/%E3%83%AA%E3%83%83%E3%83%81%E3%83%86%E3%83%B3%E3%82%BD%E3%83%AB
Twitterは2006年に設立され、日本語サービスは2009年に導入されたようです。
※ombudsman オンブズマン 行政機関やメディア、社会などを外部から監視し、権利・利益の侵害の救済を図る制度
英語は上記ブログから。独特の用語たちですが、イメージが伝わりますね。
our fleet 我々の艦隊 level 5 (Twitter社のハードウェア群を指しています)
“we began iterating through various network designs” 様々なネットワーク設計をひとつづつ試し始めた。
iterate イテレイト ひとつづつ繰り返す(プログラミング用語です)
colo = a colocational facility 貸しデーターセンター
https://www.techtarget.com/searchdatacenter/definition/colocation-colo
“Smaller blast radius of a single device failure” 一つのデバイス不良の爆発半径を小さくすること
blast 爆発、突風、ラッパの一吹き、発破 level 5
“route churn issues” churn チャーンは大型のミルク缶、牛乳の撹拌機 level 10 多分、情報の経路を決める仕組みのことでしょう
“enables non-impacting rack migrations” 装置を移動しても影響を及ぼさないこと impact は「影響」の意味で多用されます。
“it’s important to build a highly scalable architecture that will allow adding capacity incrementally instead in forklift-esque migrations” (全体の再設計)・・・ではなくフォークリフト風の移設による段階的な能力追加で拡張可能な設計をつくることが重要である。
-esque エスク は「~風の」 フォークリフトと組み合わせると、明らかにオタク用語ですが知的な響きがありますね。
ad hoc アドホック その場しのぎの level 17
Lessons learned 学んだ教訓
“There is no such thing as a temporary change or workaround: In most cases, workarounds are tech debt.” 一時的な変更や回避策などというものはない。たいていの場合、回避策とは技術的な借金だ。 ※ad hoc式を多用するお前が言うなと言われそうですが、激しく同意します。