美团大数据平台架构实践


ᄍᬰᬦᑕӨ๋ෛᬰ઀ xieyuchen@meituan.com ᗦࢫय़හഝଘݣຝ຅ 14ଙ ᨮᨱᐶᕚᦇᓒଘݣࢫᴚ ୏නଘݣݎ13ଙ හഝ୏ ૲ୗ۸ړ12ଙ හഝՙପ ᗦࢫ, ᕹᦇಸᤒӨහഝՙପفے 11ଙ • ᨀ᧍਺ ԭ౯ى • ଘݣ۸௏᪠௛ᕮ • ᬪ๗೴౴Өଫ੒ • ଘݣᄍᬰ෸ᳵᕚ • ᗦࢫय़හഝଘݣຝ຅ ፓ୯ හഝ ຉ૵ړ ଘݣ ޞଠ ᗦࢫԯ- चᏐᦡෞ හഝ ຉ૵ړ ᯈᭆ ܕक़ … ଘݣݎ୏ හഝ೵യ BIԾߝ ᐶᕚᦇᓒ ၞୗᦇᓒ فള හഝ चᏐහഝ᮱ හഝ ຉ૵ړ ኪ୽ ሞ፲ හഝ ຉ૵ړ ᖓݳ ମک හഝ ຉ૵ړ ෢჋ ᯌମ හഝ ຉ૵ړ ᷧᷴ ମک හഝ֛ᔮᕟᕢຝ຅ ଘݣݎ୏ හഝ೵യ BIԾߝ ᐶᕚᦇᓒ ၞୗᦇᓒ فള හഝ ᗦࢫහഝၞຝ຅ࢶ ᗦࢫහഝၞຝ຅ࢶ Өၞୗᦇᓒفහഝള فᑁၾ௳ളྯ؀• ጯӡ+ શ • 850+ ෭பහ ඪ೮ग़ӥ჋ݎړᵞӾ۸ڜ• ၾ௳ᴚ ᔮࣳහഝचԭBinlog឴ݐीᰁى • • ෭பࣳහഝग़ളݗඪ೮ හഝතᵞᇙ௔ ਫ෸හഝၞ୊᬴ڦ• ᑁᕆ • 1100+ ਫ෸೐ಏ ᔮᥴຉى• ೐ಏᳵׁᩢ • ୊᬴ᕹᦇӨಸᦄ ໛ຝݎ• ೐ಏ୏ ଘݣ۸ݎ• ၥᦶ୏ ၞୗᦇᓒଘݣᇙ௔ ၞୗᦇᓒଘݣ ᐶᕚᦇᓒ ᐶᕚᦇᓒ᮱ᗟຝ຅ • 16K හഝՙପහഝᤒහ • 2500+ ᜓᅩ, 3๢಄ᕹӞݷਁᑮᳵ හۓ• 150K /ॠձ • 42P+ ௛ਂؙᰁ ཛྷ຃ݎ• හഝՙପ୏ • ग़ᦇᓒ໛ຝඪ೮ • ṛݢአ, ṛݢಘ઀ ᐶᕚᦇᓒଘݣᇙ௔ හഝՙପ୏ݎཛྷ຃ ETL୏ݎ හഝᓕቘ֛ᔮ • හഝᨶᰁፊഴ ᵑכSLAۓ• ձ ᕚ౮๜໐ᓒۓӱ • ڦᔮᦩى• ᛔׁۖᩢ හഝᓕቘ֛ᔮᇙ௔ ᔮࢶىׁᩢ හഝᓕቘ හഝᓕቘ හഝᓕቘ හഝᓕቘ BIԾߝ ೰ຽ൉ݐ BIԾߝ - ೰ຽ൉ݐ BIԾߝ - จᑮࢶᤒ ݎ୏ Ի԰ୗ ୚ක OLAP ᵑכ SLA & ᨶᰁ හഝ ग़๢಄ Hadoop ଘݣ ۓձ ᐶᕚ Spark ف୚ YARN Hadoop2.0 තᵞ Binlog ଘݣ ᦇᓒ ਫ෸ ଘݣ ݎ୏ ETL ӤHadoop ᔮᕹ ᧣ଶ ᛔᎸ ૡٍ ಸᤒ SQL ༷ஷ ՙପ හഝ ૡٍ ETL SQL ಸᤒ PHP “ಋٟ” 2011 2012 2013 2014 2015 2016 හഝଘݣ෸ᳵᕚ ݎ୏ Ի԰ୗ ୚ක OLAP ᵑכ SLA & ᨶᰁ හഝ ग़๢಄ Hadoop ଘݣ ۓձ ᐶᕚ Spark ف୚ YARN Hadoop2.0 තᵞ Binlog ଘݣ ᦇᓒ ਫ෸ ଘݣ ݎ୏ ETL ӤHadoop ᔮᕹ ᧣ଶ ᛔᎸ ૡٍ ಸᤒ SQL ༷ஷ ՙପ හഝ ૡٍ ETL SQL ಸᤒ PHP “ಋٟ” 2011 2012 2013 2014 2015 2016 හഝଘݣ෸ᳵᕚ ݎ୏ Ի԰ୗ ୚ක OLAP ᵑכ SLA & ᨶᰁ හഝ ग़๢಄ Hadoop ଘݣ ۓձ ᐶᕚ Spark ف୚ YARN Hadoop2.0 තᵞ Binlog ଘݣ ᦇᓒ ਫ෸ ଘݣ ݎ୏ ETL ӤHadoop ᔮᕹ ᧣ଶ ᛔᎸ ૡٍ ಸᤒ SQL ༷ஷ ՙପ හഝ ૡٍ ETL SQL ಸᤒ PHP “ಋٟ” 2011 2012 2013 2014 2015 2016 හഝଘݣ෸ᳵᕚ ݎ୏ Ի԰ୗ ୚ක OLAP ᵑכ SLA & ᨶᰁ හഝ ग़๢಄ Hadoop ଘݣ ۓձ ᐶᕚ Spark ف୚ YARN Hadoop2.0 තᵞ Binlog ଘݣ ᦇᓒ ਫ෸ ଘݣ ݎ୏ ETL ӤHadoop ᔮᕹ ᧣ଶ ᛔᎸ ૡٍ ಸᤒ SQL ༷ஷ ՙପ හഝ ૡٍ ETL SQL ಸᤒ PHP “ಋٟ” 2011 2012 2013 2014 2015 2016 හഝଘݣ෸ᳵᕚ ݎ୏ Ի԰ୗ ୚ක OLAP ᵑכ SLA & ᨶᰁ හഝ ग़๢಄ Hadoop ଘݣ ۓձ ᐶᕚ Spark ف୚ YARN Hadoop2.0 තᵞ Binlog ଘݣ ᦇᓒ ਫ෸ ଘݣ ݎ୏ ETL ӤHadoop ᔮᕹ ᧣ଶ ᛔᎸ ૡٍ ಸᤒ SQL ༷ஷ ՙପ හഝ ૡٍ ETL SQL ಸᤒ PHP “ಋٟ” 2011 2012 2013 2014 2015 2016 හഝଘݣ෸ᳵᕚ ݎ୏ Ի԰ୗ ୚ක OLAP ᵑכ SLA & ᨶᰁ හഝ ग़๢಄ Hadoop ଘݣ ۓձ ᐶᕚ Spark ف୚ YARN Hadoop2.0 තᵞ Binlog ଘݣ ᦇᓒ ਫ෸ ଘݣ ݎ୏ ETL ӤHadoop ᔮᕹ ᧣ଶ ᛔᎸ ૡٍ ಸᤒ SQL ༷ஷ ՙପ හഝ ૡٍ ETL SQL ಸᤒ PHP “ಋٟ” 2011 2012 2013 2014 2015 2016 හഝଘݣ෸ᳵᕚ OLAP୚කറᔱ • ݎಓᓕ Ө Ի԰ୗ୏ۓ• ձ NameSpace ग़๢಄ ܔ • Hadoop ෛӨᬰ઀๋ ړᘠݳ᯿, ᵙզள᭛ೆۓձۓ• ӱ 1500ᜓᅩ • 15ଙ6์ᶼ֌1000ᜓᅩ, 15ଙ12์ᶼ֌ • ෛᐶᕚ๢಄๋෱9์Ի՞ Ꭳ๢಄௛๢ຝ֖500ᜓᅩޞᤩ ,ڡ• 15ଙ • ᙧว Hadoopग़๢಄ຝ຅ pipelineف• HDFSٟ • ᶋDataNode๜ࣈ᧛ݐ • Appٖ᮱containerᳵᗑᕶԻഘ • Hadoop᪜ᜓᅩහഝၞ࣋ว ૲ୗᔮᕹ, ᪜ᜓᅩ੪ݢᚆ᪜๢಄ړ• Hadoop • ᪜๢಄ଃ਼ੜ, ୊᬴ṛ • Hadoopग़๢಄໐ஞᳯ᷌ Hadoopग़๢಄ຝ຅ ૡٍګ૲/ᬢᑏഴړ• ᩳBalancerംࣘጱളݗ, ຅᭜෈կBlock ๢಄ٖ᮱ᬢᑏܔදHDFS Balancerᒽኼݝࣁץ • .᧛clientಅࣁ๢಄ض຅౮ጱpipeline. ᧛හഝ෸ս දaddBlockᒽኼ, ݝᬬࢧclientಅࣁ๢಄DataNodeץ• HDFS ๢಄ ܔکݝ᧣ଶۓձܔද᧣ଶᒽኼץ ,๢಄ં௔ےीڜ• YARNᴚ • ྯӻᜓᅩᦇᓒಅં๢಄ ग़๢಄, ٚೆNameSpaceض • • ຝ຅٬ᒽ Hadoopग़๢಄ຝ຅ Hadoopग़๢಄ຝ຅ - පຎ 246 420 611 1110 1894 1985 2460 0 500 1000 1500 2000 2500 3000 2015.03 2015.05 2015.07 2015.09 2015.11 2016.01 2016.03 cq dx rz all ᭐กᬢᑏۓ• ӱ ᶮ֘ᩒრᳯ᷌ ,ݎ• ள᭛୏ • դᎱදۖੜ, ᝜ࢱݢഴ • ᇙᅩ Hadoopग़๢಄ຝ຅ පሲๅṛ, ֕ฎ਍ԟ/੤ᦶ౮๜ṛݎ• Spark୏ ᳩ • դᎱᖫᦲሾह/ಗᤈሾहӧᏟਧ, ᳯ᭄᷌ັޮ๗ • ሾह᮱ᗟපሲ֗, ᓕቘ౮๜ṛ පሲ֗ݎᖫᦲ, ၥᦶ, ୏ • ݎचԭHadoop/Sparkਮಁᒒ୏ۓ• ӱ ᙧว • ݎಓᓕӨԻ԰ୗ୏ۓձ ᵱ࿢ ᘏ੤ᦶդᎱ᭦ᬋ, ԰ፘ݇ᘍդᎱਫሿጱݎ• ᥴ٬ԧ୏ ጭᴭ&ᦊᦤشbug / ᤑڜӞᔮ॔ץ ,ݎ• चԭݸᘏ୏ • ᧣Ꮈԧipython notebook+spark޾zeppelin ૡٍݎ• Ի԰ୗ୏ դᎱ, ಑۱, ಗᤈᕹӞଘݣ۸ᓕቘۓ• ձ ಓᓕଘݣۓ• ձ ຝ຅٬ᒽ • ݎಓᓕӨԻ԰ୗ୏ۓձ …Hadoop …Hadoop git push… user code… ಓᓕଘݣۓձ Ի԰ୗ୏ݎ • ݄᯿೰ຽᥝ࿢ᔜᏟ • ग़ᐿᖌଶᕟݳᘸݳັᧃ TP99 < 3S • ڦᖌଶ, 20ӻզٖᔄڦӡᕆ܉ • Ԫਫ, 50զٖ೰ຽڦ• Պᕆ • ᵱ࿢ᇙᅩ OLAP୚ක • Kylin • ElasticSearch • Druid HBase + ԫᕆᔱ୚ف• Hive grouping set ੕ • Presto / Hive / Spark on ORC File਼ᤒ • ݢᚆጱොໜ OLAP୚ක ᦶአֺ ᇙྛᵱ࿢ݸ, ᬽդၥۓՁᬰ઀ଚතᵞӱړ • ොໜ੒ྲၥᦶ܄࣋วၥᦶහഝ, ੒ᐒ • चԭStar Schema Benchmark, ຅᭜OLAP ᕚ੤ᦶ៧ࣈۓ੤ᦶKylin, ଚࣁӱێय़ض ,ၚ᪋ଶ܄ᐒ ,ێ• ᘍᡤᑞਧ௔, ౮ᆧଶ, ഩഴ • റᔱ௏᪠ OLAP୚ක ຉ୚කړKylin - OLAP StarSchemaBenchmark ັᧃᰁ2ӡ • 3Պᤈහഝ, TP95%ັᧃߥଫ෸ᳵࣁ1sٖ, ෭ ๗7ॠ -> 1~2ॠޮݎ୏ۓ• ӱ • ඪ೮຤BIᶱፓ7ӻහഝᒈො֛ • ਠ౮Presto̵Kylin1.3̵Kylin1.5̵Druidၥᦶ ᬰ઀ڹ• ፓ OLAP୚ක ౮๜ۓපሲᨮᨱ, ᒫӞ෸ᳵᘍᡤӱۓ• ԅӱ ᳵ੒ള౮๜ۓ੝ӱٺ ,• ᕹӞ۸ ᯿॔ጱԪఘ؉Ӟེ, ؉஑ᔜ • ؀• ଘݣጱհ ଘݣ۸௏ᘍ ۓӱݎ• ᦡᒈᥢ᝜, አᑌᔴጱದ๞ඪඅݸ ݶᤈ, ᬀۗଚဃႚದ๞ۓᬰӱض• Ө ฎᒫӞ֖ጱۓ• ඪ೮ӱ ઀ݎ• ଘݣጱ ଘݣ۸௏ᘍ • ቘฬ๦ᤍ & ᭌࣳ • ᭌೠ௔᯿຅ ௔patchᬰᤈᨯሠو • ᎚௔᧣Ꮈڹ & ဳى• ೮ᖅ ԭ୏რى • ଘݣ۸௏ᘍ
还剩48页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 10 金币 [ 分享pdf获得金币 ] 2 人已下载

下载pdf

pdf贡献者

yif

贡献于2018-03-19

下载需要 10 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf