<ins id="jxy61"><option id="jxy61"><menu id="jxy61"></menu></option></ins>
          1. 煉數成金 門戶 大數據 查看內容

            大數據涼涼了?Apache將一眾大數據開源項目束之高閣!

            2021-4-15 11:34| 發布者: 煉數成金_小數| 查看: 1883| 評論: 1|原作者: 努力賺錢的小作者|來自: 飛總聊IT

            摘要: 這兩天Apache基金會,這個因為大數據而成名的開源基金會連續不斷的宣布將一系列的項目束之高閣報廢,也就是所謂的進入Apache Attic。這些項目的PMC委員會會解散。這些項目里,最著名的應該當屬Mesos這個從UC Berkele ...
            這兩天Apache基金會,這個因為大數據而成名的開源基金會連續不斷的宣布將一系列的項目束之高閣報廢,也就是所謂的進入Apache Attic。這些項目的PMC委員會會解散。

            這些項目里,最著名的應該當屬Mesos這個從UC Berkeley的AMP Lab出來的項目,其主要目的是為了實現一個數據中心的操作系統。Mesos和另外一個著名的項目Docker都有過一時的風光,但是在短短兩年內就被谷歌新鮮出爐的Kubernetes給打敗了。

            Mesos最初被Twitter采用了,好像被Twitter采用的技術命都不太好。比如說Storm這個流處理引擎,也基本上完蛋了。至于UC Berkeley Lab出品的東西,就看命了。Mesos項目完蛋了,Spark卻混的越來越好。

            容器和資源管理以前是谷歌大殺器,谷歌雖然寫了大數據三駕馬車,但是對內部的數據中心資源管理,那是不動絲毫聲色的隱瞞了很久,即使后來被大家知道了,也在很多很多年以后才最終發了論文。

            當然,不可否認,大數據三駕馬車的谷歌實現版,比外面開源的Hadoop要強太多了,而Hadoop某種程度上一直都處在湊合用的狀態下。那些有點志向的項目,比如Spark或者Presto很多時候都扮演著若即若離的角色,對Hadoop整個Stack也不夠忠誠。

            這次進Attic的項目里,和Hadoop相關的有一堆,比如說Apex,Chukwa,Crunch,Eagle,Falcon,Hama,Tajo,Twill,Metron,Sentry等等。

            講真話,大部分項目早就死不死活不活的狀態了。但是這些古老的尸體里還流淌著Hadoop圈子里斗爭激烈的事實。

            比如說如今已經合并,曾經的Cloudera和Hortonworks在各方面展開競爭,Sentry和Ranger是兩個對HIVE Metadata Store進行細粒度權限管理的開源項目,也是這兩家公司競爭的產物。

            當然,競爭方面Cloudera實在還是比Hortonworks厲害一些,這也是為什么合并以后的公司還是叫做Cloudera。Ranger也比Sentry更受開源社區的力挺,F在很多公司還是在基于Ranger提供企業級的權限管理,比如說Starburst。

            Starburst這公司是做Presto的商業化的。當然Presto社區分裂,三個創始人從Facebook離職,之后又經過了一年的競業等待后加入Starburst。之后Facebook手握版權,強制Starburst改名,于是現在有了Trino。

            Ranger我之前看過一些,因為前面有個項目需要用到。社區也不是很活躍,代碼也有點老了。很多需要更新的地方。但是不管怎么樣,起碼還活著。

            回過頭去看,我們發現,在Hadoop剛成立不久的前幾年,進入Apache基金會,搞個開源項目是一件非常容易的事情。Apache基金會里面良莠不齊的搜集了很多項目,其中很大一部分說是垃圾也不為過。

            而時至今日,大數據也好Hadoop也好,剩下來的東西已經很少很少了。真正的贏家大家多少也能看出來。很有意思的是,Spark這公司,從一開始就和Hadoop圈子若即若離的。HDFS現在就剩個殼。HIVE還有人用但是Pig基本只能古董店見了。

            HBase可能還算是活的不錯的古老的項目。其他的Presto和Apache真沒什么關系。至于Flink,以前德國人搞的時候就感覺喜憂參半,進了阿里以后,就一入阿里深似海了。

            哎,熱熱鬧鬧的大數據圈啊,如今還熱熱鬧鬧嗎?最像大數據的大數據公司Databricks,現在也一天到晚叫著說自己是個AI公司。

            聲明:文章收集于網絡,版權歸原作者所有,為傳播信息而發,如有侵權,請聯系小編刪除,謝謝!

            歡迎加入本站公開興趣群
            軟件開發技術群
            興趣范圍包括:Java,C/C++,Python,PHP,Ruby,shell等各種語言開發經驗交流,各種框架使用,外包項目機會,學習、培訓、跳槽等交流
            QQ群:26931708

            Hadoop源代碼研究群
            興趣范圍包括:Hadoop源代碼解讀,改進,優化,分布式系統場景定制,與Hadoop有關的各種開源項目,總之就是玩轉Hadoop
            QQ群:288410967 

            鮮花

            握手

            雷人

            路過

            雞蛋

            相關閱讀

            發表評論

            最新評論

            引用 flybeyondsky 2021-4-16 11:10
            那大數據學啥,

            查看全部評論(1)

            熱門頻道

            • 大數據

            即將開課

             

            GMT+8, 2021-4-18 07:47 , Processed in 0.158469 second(s), 25 queries .

            年轻人手机在线观看