5G和物聯網帶來大數據繁榮
5G和物聯網帶來大數據繁榮
幾年前,當人們開始對Hadoop產生興趣時,WANDisco利用其大數據移動技術為預期的業務激增做好了準備。然而,這項業務從未完全展開。當Hadoop泡沫最終破滅時,公司只能尋找新的市場。現在,通過5G網絡收集的工業物聯網數據正成為主流,WANDisco成為了雲上大數據熱潮中的一員。
Hadoop是一個由Apache基金會所開發的分佈式系統基礎架構。用戶可以在不了解分布式底層細節的情況下,開發分佈式程序。充分利用集群的威力進行高速運算和存儲。
像業內許多人一樣,WANdisco首席執行官David Richards也受到Hadoop時代的挫折。幸運的是他成功地帶領公司度過了Hadoop風暴,進入了更宜人的“水域”。
因禍得福,Richards談到Hadoop的整個體驗時說道:“我們製造了一種解決大規模數據問題的產品,當時看起來像一群白痴,因為沒有人擁有如此大規模的數據。”
隨著向Hadoop的遷移逐漸減少,WANDisco的核心技術需要一個新的市場,這可以幫助用戶及時地在網絡上移動大量數據。該公司的優勢在於,它能夠讓分析師或數據科學家在數據到達目的地的那一刻就開始處理數據,而不是等待數天、數週或數月才能移動整個數據集。
因為使用共識來確保數據準確,不必掃描數據,因此可以在打開產品的一秒內開始運行機器學習。也能夠在任何可用帶寬上對其進行多路復用,並使整個事情效率倍增。
儘管Hadoop失敗了,但云數據平台已經崛起,流入雲中的對象存儲數據確實非常龐大。WANdisco最近被用於將大型電信公司的25 PB(1PB=1024TB)數據移動到雲中,在那裡可以使用流行的雲數據倉庫之一進行分析。它還參與了另一項交易,為一家大型汽車公司每年將1 EB(1EB=1024PB)的數據移動到雲端。
WANdisco在一夜之間取得了10年的成功。技術理論從未改變,即在互聯網上移動PB級數據非常困難,確保數據以正確的順序及時到達也是一個問題。
5G技術最初主要作為一種消費技術進行推廣。新的無線技術使我們能夠在幾秒鐘內下載完整的影片,並將開啟互動遊戲的新時代。5G將成為新的網絡,使我們能夠參與增強現實並享受元宇宙。
事實證明,這並不是5G的全部用途。Richards說:“用例不僅僅是視頻或手機。更多行業正致力於成為具有傳感器邊緣雲完整解決方案的物聯網骨乾公司。
從汽車收集的數據特別大,而且需要及時。製造商正在收集電動汽車部件的可靠性和性能數據,而保險公司則對駕駛數據感興趣,以幫助定價保費。
WANdisco是一家在英國上市而總部位於美國的公司。2022年,收入飆升了967%,從約1200萬美元增至1.27億美元。該公司公佈的遞延收入約為1.1億美元,高於去年的不足1000萬美元。
Richards稱這些數字“荒謬”,他對WANDisco突然產生的業務量感到震驚。“公司現在發生的事情太瘋狂了。我從未見過這樣的事情。這就是我們所說的會發生的事情。但當它真的發生時,你必須有能力來支持它。”
Richards樂觀地認為,大數據龍頭只會打開得更大。隨著公司意識到其數據的價值遠遠大於其傳統業務的價值,這將催生對更大數據移動的需求,以推動更大的機器學習工作量。
同時WANdisco發布了Data Activation Platform 2.0,該公司聲稱這將導致更大數據集更快地移動到雲端。新版本為同時使用多個數據傳輸代理提供了更好的支持;數據源環境的自動清理;加強數據保真度驗證;加強對數據傳輸優先級的控制;以及用戶界面的增強。