米兰·(milan)中国官方网站-大数据究竟有多“大”？谷歌搜索的规模为 62 PB，排名倒数第一

---

作者 | 西西编纂 | 陈彩娴尽人皆知，算法、算力与数据是人工智能（AI）成长的“三驾马车”，吴恩达等学者也常说：以数据为中央的AI，或者数据驱动的AI。因而可知，最近几年来激增的数据量是 AI 起飞的源动力之一，数据于 AI 中饰演主要脚色。那末，人们口中常说的“年夜数据”，范围毕竟有多年夜呢？出在好奇心，一名意年夜利物理研究者 Luca Clissa 查询拜访了 2021 年几个知名年夜数据源（google搜刮、Facebook、Netflix、亚马逊等等）的范围巨细，并将它们与年夜型强子对于撞机（LHC）的电子装备所检测到的数据做了对于比。地址：https://arxiv.org/pdf/2202.07659.pdf毫无疑难，LHC 的数据量是惊人的，高达 40k EB。但贸易公司的数据量也不容小觑，好比，亚马逊S3存储的数据量也到达了约莫 500 EB，年夜致相称在google搜刮（62 PB）的 7530 倍。此外，流数据于年夜数据市场中也据有一席之地。Netflix 及电子通讯等办事孕育发生的流量比纯真的数据出产者要多一到两个数目级。

1LHC 的数据量按照 Luca Clissa 的查询拜访，2021年各年夜知名数据源的体量约莫以下：

图注：2021年的年夜数据范围右上角（灰色部门）是欧洲核子研究构造（CERN）年夜型强子对于撞机（LHC）试验的电子装备所检测到的数据，范围最年夜。于上一次运行（2018 年）中，LHC 于四个重要试验（ATLAS、ALICE、CMS 及 LHCb）中的每个试验里，每一秒孕育发生约莫 24 亿次粒子碰撞，每一次碰撞可以提供约 100 MB 数据，是以估计年产原始数据量约为 40k EB（=10亿千兆字节）。但按照今朝的技能及预算，存储 40k EB 数据是不成能的。并且，现实上只有一小部门数占有意义，是以没有须要记载所有数据。记载的数据量也降低到了天天约莫 1 PB，2018 年的末了一次真实数据只收罗了 160 PB，模仿数据 240 PB。此外，网络的数据经由过程 WLCG （全世界LHC计较收集）不停传输，2018 年孕育发生了 1.9k PB 的年流量。不外，欧洲核子研究构造（CERN）正于努力增强 LHC 的能力，举行 HL-LHC 进级。这个历程估计天生的数据量将增长 5 倍以上，到 2026 年，每一年预计孕育发生 800 PB的新数据。2年夜厂数据量对于比至公司的数据量很难追踪，且数据凡是不会公然。对于此，Luca Clissa 采用了费米估算法（Fermi estimation），将数据出产历程分化为其原子构成部门，并做出合理的预测。好比，针对于特定命据源，检索于给按时间窗口内孕育发生的内容量。然后经由过程对于这些内容的单元巨细的合理预测来揣度数据总量，例如平均邮件或者图片巨细，1 小时视频的平均数据流量等等。他对于google搜刮、YouTube、Facebook等等数据源举行了估算，结论以下：google搜刮：近来的一项阐发预计，Google 搜刮引擎包罗 30 到 500 亿个网页。按照 Web Almanac 所提供的信息，假定google的年度平均页面巨细约为 2.15 MB，截至 2021 年，Google 搜刮引擎的数据总范围应约为 62 PB。YouTube：按照 Backlinko 的数据，2021 年用户天天于 YouTube 上上传的视频时长为 72 万小时。假定平均巨细为 1 GB（尺度清楚度），2021年 YouTube 的数据巨细约为 263 PB。Facebook 与 Instagram：Domo 的 Data Never Sleeps 9.0 陈诉预计，2021 年 Facebook 与 Instagram 每一分钟上传的图片数目别离为 240k 及 65k。假定平均巨细为 2 MB，则统共约莫为 252 PB 及 68 PB。DropBox：虽然 Dropbox 自己不孕育发生数据，但它提供了云存储解决方案来托管用户的内容。2020年，公司公布新增用户 1 亿，此中付费定阅用户到达 117 万。经由过程推测免费及付费定阅的占用率别离为 75%（2 GB）及 25%（2 TB），Dropbox 用户于 2020 年所需的存储量约为733 PB。电子邮件：按照 Statista 的数据，从 2020 年 10 月到 2021 年 9 月，用户约莫传送了近 131,000 亿次电子通讯（包罗 71,000 亿封电子邮件及 60,000 亿封垃圾邮件）。假定尺度邮件及垃圾邮件的平均巨细别离为 75 KB 及 5 KB ，咱们可以预计电子邮件的总流量约为 5.7k PB。Netflix：Domo 预计，2021 年 Netflix 用户天天耗损 1.4 亿小时的流媒体播放，假定每一小时 1 GB（尺度界说），共计约莫 51.1k PB。亚马逊：亚马逊收集办事 (AWS) 的首席传教师 Jeff Barr称，截至 2021 年，亚马逊 S3 （Simple Storage Service）中存储了跨越 100 万亿个对于象。假定平均每一桶的对于象巨细为 5 MB ，那末存储于 S3 中的文件的总巨细则约等在 500 EB。总的来讲，科学数据可以于数目上与贸易数据源相媲美。参考链接：1.https://towardsdatascience.com/how-big-are-big-data-in-2021-6dc09aff5ced2.https://firstsiteguide.com/谷歌-search-stats/3.https://backlinko.com/4.https://妹妹s.businesswire.com/media/20210929005835/en/911394/5/data-never-sleeps-9.0-1200px.jpg?download=15.https://backlinko.com/dropbox-users6.https://www.statista.com/7.https://aws.amazon.com/cn/blogs/aws/amazon-s3s-15th-birthday-it-is-still-day-1-after-5475-days-100-trillion-objects/8.https://atlas.cern/

雷峰网(公家号：雷峰网)雷峰网

雷峰网原创文章，未经授权禁止转载。详情见转载须知。

-米兰·(milan)中国官方网站