小红书将业界最大数据湖迁至阿里云
我要评论记者获悉，小红经过一年奋战，书将数据小红书已把业界体量最大的业界数据湖0故障迁上阿里云。据统计，最大至该项目共有1500人参与，湖迁迁移数据500PB。小红
作为中国头部互联网公司之一，书将数据小红书月活已过3亿，业界其数据湖存储了过去11年的最大至所有原始数据，包括结构化、湖迁半结构化和非结构化数据。小红近年来，书将数据随着业务的业界高速增长，小红书在线处理数据的最大至需求不断增加，同时离线处理所积累的湖迁历史问题，也会在未来的切换中带来更多成本与风险。
为此，2023年11月，小红书发起迁云项目——计划一年内，把小红书的数据湖搬上阿里云。
迁移至阿里云上后，数据湖可通过多个OSS Bucket支持纳入统一资源池，实现多个Bucket共享资源池内的OSS吞吐及QPS能力。这样的流控能力在面向小红书复杂业务场景，可灵活调配资源，高效利用吞吐性能，降低不同业务租户间的互相影响。阿里云原生HDFS+DLA元数据可实现无缝对接Hadoop EMR体系，支持元数据线性扩展能力，轻松应对小红书数百PB数据下的元数据线性增长。
较于过往业界体量最大的案例，小红书的本次迁移的数据体量更大。
*注：任务=数据处理过程
（图片来自小红书官方公众号）
据介绍，小红书的迁云项目经历了三个阶段。第一步，项目组首先解决标准问题，然后根据标准进行治理；第二步，完成治理后，项目在2024年5月正式进入双跑阶段。把数据拷贝到阿里云上，两边同时跑数，验证正确性与及时性；第三步，2024年8月，项目结束双跑，进入割接阶段。阿里云团队全程在现场保障，顺利完成了割接。
2024年11月，小红书迁云项目正式宣告结束。在0故障的情况下，迁移数据500PB，任务11万，参与人数1500人，涉及部门40多个。项目涉及产品之多和数据体量之大均创下业界记录。
相关文章
[流言板]太阳官方：布克因左侧腹股沟酸痛将缺席接下来的两场比赛
[流言板]太阳官方：布克因左侧腹股沟酸痛将缺席接下来的两场比赛由篮球资讯发表在篮球资讯 50212月22日讯 太阳队宣布，德文·布克因左侧腹股沟酸痛将缺席接下来的两场比赛，他将在下周初进行重新评估。太2024-12-28
10月28日讯中超第29轮比赛，青岛下海岸主场1-1战平成都蓉城，提前一轮保级成功。赛后，《足球报》发文对于西海岸保级成功的原因进行了点评，认为此前的三连胜为保级成功奠定了基础。青岛西海岸主场1-1战2024-12-28
足球报：上村健一向国少队员表达歉意，由于自己的迟疑导致被扳平
10月28日讯 国少队获得明年U17亚洲杯参赛资格，《足球报》谈到国少队表现时认为，球队令人兴奋的不止是出线。《足球报》表示，参加U17亚预赛的中国国少队是08/09年龄段，这支球队短期的任务就是参加2024-12-28
瓜迪奥拉：联赛杯对阵热刺可能会用青训球员，这取决于球队的情况
10月28日讯 据曼城官网报道，瓜迪奥拉对阵南安普顿的赛后新闻发布会上谈及了即将到来的英联杯比赛。在本轮比赛中，曼城1-0战胜了南安普顿。北京时间10月31日凌晨04:15，曼城将会迎来同热刺的英联杯2024-12-28
12月27日消息，据报道，近日，保险公司和湖南警方协作破获了一起新能源汽车落水骗保案。报道称，11月28日，男子向保险公司报案称，自己驾驶车辆经过长沙当地一垂钓基地鱼塘边上时，因为操作失误导致车辆不慎2024-12-28
10月28日讯本轮西甲，皇家贝蒂斯1-0击败马竞。赛后，贝蒂斯主帅佩莱格里尼出席新闻发布会谈到本场比赛。佩莱格里尼："考虑到对手的实力和我们犯的错误很少，这不仅是本赛季最好的上半场，更是我来到球队以来2024-12-28
最新评论