我们开源啦!一键部署免费使用!Kubernetes上直接运行大数据平台!
导语:市场上首个 K8s 上的大数据平台,开源了!
智领云自主研发的首个完全基于Kubernetes的容器化大数据平台
Kubernetes Data Platform (简称KDP)
开源啦!
开发者只要准备好命令行工具,一键部署
Hadoop,Hive,Spark,Kafka, Flink, MinIO ...
就可以创建以前要花几十万甚至几百万才可以买到的大数据平台
无需再花大量的时间和经费去做重复的研发
高度集成,单机即可体验大数据平台
在高级安装模式下
用户可在现有的K8s集群上集成运行大数据组件
不用额外单独建设大数据集群
项目地址:
https://github.com/linktimecloud/kubernetes-data-platform
辛辛苦苦研究出来的成果,为什么要开源?
这波格局开大,老板有话说
问题1:我们为什么要开源?
我们的产品一直是基于大数据开源生态体系建设的。之前就一直有开源回馈社区的计划,但是因为之前Kubernetes对于大数据组件的支持还不够成熟,我们也一直在迭代与Kubernetes的适配。现在我们的企业版已经在很多头部客户落地并且在生产环境下高效运行,觉得这个版本已经可以达到大部分生产级项目的需求,集成度以及可用性是能够帮到有类似需求的用户的,希望这次开源能够降低在Kubernetes上集成大数据组件的门槛,让更多Kuberenetes和big data社区的同行们可以使用。
问题2:开源版本的KDP,能干啥?
KDP可以很方便的在Kubenetes上安装和管理常用的大数据组件,Hadoop,Hive,Spark,Kafka, Flink, MinIO 等等,不需要自己一个一个去适配,可以直接开始使用。然后KDP也提供集成的运维管理界面,用户可以从界面管理所有组件的安装配置,运行状况,资源使用情况,修改配置。而且KDP会将一个大数据组件的所有负载(容器,pod)作为一个整体管理,用户不需要在Kubernetes的控制平面上去管理单独的负载。
问题3:最大的亮点是?
只要你已经在使用Kubernetes,那么在现有集群上十几分钟就可以启动一个完整的大数据集群,马上开始使用,极大的降低了大数据平台的使用门槛。因为我们这个流程是高度集成的,整个安装过程在一个单机环境下也都能启动(例如使用单机kind虚拟集群都可以),所以在测试和实验环境下都可以高效使用。当然,启动之后Day 2的很多好处,例如资源的高效利用和集成的运维管理,也是KDP提供的重要功能。
KDP,即在Kubernetes上使用原生的分布式功能搭建及管理大数据平台。
将多套大数据组件集成在Kubernetes之上,同时提供一个整体的管理及运维工具体系,形成一个完全基于Kubernetes的大数据平台。企业级KDP更是支持在同一个Kubernetes集群中同时运行多个大数据平台以及多租户管理的能力,充分发挥Kubernetes云原生体系的优势。
KDP,通过对开源大数据组件的扩展和集成,实现了传统大数据平台到K8s大数据平台的平稳迁移。
作为市场上首个可完全在Kubernetes上部署的容器化云原生大数据平台,智领云自主研发的KDP,深度整合云原生架构优势,将大数据组件、数据应用及资源调度混排,纳入Kubernetes管理体系,从而带你真正玩转云原生!
总体框架
简单来讲,KDP可以允许客户在Kubernetes上运行它所有的大数据组件,并把它们作为一个整体管理起来。
在Kubernetes上运行大数据平台有三个好处:
第一,更高效的大数据组件集成:KDP提供标准化自动化的大数据组件部署和配置,极大地缩短了大数据项目开发和上线时间;
第二,更高效的大数据集群运管:KDP通过大数据组件与K8s的集成,在K8s之上搭建了一个大数据组件管理抽象层,标准化大数据组件生命周期管理,并提供UI界面进一步提升了部署、升级等操作的效率;
第三,更高的集群资源利用率:利用K8s的资源管理和配额机制,与其它系统共享K8s资源池,精细化资源管理,对比传统大数据平台约30%左右的资源利用率,KDP可大幅提升至60%以上。
社区
我们期待您的贡献和建议!最简单的贡献方式是参与Github议题/讨论的讨论。 如果您有任何问题,请与我们联系,我们将确保尽快为您解答。
微信群:添加小助手微信拉您进入交流群
钉钉群:搜索公开群组号 82250000662
贡献
参考开发者指南,了解如何开发及贡献 KDP。
https://linktimecloud.github.io/kubernetes-data-platform/docs/zh/developer-guide/developer-guide.html
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。
标签:
推荐
-
3E飞龘,七星越朤!AOC显示器2024年渠道大会在河内召开,携手伙伴「齐聚升龙䲜新篇」
2024年4月9日,全球知名专业显示设备提供商和品牌商AOC显示器,与全国渠道伙伴龙年聚首,在越南河内这座...
来源:
财富更多》
-
印尼民众“零距离”体验雅万高铁列车
印尼民众“零距离”体验雅万高铁列车---...
-
人民币兑美元中间价报7.1986 调升162个基点
人民币兑美元中间价报7 1986调升162个...
-
茶饮“卷”到健康战
茶饮“卷”到健康战---从卷规模、卷价格...
-
我国清洁能源建设景气持续向好 电力建设呈现结构优化发展态势
我国清洁能源建设景气持续向好电力建设...
-
刘玉民任北京密云区委常委
刘玉民任北京密云区委常委---中国经济网...
动态更多》
热点
- realme10系列正式宣布 采用双曲面屏正面顶部居中挖孔
- 五菱全新微型电动车内饰官图发布 座椅采用星际形打孔工艺
- 努比亚Z40星空典藏版正式开售 采用微米级油画笔触纹理技术
- iQOO11系列正式官宣 首批搭载骁龙8Gen2机型之一
- 海信34英寸带鱼屏显示器发布 支持165Hz刷新率
- OPPO明年将商用240W超级闪充 新一代电芯支持更高倍率充电
- 第一款Android手机渲染图曝光 横向滑盖设计和全尺寸键盘
- 吉利首款纯电皮卡11月9日上市 车辆续航里程超过610公里
- 努比亚Z40SPro星空典藏版正式公布 堪称窄边框天花板
- vivo无线运动耳机2今日正式上市 首销只要119元
- 智能降噪、多语言转写,科大讯飞SR302录音笔助你轻松应对各种专业录音需求!
- Lexar雷克沙签约BLG战队,成为官方唯一指定存储品牌
- 联想Agent个人助理“小乐同学”初成型,AI PC生态新未来正探索
- 成功盛会:2024年深圳PMO年度论坛成功举行
- 浙商银行点赞东软 数智档案再获认可
- CES大展观察:激光显示唱主角,显示界的“变形金刚”引外媒点赞
- 东软携手天津滨海新区 构建整合型医疗健康服务体系
- XIN.G极聚,竞势能!机械师2024春季新品发布会全回顾!
- 2023新经济企业TOP500发布 腾讯连续三年蝉联桂冠
- 几何之美 全按心境——施耐德电气境尚系列开关插座评测
- 在科技与人文的十字路口,星纪魅族为听障人群带来新的希望
- 2023百度品牌之夜石家庄站成功举办抓住大模型时代商业机遇
- 为各种工作负载加速 全新英特尔至强可扩展处理器创“芯”无所不及
- 让电视更“绿”!海信激光电视打造千家万户的绿色客厅
- 生成式AI就绪 英特尔发布第五代至强可扩展处理器
- Flat Ads入选《中国数字营销生态图(2023版)》5大赛道,获行业认可
- KIDE荣获“中国光伏20年创新先锋奖”,助力中国光伏蓬勃发展
- 居家养老喜迎国家标准,三胞袁亚非曾建言智慧养老标准化建设
- 交强险和第三者责任险的区别
- 数字世界的基石:英特尔以太网800系列适配器技术指南
- 重新定义人像新美学标准 vivo S18 系列新机即将正式发布
- 轻薄机身用上旗舰级配置,vivo S18系列成年底中端领域的卷王
- 让电影短片被看到:企业搭台+链接产教+面向观众
- 东软入围赛迪顾问2023中国数据中台领导者象限
- 东软获国家数据管理能力成熟度四级认证
- 强基建链 共融共赢 | 2023大理数字经济阶段成果汇报暨生态共建签约仪式成功举办
- 对话李传刚:以颠覆式创新,洞见消费电子未来
- 祝宁斯主任是整形外科专业出身
- 融资消息 | 长扬科技完成新一轮战略融资!
- 与兄弟DCP-T426W共度寒冷冬日
- 兄弟DCP-T426W助您欢度圣诞节
- 全国示范!东软助力北京市档案馆数字化通过国家档案局专家组验收
- 首届全球实验室建设创新与发展高峰论坛在广州举办
- 复杂任务拆解、物体寻找,星火大模型助力机器人发展
- 不停拿奖还有超多福利?哈弗二代大狗别提有多香了
- 看病、买药、查报告,一个APP全搞定!讯飞晓医,你的私人AI健康助手来了
- 出海服务选择海外VPS供应商Tothost
- 东软宣布将打造下一代智能化解决方案
- 华为负一屏外卖“18元大额神券”来袭!抢券当天领取当天花
- AI时代,FPGA如何全线赋能云网边
- 宇视亮相中国电信数字科技生态展,铸造数字科技新生态
- 联发科第二代硬件光追上线,天玑9300带来游戏主机级的全局光照
- 数智重塑企业增长,2023爱采购城市行深圳站圆满落幕!
- 全新天玑9300支持第二代硬件光追,可支持热门手游60FPS顺畅运行
- 腾讯再赴“乌镇之约”,助力建设包容普惠有韧性的数字世界
- 天玑9300带来首款硬件生成式AI引擎,强悍AI算力生图只需1秒
- 天玑9300全大核架构上演高能效魔法,性能猛增40%,功耗大降33%
- 创新提速眼病防控数字化 协同构建临床诊疗新范式
- 如何赢在大模型时代,百名年轻创业者在Create@AI创客松上给了答案
- 相约临港新片区! 首届国际顶尖孵化器论坛将于12月5日至6日举行
- 仅剩1天 | 11月8日爱采购城市行亮点剧透!快来报名
- 2023年第三届和田地区“京和科技月”参与人数再创新高
- 为创新成长提速—「阿里云创业者计划」云栖大会专场活动圆满举行!
- 中运恒通(广东)能源科技完成一千万A轮融资
- 让MPV也能开出乐趣,从此高端MPV市场只有魏牌高山MPV和其他
- 引入创新火种,33家创业公司入选第二届宁波海曙“科创中国”赛道明星
- 佳能“巴蜀影像争霸赛”火热进行中 户外潮流文化节 快闪活动“坐标重庆”
- 好货提前GO,福利享不停!这些双十一优惠不允许你还不知道
- 双11打印好物推荐:兄弟Brother DCP-T426W
- 7位企业家齐聚腾讯产业科技大会,分享中国产业创新经验
- 2023CITC·网易创新创业大赛全国12强出炉!
- Veritas宣布微软成为首个通过Veritas REDLab安全解决方案验证的Veritas 360 Defense合作伙伴
- 北斗航天科技发展集团有限公司出海马拉西亚,促进科技合作,共享创新成果
- 2023CITC·网易创新创业大赛全国半决赛即将启幕
- 科大讯飞智能办公本X3:让你的工作更轻松,生活更美好
- Veritas推出Veritas™ 360 Defense,为企业本地部署和跨云提供网络韧性
- 奥运冠军林丹、抖音大V小黑兄弟空降Cleer抖音直播间,引爆双十一购物热潮!
- Farseer洞视科技助力香港金融探索深度数字化转型
- 世界冠军林丹,演员朱梓骁、赵奕欢....空降Cleer抖音直播间,双十一开门红超多福利送不停!
- 云思智慧, 助力华建集团数字化泛办公转型
- 海尔劲爽空调,以可变分流技术引领行业技术变革
- 格之格专注用户体验,打造差异化服务生态圈
- 15组创作达人齐聚飞宇科技,稳定器新品提前曝光?!
- Veritas最新研究:近半数的企业低估其自身风险水平
- 充得快、上车快、量产快,见证“神行速度”
- 百利好环球:WTT球星挑战赛圆满落幕 祝贺国乒豪夺4冠!
- 助力便捷办公,兄弟DCP-B7535DW
- 墨尔本电动汽车展落幕,欧拉好猫力压比亚迪元荣登最佳用车成本榜
- 奔图M6700DW Plus,助力业务灵动而上
- “创客北京2023”中国电信•5G+AI数字化创新专项赛决赛成功举办
- 无极品牌第五年,隆鑫跑通高端化之路
- 奔图M6700DW Plus,助力圆梦舞蹈奇迹
- 奔图P1新品单功能激光打印机,让学习如此轻松
- 三星新一代Thom Browne限量版二轮再售罄 Galaxy Z Fold5持续热销中
- 百利好环球:杭州亚运热血开战 全力支持国乒
- 欧孚科技总经理Laura:工具未来式
- 数通世界,智创未来 | 欧孚科技亮相黄河流域首届人力资源数字化主题交流暨数字化产品应用展览会
- 入手15万级高品质电四驱SUV,哈弗枭龙MAX带你畅享美好“车生活”
- 无兄弟,不越野,长城越野家族向你发来巡游邀请
- 讯飞听见会写:智能语音生成文案,颠覆你的工作方式
- ALIENWARE外星人助力BLG选手为国出征
- 戴森开展多元公益科普活动,响应全国科普日号召
- 英特尔超能云终端3.0再进化,助力千行百业云终端新体
- 宫庭海首度打造自己厂牌音乐节
- AI引领潮流,高效工作新伙伴 数珩S-GPT明镜打造全新工作体验
- G9有足够的底气,为中国纯电争气,做高端内销转出口的先行者
- 国庆长假必备品,Brother DCP-T426W 为你留存记忆
- 自主品牌竞争激烈,哈弗二代大狗与捷途旅行者谁才是真的轻越野?
- 计算机软件国家工程研究中心成立三十周年,新一届技术委员会亮相
- 电动滑板车行业焕发新生:HX欢喜引领智能化时代
- 思特奇深度参与国家信息中心数字政府建设暨数字安全技术研讨会
- 人民币兑美元中间价报7.1986 调升162个基点
- 实华股份在新三板挂牌公开转让
- 易事特在广东成立钠电科技公司 注册资本5000万
- 刘玉民任北京密云区委常委
- 龙传君安获天使轮融资
- 强信心 稳经济 促发展 | 山东:精准助企纾困 提升民营企业发展能级
- “好品山东”金字招牌激扬民营企业澎湃动能
- 更美APP等被恢复执行5520万
- 聪脉信息获数千万元A轮融资
- 茶饮“卷”到健康战
- 我国清洁能源建设景气持续向好 电力建设呈现结构优化发展态势
- 印尼民众“零距离”体验雅万高铁列车
- 热搜里的山东文化“两创”
- “强国复兴有我”全市学校国防教育系列活动启动暨全国国防教育示范学校授牌仪式成功举办
- 腾腾窑火出美器 精品陶琉迎客来
- 36氪首发|服饰创作生态服务公司「元衣科技」完成数百万天使轮融资
- 同时出战:国足VS弱旅切忌阴沟翻船,国奥想要出线必须狂胜对手
- G15嘉浏段数字化改建,打造智慧高速示范样板
- 太无忧综合意外险拒保是为什么呢?可以保障哪些方面?
- 一图看懂华为Mate 60 Pro+:史上最强Mate机皇
- 良品铺子寻味溯源直播首站走进云南万亩夏威夷果基地
- 斗破苍穹:萧炎对云山怼脸开大,三色火莲爆发震退在场所有人!
- 邓普顿“股票愿望清单”
- Roblox计划今年10月登陆索尼PlayStation平台