AI 应用的全流程存储加速方案技术解析和实践分享
来源 | 经授权转载自 百度智能云技术站 公众号
AI 应用对存储系统的挑战是全面的,从离应用最近的数据计算如何加速,到离应用最远的数据存储如何管理,到数据存储和数据计算之间如何高效流通,再到不同应用之间的资源调度如何协调 …… 这其中每一个环节的低效,都有可能拖累最终的 AI 任务的最终完成时间,让 AI 应用在一直等待数据,多个 AI 应用之间无法高效并发。
本次分享,将以存储系统为视角,对 AI 应用加速中的全部流程进行展开,分析其中关键节点和讲解相应技术,并分享百度智能云在 AI IaaS 建设
AI 应用的全流程存储加速方案技术解析和实践分享
来源 | 经授权转载自 百度智能云技术站 公众号
AI 应用对存储系统的挑战是全面的,从离应用最近的数据计算如何加速,到离应用最远的数据存储如何管理,到数据存储和数据计算之间如何高效流通,再到不同应用之间的资源调度如何协调 …… 这其中每一个环节的低效,都有可能拖累最终的 AI 任务的最终完成时间,让 AI 应用在一直等待数据,多个 AI 应用之间无法高效并发。
本次分享,将以存储系统为视角,对 AI 应用加速中的全部流程进行展开,分析其中关键节点和讲解相应技术,并分享百度智能云在 AI IaaS 建设
一次政务云生产环境的磁盘热扩容过程
我们有个项目部署在政务云上,有一个服务器400GB的数据盘最近经常空间爆满,虽然增加了定时清理缓存的crontab脚本,但是随着空间使用的增长,问题并没有解决。
一次政务云生产环境的磁盘热扩容过程
我们有个项目部署在政务云上,有一个服务器400GB的数据盘最近经常空间爆满,虽然增加了定时清理缓存的crontab脚本,但是随着空间使用的增长,问题并没有解决。
Netflix Drive:构建媒体资产云原生文件系统
作者 | Tejas Chopra
译者 | 平川
策划 | 丁晓昀
Netflix Drive 是一个多接口、多操作系统的云文件系统,目的是在工作室艺术家的工作站上提供典型 POSIX 文件系统的外观和体验。
它有 REST 端点,行为和微服务类似。它有许多供工作流使用的后端动作以及自动化用例(用户和应用程序不直接处理文件和文件夹)。REST 端点和 POSIX 接口可以在任何 Netflix Drive 实例中共存,并不相互排斥。
Netflix Drive 配有事件告警后端(作为框架的一部分
云原生制品那些事(2):OCI 镜像规范
题图摄于故宫角楼
注:微信公众号不按照时间排序,请关注“亨利笔记”,并加星标以置顶,以免错过更新。
《Harbor权威指南》招募英文版翻译人员
本篇继续和大家说说镜像那些事,是连载之二,从《Harbor权威指南》一书节选的纯技术干货,敬请关注、转发和收藏。
第一篇:容器镜像的结构
第二篇:OCI 镜像规范
第三篇:OCI 制品
第四篇:Registry 的作用原理
《Harbor权威指南》目前当当网优惠中,点击下图直接购买。
1.5 OCI镜像规范
OCI 镜像规范是以 Docker 镜像规范 v2
云原生制品那些事(1):容器镜像
题图摄于北京颐和园
(未经授权,请勿转载本公众号文章)
上篇文章和大家说到 Kubernetes 无法根本性移除 Docker的影响,原因是 Docker 发明的镜像格式极具革命性,无可替代。不管 Kubernetes 那边风吹浪打,Docker 我自巍然不动。从本篇开始和大家说说镜像那些事,共分四次连载,从《Harbor权威指南》一书节选的纯技术干货,敬请关注、转发和收藏。
第一篇:容器镜像的结构
第二篇:OCI 镜像规范
第三篇:OCI 制品
第四篇:Registry 的作用原理
《Harbor权威指
玩转企业云计算平台系列(十二):Openstack 文件共享服务 Manila
OpenStack共享文件服务 Manila 是一个用于提供共享文件存储的组件。它允许用户在OpenStack云环境中创建和管理共享文件系统,以供多个实例或虚拟机之间共享数据。
Linux云计算——磁盘和文件系统管理(二)
本章将会讲解磁盘和文件系统管理,LVM:(Logical Volume Manager)逻辑卷。
Linux云计算—— 磁盘和文件系统管理(一)
本章将会讲解Linux磁盘和文件系统管理,本章重点硬盘分区操作,格式化文件系统,挂载和卸载文件系统。
Linux云计算——基础重点知识复习题
6.关机操作(三个): init 0 shutdown -h poweroff
Linux系统登录密码忘记了怎样找回
1.在grub选项菜单’Debian GNU/Linux,…(recovery mode)’,按e进入编辑模式
无服务器PostgreSQL中的分支机制
分支机制为用户提供了生产数据库的完整副本,用户可以在副本上进行各种实验或测试,而不会影响到主分支上的生产数据库。这种分支机制非常有利于开发和测试工作的进行。
如何破解 Google Chrome 的隐身模式?
随着Chrome 76的发布,谷歌修复了一个漏洞:允许网站检测访问者是否使用了隐身模式。然而,这些方法仍然可以检测到Google Chrome无痕模式。
云原生制品那些事(2):OCI 镜像规范
题图摄于故宫角楼
注:微信公众号不按照时间排序,请关注“亨利笔记”,并加星标以置顶,以免错过更新。
《Harbor权威指南》招募英文版翻译人员
本篇继续和大家说说镜像那些事,是连载之二,从《Harbor权威指南》一书节选的纯技术干货,敬请关注、转发和收藏。
第一篇:容器镜像的结构
第二篇:OCI 镜像规范
第三篇:OCI 制品
第四篇:Registry 的作用原理
《Harbor权威指南》目前当当网优惠中,点击下图直接购买。
1.5 OCI镜像规范
OCI 镜像规范是以 Docker 镜像规范 v2
Linux系统常用命令速查手册
系统信息
arch #显示机器的处理器架构(1)
uname -m #显示机器的处理器架构(2)
uname -r #显示正在使用的内核版本
dmidecode -q #显示硬件系统部件 - (SMBIOS / DMI)
hdparm -i /dev/hda #罗列一个磁盘的架构特性
hdparm -tT /dev/sda #在磁盘上执行测试性读取操作
cat /proc/cpuinfo #显示CPU info的信息
cat /proc/in
容器技术的发展与基本原理
云原生引入了不少新的概念和思维方式,也影响了应用所采用的实现技术。容器是云原生应用的基础性技术,其颠覆了应用的开发、交付和运行模式,在云计算、互联网等领域得到了广泛应用。
本文选自《Harbor权威指南》一书,下面我们一同了解下容器的发展进程及基本原理。
容器技术的发展背景
在电子计算机刚出现时,由于硬件成本高昂,人们试图寻找能够多用户共享计算资源的方式,以提高资源利用率和降低成本。在20世纪60年代,基于硬件技术的主机虚拟化技术出现了。一台物理主机可以被划分为若干个小的机器,每个机器的硬件互不共享,并可
文件/目录的权限和归属 访问权限 读取:允许查看文件内容、显示目录列表 写入:允许修改文件内容,允许在目录中新建、移动、删除文件或子目录 可执行:允许运行程序、切换目录 归属(所有权) 属主:拥有改
ACL是Access Control List的缩写,主要的目的是在提供传统的ower,group,others的read,write,execute权限之外的细部权限决定
RHCSA项目总结
Linux命令的通用命令格式:命令字 [选项] [参数] 选项及参数的含义 选项:用于调节命令的具体功能 以 “-”引导短格式选项(单个字符),例如“-l” 以“--”引导长格式选项(多个字符),例如“--color” 多个短格式选项可以写在一起,只用一个“-”引导,例如“-al” 参数:命令操作的对象,如文件、目录名等
Docker容器逃逸
由于传播、利用本公众号亿人安全所提供的信息而造成的任何直接或者间接的后果及损失,均由使用者本人负责,公众号亿人安全及作者不为此承担任何责任,一旦造成后果请自行承担!如有侵权烦请告知,我们会立即删除并致歉。谢谢!