感谢那些关注我的朋友,谢谢你们的支持。心情一鸡冻,决定再来一发
,今天分享的内容主要是围绕图片服务架构。如果有哪些地方写的不对,欢迎吐槽!
首先,我们还是确定一下此次的路线
1.现有业务背景
2.为业务而制定的架构
3.fastdfs的一些特性
4.未来可能面临的问题
一、现有业务背景
目前,据我所知,绝大多数互联网公司都会面临图片存储的问题。现在先描述下新的业务需求:
1.每天的图片pv量kw左右
2.从流量水平看,峰值是k req/s
3.图片大小在30k左右,图片分辨率固定几种,图片格式固定
4.图片日增量几十w
5.客户端接口支持
补充.业务自身的上传限制,查看限制不在此讨论范围内
二、为业务而制定的架构
备注:
F5会根据请求路径的不同(主要是group分组)将请求分发到不同的存储节点
nginx+fastdfs-nginx-module 模块:首先在本地文件存储中寻找文件发现文件存在即立即返回;如文件不存在则链接Thacker服务器请求文件地址
TrafficServer 只是用做单机缓存
FastDFS (4.0.6) 分布式文件系统,存储图片
之前的存储采用的是emc,由于业务增长,需要分布式的且扩展方便的文件系统,最后采用了fastDFS。(分布式文件问题详见
分布式文件系统的原理 )
三、fastdfs的一些特性
主要是轻量级、不分块、扩展方便等特点,在此还是引用下鱼大的那篇文章
分布式文件系统 FastDFS
四、未来可能面临的问题
扩容方案,当增加一个分组的时候,热点数据基本分布在这个分组上,一次上两台机器能不能扛住,需要观察
安全问题,客户端做限制,存储的文件只保存原图,所有的访问请求都必须加水印,同时不能访问原图;服务端做防盗链限制,nginx实现
降级策略,缓存默认处理结果
监控,包括容量,负载,错误日志 等
【结束语】
感谢你们的鼓励,我们是攻城狮,我们敬畏这个行业!
- 大小: 84.8 KB
分享到:
相关推荐
FastDFS+Nginx搭建图片服务器。FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建...
图片上传FastDFS服务器 图片上传FastDFS服务器 图片上传FastDFS服务器
包含FastDFS相关术语、同步机制、通信协议、目录结构、安装和运行和其他系统对比等内容。 FastDFS是一个轻量级的开源分布式文件...FastDFS特别适合大中型网站使用,用来存储资源文件(如:图片、文档、音频、视频等等)
由于搭建FastDFS单机版图片服务器比较麻烦,这里把搭建好的贡献给大家,大家可以直接下载使用。
fastDFS 5.10zip包
FastDFS文件服务器部署, FastDFS文件服务器部署 FastDFS文件服务器部署
亲测可用的淘淘商城图片服务器FastDFS需要的maven路径。具体使用方式请看:http://blog.csdn.net/yerenyuan_pku/article/details/72804018
基于springboot图片视频上传自动识别分服务器案例(图片上传到fastDFS自建图片服务器,视频上传到aliyunOSS)
arm架构 fastdfs镜像 可docker load -i解压后使用
FastDFS安装流程(单机) 安照文档顺序安装即可(nginx一小部分(待续)
Java连接FastDFS上传图片
fastDFS图片服务器搭建所需要的fastdfs_v5.05.tar nginx-1.8.1.tar libfastcommon-1.0.7.tar fastdfs-nginx-module_v1.19.rar 压缩包 和配置流程
10.能够掌握FastDFS图片压缩机制 11.能够理解FastDFS快速定位文件机制 后期课程: 1、es 2、RocketMQ 3、授权中心 (非对称加密(公钥私钥),JWT) 4、分布式事务 5、分布式锁(控制秒杀库存) 6、搜索 7、...
fastdfs分布式文件系统的安装包以及其中主要模块的配置文件,当中不包括安装手册以及使用方法,安装方法可以参考https://blog.csdn.net/xyang81/article/details/52928230 实现FastDFS分布式文件系统集群安装与配置
由于网站使用nfs共享方式保存用户上传的图片,附件等资料,然后通过apache下载的方式供用户访问,
FastDFS文件服务器
就是黑马32期里面用到的那个图片服务器,centos6.4版本系统,内涵使用服务器教程
Nginx+FastDFS搭建图片服务器.以及部署相关资料
ubuntu16.04搭建FASTDFS图片服务器,并配置nginx,内含安装所需所有安装包
fastdfs图片服务器文件服务器