3月23日上午10点,涂鸦智能技术总监--柯都敏带着“5个月完成涂鸦智能第一代技术架构,平稳支撑涂鸦智能一年从零到几十亿数据发展。”的业界佳话参加了第四场发布:
本次分享主要为众多开发者及技术爱好者、从业者介绍涂鸦智能云上架构设计和借助阿里云实现轻运维高可用性监控的实战经验,同时也介绍了网络安全、权限控制等特定场景下利用阿里云结合涂鸦自身优势效率的解决特定问题。
AM 9:36:
直播前半小时,柯总依旧在于阿里云技术负责人做最后的技术分享讨论及细节确认...
AM 10:00:
开始了...
涂鸦智能技术总监--柯都敏
AM 10:43:
柯总在线上与众多技术爱好者,开发者及同业伙伴精彩互动讨论中。
涂鸦智能云第二代
随着业务量的增加,数据库压力逐渐增大。涂鸦智能云第二代架构中,进行了拆分分层,相对于第一代架构,网关层几乎不存在改动,实现风险可控;
中间层进行模块化拆分,服务化治理方面采用阿里的Dubbo,同时也进行了一些对应的改进,使其更加适应用于网关层,通过配置中心动态配置生效。
同时使用Dubbo monitor对服务进行监控,同时自行开发了服务化治理的调用依赖等。
目前,涂鸦智能内部服务已经有十几种之多。数据库方面,通过涂鸦科技自行开发数据库中间件,实现路由、分库分表、主从备份等操作。通过对架构的优化,第二代架构对业务有了更好的支撑:
数据方面,目前可以处理日峰值30T数据上传;可以运行几十亿用户核心数据;支持实时日志搜索和分析报警以及支持离线和实时数据处理。
模块化方面,对业务服务模块化拆分,做到可独立发布部署;同时服务治理工具可分析服务调用情况按需扩容;通过性能和可用性监控,及时发现技术瓶颈,同时支持服务热发布。
网关方面,通过网关隔离内外数据;同时采用网关服务组装业务场景,使得模块颗粒更细化;除此之外,网关提供了多种安全机制支持多业务场景;网关可以进行平行扩展,并且没有性能瓶颈;网关作为统一的数据出入口,可以方便进行日志分析跟踪。
中间件方面,通过自主开发数据组件支持分库分表、主从读写等操作;同时对Mq等中间服务封装,便于架构选型;此外架构中尽量多的使用阿里云来减少维护成本。同时通过配置中心,满足了网关接口的实时更新的需求。
涂鸦智能云使用经验技巧
涂鸦智能基于阿里云的深度定制优化设计,在RAM权限,不同的客户端使用不同的Key,隐藏超级Key,采用RAM自定义权限细化到每个用户,通过对业务拆分减少了安全风险。
在云监控技巧,通过对ECS、RDS、OCS等常规监控,如何出现报警时,可以做到及时的修改。通过自定义监控服务的存活情况,由于自定义监控的信息量有限,后期又开发了自主监控,监控信息内加上日志分析出来的链接地址,如果有报警情况出现时,可用过该链接地址准确找到问题所在。通过SLB进行内部服务管理,首先SLB内网免费使用,十分灵活。前端Nodejs服务器调用后端API时,通过SLB搭建内网,避免内网服务器更换、下线时带来的不可用性。此外,还通过SLB管理ZooKeeper集群,无需对代码进行变更,避免了风险。OSS方面,通过OSS的图片服务降低了成本,还可以通过OSS管理内部的运维小工具,通过OSS的Python的Client自主化运维一些服务器。
插播 Q&A:
(阿里云)问:作为技术人员,可以分享下这几年的创业经验吗?
(柯总)答:创业这一段时间感触颇大,在公司时更专注于做自己的事情,对其他知识了解不多,比较安分。创业时,不仅要着重提高自己的技术,同时还需要关注团队的发展,将整个链路连接起来,成长很大。
(阿里云)问:一个完美的架构应该经历哪些发展过程的?
(柯总)答:个人认为没有最完美的架构,最适合业务的架构就是最好的,
目前涂鸦智能基于自身云架构技术优势的设计、工具开发、运维经验无论安全性还是监控效率都是业界领先且非常适合我们的客户的...
“涂鸦云”基于ECS安全组的权限控制
涂鸦云基于阿里云ECS安全组的权限控制。在ECS安全组没有上市前,采用的是在每台机器上部署防火墙方式,在不同的服务器上部署的防火墙规则也不同,当需要修改防火墙时,需要上机处理,十分繁琐,
通过ECS安全组,将相应的防火墙规则进行梳理,比如可以将所有的日志分析服务器添加到日志分析服务安全组内,十分灵活。另外安全组内可进行内网通信,阿里云自带的安全组和自定义的安全组之间也进行了打通。
涂鸦智能基于ECS API自行开发了一套工具:这套工具可以获取机器列表和信息(RAM权限),然后通过主机Tag管理给每台机器打上Tag,不同的开发人员只能接触与之对应的机器。通过Tag标记,可以使得主机按需管理,批量运维,同时还可以根据Tag类型做对应的可用性监控。
通过对所有数据的实时分析,利用Tag的标记来明确服务的类型,基于服务类型来调用分析结果。比如可以分析出网关在一定时间内的错误量,以及网络的响应时间等信息。如果错误量或响应时间超过一定的阀值,可以进行自动化报警,无需人工,开发人员通过报警提供的URL地址快速定位问题的所在。
在安全性远远超过以前的基础上,在主机管理、批量运维、可用性监控、定位问题方面效率大大提高...
同时也保证了涂鸦智能云在网络访问时间、稳定性、使用成本、技术支持上有了相较同业者更大的优势。
关于分享者:
柯都敏:涂鸦智能技术总监。近10年互联网从业经历,曾任职阿里巴巴(曾负责aliyun.com业务技术和架构,云os云服务架构,淘点点服务端等业务。团队成员多为阿里技术专家更有华为公有云业务负责人和知名互联网餐饮品牌创业者),2014年9月加入涂鸦科技,5个月完成涂鸦科技第一二代技术架构,平稳支撑涂鸦一年从零到几十亿数据快速发展
涂鸦智能:一家专业的智能硬件解决方案提供商,以云平台为核心、软硬件结合的方式提供智能生活服务,安全快速稳定地推进中国制造业转型升级,促进传统产业“互联网+”有效深入的融合,“中国制造”转型“中国智造”。基于涂鸦智能的一站式硬件智能化解决方案,厂商只需要专注于自己最擅长的领域,最大化提升硬件品质,让产品更具竞争力,给用户更好的体验。目前涂鸦科技旗下拥有涂鸦智能硬件平台和自有软硬件产品。2015年获得了NEA千万美元A轮投资。