张子阳的博客

首页 读书 技术 店铺 关于
张子阳的博客 首页 读书 技术 店铺 关于

最新内容

写给大家的西方美术史

因为比较喜欢摄影,时间久了发现摄影也看了不少,相片也拍了不少,各个焦段的镜头也配齐了,然而摄影技术却并没有高到哪里去。就好像代码写久了发现水平瓶颈了,然后重新看基础的算法、操作系统一样。摄影源于美术,那么多看一些美术作品应该可以稍微提升一下美学功底,从而有助于拍出更好的相片,出于这样的想法便买了这本书。

之前也看过一本《小顾聊绘画》,相对那本书的诙谐幽默,这本书更加平实朴素一点。除此以外,书名中的“美术史”相较于“绘画”范畴也更广一些。因为,绘画仅是美术的一个大的分类,而美术还包括了壁画、雕塑、建筑以及几乎所有的外形设计。书名中的“西方”,主要是指西欧地中海沿岸地区,因此并未涉及东方及其他地区的作品。

发表: 2019-01-30 阅读: (49) 推荐: 难度:

技巧:快速求并集交集和差集

在做一个文件同步工具的时候,有这样一个需求:假设有source和target两个文件夹,确保两个文件夹中的文件一致。即当source中添加了新文件时,自动拷贝到target; 当source文件夹删除某个文件时,target中的文件也要删除。(实际上文件改动也要进行同步,但和这个例子没有关系)。这样就需要求两个集合的差集,这篇文章演示如何快速实现这一过程。

发表: 2019-01-30 阅读: (59) 分类: 数据结构和算法

Hadoop 使用SecondaryNameNode进行故障恢复

SecondaryNameNode的作用不是做高可用,它是NameNode的一个辅助进程,用来合并fsimage和edits日志文件。但是,因为它保存了NameNode上元数据的副本(fsimage和edits),所以当NameNode出现故障时,可以使用它来做临时的NameNode,从而实现NameNode的故障恢复。这篇文章将记录如何实现这一过程。

发表: 2019-01-29 阅读: (27) 分类: 大数据处理

MSSQL ChangeTracking的不一致问题

在使用Change Tracking进行同步的过程中,当对数据量比较大的表进行同步时,发现了隐藏的BUG:重复插入(或者更新丢失)。这篇文章记录下这个问题的产生原因以及解决的方案。假设我们将从主库同步数据到从库,5分钟同步一次,初始版本号都是1,从库由主库还原而来。

发表: 2019-01-25 阅读: (17) 分类: 数据库与数据访问

MSSQL 使用Change Tracking(更改跟踪)同步数据

很多时候,系统的瓶颈都在数据库的读写方面。一般解决方案都是分库、分表,但是分库分表也有自己的问题:1、连接查询(Join操作)效率降低;2、往往需要修改代码。此时,另一个常用的方法就是读写分离,主库进行增删改,从库只进行读。这样就涉及到主从数据库同步的问题。不同的数据库有不同的解决方案,对于MS SQL Server有日志传送、Always On等方案。

但是,上面的方案都是在同质的数据存储之间进行同步,简单来说,从MSSQL同步到另一台MSSQL。如果从MSSQL同步到MySql数据库,或者从MSSQL同步到消息队列或者缓存,则需要采用其他方法。不同的数据库提供了不同的解决方案,MSSQL提供了两个方案,Change TrackingChange Data Capture。我在Kafka Connect 实时读取MSSQL数据到Kafka 中也做了简单的介绍。这篇文章将更详细介绍如何使用Change Tracking来实现数据同步。

发表: 2019-01-23 阅读: (23) 分类: 数据库与数据访问

.Net Core 在Windows上后台运行Console控制台程序

有时候,我们需要在后台运行程序。通常,在Linux上,可以做成系统服务,使用systemctl命令来管理程序的启动和运行;也可以使用 nohup [应用程序] & 来后台运行。在Windows上,想要后台执行程序,通常只能做成Windows服务。有时候,做成Windows服务比较麻烦,而当使用.Net Core时,则需要将程序托管在服务中。但是,可以使用一个间接的方法,让.Net Core控制台程序后台运行。

发表: 2019-01-18 阅读: (63) 分类: .Net Core

十字军的故事:上

很早前看过一部电影,叫做《天国王朝》,讲的就是十字军东征的故事。当时觉得蛮震撼的,一方面震撼的是十字军大军出场时的宏大场面,至今还记得那句“耶城主军已到”,以及充满魄力的 “Withdraw,or we all die here”的台词。另一方面,也震撼于战争的残酷和十字军的暴虐,在东征时期残杀了那么多穆斯林。有时候也在想,当下穆斯林世界和西方社会的矛盾和冲突,是否和源于中世纪的十字军东征是否有所联系呢。现在西欧的穆斯林移民的大量涌入,以及欧洲西方人生育率低,而穆斯林普遍生好几个,甚至又有“西方和穆斯林必有一战”的言论出现。

发表: 2018-12-31 阅读: (98) 推荐: 难度:

Consul 注册服务和健康检查(http检查) - Part.5

在前面两篇文章中,我们对控制台类型的程序进行了服务注册,并以script脚本的方式进行了健康检查。这篇文章将介绍如何对Web类型的服务进行服务注册,并进行健康检查。

本文依然是采用配置文件的方式进行服务注册,以Http API进行注册的方式会在以后的文章中说明。

发表: 2018-12-27 阅读: (65) 分类: 分布式系统

Consul 健康检查(检查节点) - Part.4

在上一节 Consul 注册服务和健康检查(script检查) - Part.3 定义的两个健康检查中,chk_service1和chk_service2分别和服务datacollect.server1和datacollect.server2关联起来了。健康检查也可以不关联任何服务独立运行。例如,我们可以写一个健康检查的脚本,检查节点的内存,当内存占用低于70%时返回 通过,介于70%~90%之间时返回 警告,高于90%时返回失败。

发表: 2018-12-27 阅读: (38) 分类: 分布式系统

Consul 注册服务和健康检查(script检查) - Part.3

Consul提供的一个主要功能就是提供一个可用服务的列表,进行服务注册和发现。这在服务做负载均衡时非常有用,因为前端应用不再直接访问服务(可能访问到不可用的节点,例如节点宕机或者服务应用异常退出),而是先请求consul获取可用的服务列表,然后再访问服务。Consul则负责维护这个服务列表,并对列表中的服务进行健康检查。

发表: 2018-12-26 阅读: (43) 分类: 分布式系统

Consul 运行和查看Client - Part.2

Consul 安装和配置Server.html中,配置了3节点的server集群。接下来,这篇文章将部署一台Client,并查看它的运行状态。

发表: 2018-12-26 阅读: (53) 分类: 分布式系统

Consul 安装和配置Server - Part.1

在实践微服务的过程中,通常使用Consul来进行服务发现和健康检查。这篇文章简单介绍在Linux(CentOS 7)下安装和配置一个3节点的Consul集群。

发表: 2018-12-25 阅读: (98) 分类: 分布式系统

Go Tips: 定时更新日志的输出位置

Go语言自带的log package非常简单和易用,只要在启动程序的时候调用log.SetOutput配置日志文件的路径,然后通过调用log.Printf()、log.Panic() 等方法就可以将日志输出到文件了。然而,对于一些服务程序而言,当操作系统启动时就开始运行,那么所有日志都会输出到启动时配置的那个文件当中。实际应用中,为了查看方便,我们经常需要按时间来生成日志,比如每天生成一个日志。那么可以通过单独运行一个goroutine,定时检查日志的最后创建时间来重新调用log.SetOutput方法,从而设置新的日志输出路径。

发表: 2018-12-22 阅读: (23) 分类: Go 语言

Go Tips: 控制台输出进度条

有时候经常会有一些很小的需求,做一些工具应用,比如抓取网页、下载更新数据包等。对于耗时比较久的任务而言,最好是有一个进度显示,可以实时显示进度。下面的代码实现了这一功能,其主要的思想是通过“\r”符号,将光标挪至行首,然后进行输出,此时的输出就覆盖了之前的输出,从而实现实时动画的效果。

这个范例仅仅是一个demo,它还有严重的不足:它是单线程,并只刷新了一行的数据。而诸如下载或者抓取网页,通常都是多线程运行,那么就需要同时更新多行的进度条。此时,就不仅需要将光标挪至行首,还要挪到上一行或者前几行。这种操作的实现思想和这里是类似的,但是使用的特殊符号不同,不再是“\r”。具体可以参考这里:https://en.wikipedia.org/wiki/ANSI_escape_code

除了控制光标位置以外,还可以控制输出的颜色。但大多数时候,因为时间紧张的关系,在控制台的输出上都非常简单,当需要复杂的输出,就直接写log日志了。

发表: 2018-12-22 阅读: (41) 分类: Go 语言

算法图解

算法是编程的基础,每隔一段时间就应当重温一下。算法的书大多比较艰涩,可能花很久还在看前两章,然后因为什么事情就中断了(往往是被其他更有趣的书所吸引),最后就烂尾了,再次拿起已经不知道是什么时候了。这本书则简单的多,如同书名所述,这本书包含了大量图片,使得理解更加方便。

发表: 2018-12-22 阅读: (125) 推荐: 难度:

架构整洁之道

又到了每年的双11,于是到京东看看有什么可买的书,就注意到了这本《架构整洁之道》。Bob大叔之前的几本书《代码整洁之道》和《敏捷软件开发》之前也都读过。这本是今年9月才出的新书,就立即买来读了。

全书近300页,分成了34篇文章,每一篇都比较短小,内容还是比较精炼的。通读过后,感觉相较于作者之前的书,没有太多新的内容,依然是以SOLID为基础,先对这些原则进行解释,再进行扩展和应用。

发表: 2018-11-30 阅读: (174) 推荐: 难度:

经济学原理:微观经济学

这本书在很久很久以前,大概是2008年,就读过一遍,那时候还是第4版。然后最近看另一本书《低欲望社会》,起初以为是一本关于社会学的书,看过之后才发现是一本经济学的书,很大篇幅都是对日本政策所造成的影响的解读。然而,我发现其中很多概念已经有些模糊,一些论证也一知半解了。所以我想有必要重新学习一下经济学基础,于是就又想起了这本《经济学原理》。因为新版已经出到了第7版,所以重新购买了第7版阅读。

发表: 2018-11-30 阅读: (159) 推荐: 难度:

Go中的Receiver和Method Sets

Go中没有class关键字,如果想将一组方法关联起来,除了将其放到同一个package下面以外,还有一种方式就是为方法指定receiver(receiver为某个类型),此时方法就与receiver类型关联起来了,有点类似于面向对象中类型方法的概念(但又很不同)。这篇文章介绍了指定receiver的两种方式以及相关的method sets概念。

发表: 2018-11-27 阅读: (35) 分类: Go 语言

Go反射指定执行方法的对象

在上一篇 Go反射动态创建对象 中,我们在末尾又提出了三个问题,其中最后一个是执行方法的对象,我们希望能够自行指定方法是在哪个对象上执行的。这篇文章将演示如何实现这一过程。因为这已经是同一个主题的第3篇文章了,因此我们快速地过一遍代码。

发表: 2018-11-22 阅读: (38) 分类: Go 语言

Go反射动态创建对象

在上一篇 Go使用反射动态调用方法 中,我们实现了动态调用方法,但是它存在着3个问题:缺乏参数校验、方法参型为静态构建和传递、多个参数类型需要保持一致。在这篇文章中,将会对这三个问题进行处理。

发表: 2018-11-22 阅读: (148) 分类: Go 语言