这是在DT数据侠实验室直播间分享的一个内容。
PPT01
大家好,我是,我是一名智能产品架构师,有10年经验的技术和设计经验;毕业于上海交通大学,同济大学;服务过的企业有中兴通讯、招商银行、ARKIE智能设计等。我每天的工作就是在设计师和程序员的身份之间切换,设计思维和计算机思维之间切换。
我毕业的时候从事了很久的设计工作,设计师的经历跨越了甲方跟乙方的设计经历,涉及的领域包括景观设计、旅游景区规划、城市规划、室内设计、平面设计、互联网的用户体验设计。
早在2008年我就涉足参数化设计,当时主要是想用计算机来实现空间设计。
程序员的经验主要是前后端的开发、跨终端平台的开发、机器学习、深度学习之类的。
因为具备设计师及程序员的背景,我对设计+技术的跨领域会比较感兴趣,长期研究智能设计。
PPT02
大家觉得设计师、艺术家会不会被AI取代?
业界有非常多的人认为,AI没法做一些创造性的工作,然后,我采访了很多在玩技术的艺术创作者、设计师,得到的反馈是AI有创作艺术、设计的潜力。
我们看下PPT上的这6张图片,大家猜一猜哪张不是人类创作的?
是不是很难识别出来哪个是AI创作的?
PPT03
好,接下来,我们思考2个观点,主要从想象力及理解力这2个点出发。
观点1
机器不具有真正意义的「创造力」,因为机器没有想象力
有一个常见观点,认为「创造力」是人类的独有的东西,在爱德华·威尔逊的《创造的起源》一书中提出了创造源自一个冲动。
如果机器具备“冲动”,机器就具备想象力,那机器也会有创造力。
在“冲动”的角度,机器是不如人的,因为机器不会犯错,机器只会处理1+1=2的这种结果很明确的问题,即使是引入「概率」的AI,假如程序运行正常,它也不大会偏离正轨;
但人会,因为人的思维是发散性的,无法用数学公式描述的。
所以从这个“冲动”的角度来说,机器是不具备真正意义的「创造力」的。
ps:
此部分是跟 ML41 一起合作的内容。
PPT04
我们看另一个观点,既然机器没有“冲动”,那理解力呢?
我们觉得
「理解力」可以被假装
在约翰·希尔勒的《Minds, , and 》一书中介绍的著名的思想实验「 Room」(中文屋子)。这是一个关于 中国人、外国人、说明书的故事。
有这么一间封闭的房间,注意,这房间是封闭的,并且这个房间只有一个窗户。
房间里锁了一位对中文一窍不通的,母语是英语的老外。
房间里有一本用英文写的说明书,说明书解释了中文的句法和文法组合规则,以及一大堆中文符号。
这时候,房间外有位中国人不断地往房间内传递用中文写成的问题。房间里的老外按照说明书,将问题翻译成英文,然后对问题进行解答,再翻译回中文,写成答案,传递给房间外的中国人。
大家觉得房间外的中国人,能不能看懂答案?能不能发现房间里其实是一名外国人?
在上面的交流过程中,房间外的中国人所扮演的角色相当于程序员,房间里的外国人相当于计算机,而说明书相当于“代码”。
房间里的外国人是不可能理解中文的,必须借助说明书才能理解,同样的道理,计算机也不可能通过“代码”来获得理解力。但是,房间外的中国人误以为计算机具有理解力,能读懂“代码”。
ps:
此部分是跟 ML41 一起合作的内容。
PPT05
创造的前提是如何让机器理解艺术?
综合前面的2个观点,没有必要让机器具有哲学意义上的「创造力」,只需要“假装”具有创造能力就好了。
我们放宽对创造力的定义,将创造定义为:推陈出新。在技术角度,只要数据做得足够好,推陈出新的创造是可以做到的。
在这里分享另一个启发我们的事件,就是最近在上海办的AI体验展,通过简单有趣的互动,利用图片、绘画、语言、音乐等艺术体验为我们展示了人工智能与艺术之间的融合可能性。
综上,机器创造、机器艺术是可行的。
接下来,给大家介绍一些机器创作的方法。
PPT06
方法1 基于艺术规则
这里要举一个Adobe的人工智能平台的案例,它有一项能力是图像质量的评估,有10个维度的指标,从构图、色彩、图像内容、灯光、景深、三分法则等维度,分别给大家介绍下。
– 整体构图的平衡程度如何
Color – 颜色的和谐程度
– 图像是否包含有趣的内容
– 有趣的灯光,检测五彩缤纷的灯光效果,例如夜景,日落,有趣的灯光效果……
– 是否在照片中有重复的图案,构图……
-对称,基于构图和对象的对称性
Depth of Field – 景深
– 检测是否有主体物体
Rule of – 摄影三分法
Vivid Color -色彩鲜艳程度
经过以上指标的计算,计算最后的 – 总分
这是一套艺术规则,是基于大量艺术家、摄影师的经验总结而出的。
PPT07
我们来看一下adobe的AI其他功能,image 就是图像质量评估,前面已经介绍过了。
第二个能力就是body crop,把图像中的人体裁切出来
第三项是auto ,自动提取主要颜色的色板,并且提取图像中具有代表性的区域,返回的是矩形框
第4项是auto tag,给图片打标签,这个功能跟目前各大厂提供的图像内容识别是类似的
PPT08
我们来看下另一种方式,基于数据的方法。
基于数据本身,我们可以挖掘到平常无法直接得到的潜在规律。那么在艺术领域,涉及最多的媒介是图像,这里分享一个关于图像色彩风格的量化方法。
大家看一下ppt上的这一图片,上面的颜色是压缩过的,经过计算,这张图共有4个颜色,他们之间的比例及空间关系如图所示。
这里采用的方法是色彩量化,简单来说,就是压缩颜色,使颜色可以量化的一种方法。例如MCCQ、算法都是可用于色彩量化的算法。
PPT09
下面,我们拿一张图片作为示例,一步步讲解如何获取量化色彩。
STEP1
量化图片,压缩颜色
通过.js库来获取图片的色彩量化结果,这里示例获取的是3个色彩数据来压缩图片。获得结果,包括压缩色彩后的图片及色板。
PPT10
STEP2
获取色彩“图”数据
节点跟节点之间连线的称之为“图”。
计算邻接矩阵:
PPT11
STEP2.1
初始化邻接矩阵
详细的过程可以看如何量化一张图片的色彩关系?
PPT12
STEP2.2
遍历量化后的图片
PPT13
STEP2.3
更新邻接矩阵
上图的过程,我们用文字描述一下:
一次获取4个像素点,然后获取4个像素点在色板中的位置(编号),如果任意2个像素之间的颜色不相等,则这两个节点之间接近程度+1,对应更新邻接矩阵中对应的元素数值。
最后一步就是邻接矩阵归一化处理,通过归一化处理后,我们就得到这张图片的邻接矩阵啦,一张图片的色彩关系就被量化了。
PPT14
前面介绍了2种方法,下面给大家结合2个案例,继续分享基于数据的方法。
案例1 基于的人体关键点识别
摄影是我们日常生活中最接近艺术的一种行为,网络上存在大量的优美的人物摄影作品,我们如何让机器提炼出最佳的人物摄影姿势?这边可以使用深度学习的人体关键点识别,对海量的摄影图片进行数据提取,提取人物的姿态关键点,及与画面的构图关系,然后进行数据的聚类,相似度分析等等。
通过数据提取,数据挖掘、处理后,我们可以构建成知识图谱,有了知识图谱我们就可以创造各种关于摄影的应用。
应用:
人工智能摄影师
自动跟拍用户,然后从大量跟拍的摄影照片中,自动挑选出最佳的摄影作品。
PPT15
案例2 基于的颜色图谱构建
颜色,是我们生活中最常见的艺术元素之一,穿衣搭配需要考虑颜色,绘画需要考虑颜色的搭配,电影、电视剧的色彩风格与氛围塑造,非常多的颜色场景。那么,我们如何让机器理解色彩关系?
除了上文提到的色彩邻接矩阵外,我们可以通过计算颜色之间出现的频率,并转化为向量的方式,应用于色彩知识图谱的构建。
应用:
智能配色
用户通过上传设计图,机器自动改变颜色搭配,生成多种配色方案
以上为全文。