TensorFlow2.0基础

01-TensorFlow基础

Tensorflow是什么

Google的开源软件库

采取数据流图，用于数值计算

支持多种平台 – GPU、CPU、 移动设备

最初用于深度学习，变得越来越通用

Tensorflow数据结构 数据流图

线：节点之间的输入输出关系，线上运输张量. tensor：张量- 指代数据

节点：operation (op): 专门运算的操作节点，所有的操作都是一个op，处理数据

只要使用tensorflow的API定义的函数都是OP

节点被分配到各种计算设备上运行

graph: 图 整个的程序结构

本质上是一个分配的内存位置，默认有一个图，所有的tensor 和 op 的内存地址都是一样的。

不同的图内存地址不一样，计算的过程中互不干扰

session: 会话： 运算程序的图 （只能运行一张图，可以在会话中指定图去运行 graph = g）

运行图的结构

分配资源计算

掌握资源（变量、队列、线程）

Tensorflow的特性

高度的灵活性，便于调用函数，也可以写自己的封装

真正的可移植性，在不同的设备上都可以简单运行

产品和科研结合

自动求微分，主要用于反向传播计算

多语言支持，C++， Java , JS, R

性能最优化

Tensorflow的前后端系统

前端系统：定义程序的图的机构

后端系统： 运算图结构

Tensorflow版本变迁

Tensorflow1.0 主要特性

XLA: Accelerate Linear Algebra

提升训练速度58倍

可以在移动设备上运行

引用更高级别的API

tf.layers/ tf.metrics / tf.losses/ tf.keras

Tensorflow调试器

支持docker镜像，引入tensorflow serving 服务

Tensorflow 2.0 主要特性

使用tf.keras 和 eager mode 进行简单模型构建

鲁棒的跨平台模型部署

强大的研究实验

清除了不推荐使用和重复的API

Tensorflow2.0 简化模型开发流程

使用tf.data加载数据

使用tf.keras 构建模型，也可以使用premade estimator 验证模型

使用tensorflow hub进行迁移学习

注： 迁移学习 – 使用一个前人预先训练好的，应用在其他领域的网络作为模型训练的起点，站在前人基础上更进一步，不必重新发明轮子。

使用eager mode 进行运行和调试

使用分发策略进行分布式训练

导出到SavedModel

使用Tensorflow Serve, Tensorflow Lite, Tensorflow.js

Tensorflow 强大的跨平台能力

Tensorflow 服务

直接通过HTTP/ TEST 或 GTPC/协议缓冲区

Tensorflow Lite – Android, iOS 和嵌入式

Tensorflow.js – Javascript 部署

其他语言

Tensorflow vs. Pytorch

入门时间（易用性）

Tensorflow 1.*

静态图 ，构建完之后不可以更改, 效率高

额外概念， 会话，变量，占位符

写样本代码

Tensorflow 2.0

动态图， 构建完之后可以更改， 效率不高，调试容易

Eager mode 直接集成在python中

Pytorch

动态图

numpy扩展，集成在python

“””

不同方式求解 1 + 1/2 + 1/2^2 + 1/2^3 + …… + 1/2^50

“”” 1. tensorflow 1.*求解

import tensorflow as tf

print(tf.version

)

x = tf.Variable(0.)

y = tf.Variable(1.)

add_op = x.assign(x + y)

div_op = y.assign(y / 2)

with tf.Session() as sess:

sess.run(tf.global_variables_initializer())

for iteration in range(50):

sess.run(add_op)

sess.run(div_op)

print(x.eval()) 2. pytorch 求解

import torch

print(torch.version)

x = torch.Tensor([0.])

y = torch.Tensor([1.])

for iteration in range(50):

x = x + y

y = y / 2

print(x) 3. tensorflow 2.0 求解

import tensorflow as tf

print(tf.version

)

x = tf.constant(0.)

y = tf.constant(1.)

for iteration in range(50):

x = x + y

y = y / 2

print(x.numpy()) 4. 纯python求解

x = 0

y = 1

for iteration in range(50):

x = x + y

y = y / 2

print(x) # 精度有点不一样

图创建和调试

Tensorflow 1.*

静态图，难以调试， 需要使用tfdbg

Tensorflow 2.0 与 pytorch

动态图，python自带的调试工具

全面性

python缺少少量的功能，使用频次很低

沿维翻转张量 （np.flip, np.flipud, np.fliplr)

检查无穷与非数值张量（np.is_nan, np.is_inf)

快速傅里叶变换 （np.fft)

序列化和部署

Tensorflow 支持更加广泛，多语言，跨平台

pytorch 支持比较简单

醉后不知天在水，满船清梦压星河。