本文主要介绍了TensorFlow官方推荐的数据输入格式：tf.data.Dataset，这种格式具有两大优点：1、提供了管道式的数据输入机制，便于进行并行处理；2、提供了数据预处理操作的函数（如batch、shuffle），便于编写数据预处理模块。

Estimator是Tensorflow提供的一种高阶API，在数据输入输出、模型构建、模型配置、模型保存等方面都进行了封装，隐藏了传统静态图的运行流程和底层细节，便于研究人员更专注于模型本身，本文即对Estimator的用法进行简要介绍。

language modelling 何为语言模型？语言模型本质任务是预测，即通过上文来预测下文，也可理解为生成模型（生成单词/句子等）；而生成的词向量只能说是语言模型的副产物，可以理解为语言模型所需要一些信息蕴含在了其中（最主要的是语义方面的信息），因此其也可以作为一维feature作为其他任务的输入；而比如在word2vec中词向量的某些特性：如相近词义单词在向量空间...

attention基本概念self-attentiontransformer是一种序列转换（sequence trunsduction）模型，不依赖任何循环/卷积神经网络结构，只使用注意力机制。 motivation of transformer 计算量减少（相比循环和卷积结构） 计算过程更好的可并行性（循环神经网络并行性很差） 更好地学习长距离的依赖（循环神经网路当序列...

训练好的模型参数保存起来，以便以后直接使用或进行进一步的训练，这是我们经常要做的事情，本文对TensorFlow模型保存和重新加载的方法进行了介绍。

os模块os 模块提供了非常丰富的方法用来处理文件和目录，具体介绍如下。 os.makedirs(path)：按照所给地址生成目录。os.pathos.path模块主要用于处理文件的目录信息，常用方法有如下几个： os.path.join(path, *paths)：将多个字符串合成一个目录，中间以目录分隔符隔开。使用这个函数保证在各个系统下目录元素都可以被正确地组合。...

本文介绍了python3常用的数据结构。

本文介绍了我遇到的一些TensorFlow的函数和类，记录了相关用法和自己的理解，一方面为了整理自己的思路，加深印象，另一方面也方便以后查阅。

本文介绍了TensorFlow的程序结构和编程相关的知识。

Shell Shell字面理解是“壳程序”（操作系统可以分为核心kernel和外壳Shell两部分），用于用户和系统内核间的交互。相当于是一个命令解析器，其接收用户命令，然后调用相应的内核指令，完成相应的功能。 Shell有很多种，如Bourne Shell(sh)、Bourne Again SHell(bash)、C SHell(csh)、Zshell(zsh)等，这些...