Bert+seq2seq 周公解夢，看AI如何解析你的夢境？

  • 2019 年 12 月 5 日
  • 筆記

作者：saiwaiyanyu 鏈接：https://juejin.im/post/5dd9e07b51882572f00c4523

介紹

在參與的項目和產品中，涉及到模型和演算法的需求，主要以自然語言處理（NLP）和知識圖譜（KG）為主。NLP涉及面太廣，而聚焦在具體場景下，想要生產落地的還需要花很多功夫。

作為NLP的主要方向，情感分析，文本多分類，實體識別等已經在項目中得到應用。例如

  • 通過實體識別，抽取文本中提及到的公司、個人以及金融產品等。
  • 通過情感分析，判別新聞資訊，對其提到的公司和個人是否利好？
  • 通過文本多分類，判斷資訊是否是高品質？判斷資訊的行業和主題？

具體詳情再找時間分享。而文本生成、序列到序列（Sequence to Sequence）在機器翻譯、問答系統、聊天機器人中有較廣的應用，在參與的項目中暫無涉及，本文主要通過tensorflow+bert+seq2seq實現一個簡單的問答模型，旨在對seq2seq的了解和熟悉。

數據

關於seq2seq的demo數據有很多，例如小黃雞聊天語料庫，影視語料庫，翻譯語料庫等等。由於最近總是做些奇怪的夢，便想著，做一個AI解夢的應用玩玩，just for fun。

通過採集從網上採集周公解夢數據，通過清洗，形成

  • dream:夢境；
  • decode:夢境解析結果。

這樣的序列對，總計33000+ 條記錄。數據集下載地址：後台回復「解夢」

{      "dream": "夢見商人或富翁",      "decode": "是個幸運的預兆，未來自己的事業很有機會成功，不過如果夢中的富翁是自己，則是一個凶兆。。"  }

模型準備

#下載 bert  $ git clone https://github.com/google-research/bert.git  #下載中文預訓練模型  $ wget -c https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip  $ unzip chinese_L-12_H-768_A-12.zip

bert 的input

self.input_ids = tf.placeholder(      dtype=tf.int32,      shape=[None, None],      name="input_ids"  )  self.input_mask = tf.placeholder(      dtype=tf.int32,      shape=[None, None],      name="input_mask"  )  self.segment_ids = tf.placeholder(      dtype=tf.int32,      shape=[None, None],      name="segment_ids"  )  self.dropout = tf.placeholder(      dtype=tf.float32,      shape=None,      name="dropout"  )

bert 的model

self.bert_config = modeling.BertConfig.from_json_file(bert_config)      model = modeling.BertModel(          config=self.bert_config,          is_training=self.is_training,          input_ids=self.input_ids,          input_mask=self.input_mask,          token_type_ids=self.segment_ids,          use_one_hot_embeddings=False      )

seq2seq 的encoder_embedding 替換

# 默認seq2seq model_inputs  # self.encoder_embedding = tf.Variable(tf.random_uniform([from_dict_size, embedded_size], -1, 1),name ="encoder_embedding")  # self.model_inputs = tf.nn.embedding_lookup(self.encoder_embedding, self.X),  #  替換成bert  self.embedded = model.get_sequence_output()  self.model_inputs = tf.nn.dropout(self.embedded, self.dropout)

seq2seq 的decoder_embedding 替換

# 默認seq2seq decoder_embedding  # self.decoder_embedding = tf.Variable(tf.random_uniform([to_dict_size, embedded_size], -1, 1),name="decoder_embedding")  #  替換成bert  self.decoder_embedding = model.get_embedding_table()  self.decoder_input = tf.nn.embedding_lookup(self.decoder_embedding, decoder_input),

數據預處理

for i in range(len(inputs)):      tokens = inputs[i]      inputs_ids = model.tokenizer.convert_tokens_to_ids(inputs[i])      segment_ids = [0] * len(inputs_ids)      input_mask = [1] * len(inputs_ids)      tag_ids = model.tokenizer.convert_tokens_to_ids(outputs[i])      data.append([tokens, tag_ids, inputs_ids, segment_ids, input_mask])      def pad_data(data):      c_data = copy.deepcopy(data)      max_x_length = max([len(i[0]) for i in c_data])      max_y_length = max([len(i[1]) for i in c_data])      # 這裡生成的序列的tag-id 和 input-id 長度要分開      # print("max_x_length : {} ,max_y_length : {}".format( max_x_length,max_y_length))      padded_data = []      for i in c_data:          tokens, tag_ids, inputs_ids, segment_ids, input_mask = i          tag_ids = tag_ids + (max_y_length - len(tag_ids)) * [0]          # 注意tag-ids 的長度補充，和預測的序列長度一致。          inputs_ids = inputs_ids + (max_x_length - len(inputs_ids)) * [0]          segment_ids = segment_ids + (max_x_length - len(segment_ids)) * [0]          input_mask = input_mask + (max_x_length - len(input_mask)) * [0]          assert len(inputs_ids) == len(segment_ids) == len(input_mask)          padded_data.append(              [tokens, tag_ids, inputs_ids, segment_ids, input_mask]          )      return padded_data

訓練

$ python3 model.py --task=train       --is_training=True       --epoch=100       --size_layer=256       --bert_config=chinese_L-12_H-768_A-12/bert_config.json       --vocab_file=chinese_L-12_H-768_A-12/vocab.txt       --num_layers=2       --learning_rate=0.001       --batch_size=16       --checkpoint_dir=result

預測

$ python3 model.py --task=predict           --is_training=False           --epoch=100           --size_layer=256           --bert_config=chinese_L-12_H-768_A-12/bert_config.json           --vocab_file=chinese_L-12_H-768_A-12/vocab.txt           --num_layers=2           --learning_rate=0.001           --batch_size=16           --checkpoint_dir=result

VirMach 便宜 VPS

QNews

QNews