基于MindSpore实现BERT对话情绪识别

本文分享自华为云社区《【昇思25天学习打卡营打卡指南-第二十四天】基于 mindspore 实现 bert 对话情绪识别》，作者：jeffding。

模型简介

bert全称是来自变换器的双向编码器表征量（bidirectional encoder representations from transformers），它是google于2018年末开发并发布的一种新型语言模型。与bert模型相似的预训练语言模型例如问答、命名实体识别、自然语言推理、文本分类等在许多自然语言处理任务中发挥着重要作用。模型是基于transformer中的encoder并加上双向的结构，因此一定要熟练掌握transformer的encoder的结构。

bert模型的主要创新点都在pre-train方法上，即用了masked language model和next sentence prediction两种方法分别捕捉词语和句子级别的representation。

在用masked language model方法训练bert的时候，随机把语料库中15%的单词做mask操作。对于这15%的单词做mask操作分为三种情况：80%的单词直接用[mask]替换、10%的单词直接替换成另一个新的单词、10%的单词保持不变。

因为涉及到question answering (qa) 和 natural language inference (nli)之类的任务，增加了next sentence prediction预训练任务，目的是让模型理解两个句子之间的联系。与masked language model任务相比，next sentence prediction更简单些，训练的输入是句子a和b，b有一半的几率是a的下一句，输入这两个句子，bert模型预测b是不是a的下一句。

bert预训练之后，会保存它的embedding table和12层transformer权重（bert-base）或24层transformer权重（bert-large）。使用预训练好的bert模型可以对下游任务进行fine-tuning，比如：文本分类、相似度判断、阅读理解等。

对话情绪识别（emotion detection，简称emotect），专注于识别智能对话场景中用户的情绪，针对智能对话场景中的用户文本，自动判断该文本的情绪类别并给出相应的置信度，情绪类型分为积极、消极、中性。 对话情绪识别适用于聊天、客服等多个场景，能够帮助企业更好地把握对话质量、改善产品的用户交互体验，也能分析客服服务质量、降低人工质检成本。

安装mindnlp

pip install mindnlp

下面以一个文本情感分类任务为例子来说明bert模型的整个应用过程。

import os

import mindspore
from mindspore.dataset import text, generatordataset, transforms
from mindspore import nn, context

from mindnlp._legacy.engine import trainer, evaluator
from mindnlp._legacy.engine.callbacks import checkpointcallback, bestmodelcallback
from mindnlp._legacy.metrics import accuracy

# prepare dataset
class sentimentdataset:
    """sentiment dataset"""

    def __init__(self, path):
        self.path = path
        self._labels, self._text_a = [], []
        self._load()

    def _load(self):
        with open(self.path, "r", encoding="utf-8") as f:
            dataset = f.read()
        lines = dataset.split("\n")
        for line in lines[1:-1]:
            label, text_a = line.split("\t")
            self._labels.append(int(label))
            self._text_a.append(text_a)

    def __getitem__(self, index):
        return self._labels[index], self._text_a[index]

    def __len__(self):
        return len(self._labels)

数据集

这里提供一份已标注的、经过分词预处理的机器人聊天数据集，来自于百度团队。数据由两列组成，以制表符（’\t’）分隔，第一列是情绪分类的类别（0表示消极；1表示中性；2表示积极），第二列是以空格分词的中文文本，如下示例，文件为 utf8 编码。

label–text_a

0–谁骂人了？我从来不骂人，我骂的都不是人，你是人吗 ？

1–我有事等会儿就回来和你聊

2–我见到你很高兴谢谢你帮我

这部分主要包括数据集读取，数据格式转换，数据 tokenize 处理和 pad 操作。

wget https://baidu-nlp.bj.bcebos.com/emotion_detection-dataset-1.0.0.tar.gz -o emotion_detection.tar.gz
tar xvf emotion_detection.tar.gz

数据加载和数据预处理

新建 process_dataset 函数用于数据加载和数据预处理，具体内容可见下面代码注释。

import numpy as np

def process_dataset(source, tokenizer, max_seq_len=64, batch_size=32, shuffle=true):
    is_ascend = mindspore.get_context('device_target') == 'ascend'

    column_names = ["label", "text_a"]
    
    dataset = generatordataset(source, column_names=column_names, shuffle=shuffle)
    # transforms
    type_cast_op = transforms.typecast(mindspore.int32)
    def tokenize_and_pad(text):
        if is_ascend:
            tokenized = tokenizer(text, padding='max_length', truncation=true, max_length=max_seq_len)
        else:
            tokenized = tokenizer(text)
        return tokenized['input_ids'], tokenized['attention_mask']
    # map dataset
    dataset = dataset.map(operations=tokenize_and_pad, input_columns="text_a", output_columns=['input_ids', 'attention_mask'])
    dataset = dataset.map(operations=[type_cast_op], input_columns="label", output_columns='labels')
    # batch dataset
    if is_ascend:
        dataset = dataset.batch(batch_size)
    else:
        dataset = dataset.padded_batch(batch_size, pad_info={'input_ids': (none, tokenizer.pad_token_id),
                                                         'attention_mask': (none, 0)})

    return dataset

昇腾npu环境下暂不支持动态shape，数据预处理部分采用静态shape处理：

from mindnlp.transformers import berttokenizer
tokenizer = berttokenizer.from_pretrained('bert-base-chinese')

tokenizer.pad_token_id

dataset_train = process_dataset(sentimentdataset("data/train.tsv"), tokenizer)
dataset_val = process_dataset(sentimentdataset("data/dev.tsv"), tokenizer)
dataset_test = process_dataset(sentimentdataset("data/test.tsv"), tokenizer, shuffle=false)

print(next(dataset_train.create_tuple_iterator()))

模型构建

通过 bertforsequenceclassification 构建用于情感分类的 bert 模型，加载预训练权重，设置情感三分类的超参数自动构建模型。后面对模型采用自动混合精度操作，提高训练的速度，然后实例化优化器，紧接着实例化评价指标，设置模型训练的权重保存策略，最后就是构建训练器，模型开始训练。

from mindnlp.transformers import bertforsequenceclassification, bertmodel
from mindnlp._legacy.amp import auto_mixed_precision

# set bert config and define parameters for training
model = bertforsequenceclassification.from_pretrained('bert-base-chinese', num_labels=3)
model = auto_mixed_precision(model, 'o1')

optimizer = nn.adam(model.trainable_params(), learning_rate=2e-5)

metric = accuracy()
# define callbacks to save checkpoints
ckpoint_cb = checkpointcallback(save_path='checkpoint', ckpt_name='bert_emotect', epochs=1, keep_checkpoint_max=2)
best_model_cb = bestmodelcallback(save_path='checkpoint', ckpt_name='bert_emotect_best', auto_load=true)

trainer = trainer(network=model, train_dataset=dataset_train,
                  eval_dataset=dataset_val, metrics=metric,
                  epochs=5, optimizer=optimizer, callbacks=[ckpoint_cb, best_model_cb])
# start training
trainer.run(tgt_columns="labels")

模型验证

将验证数据集加再进训练好的模型，对数据集进行验证，查看模型在验证数据上面的效果，此处的评价指标为准确率。

evaluator = evaluator(network=model, eval_dataset=dataset_test, metrics=metric)
evaluator.run(tgt_columns="labels")

模型推理

遍历推理数据集，将结果与标签进行统一展示。

dataset_infer = sentimentdataset("data/infer.tsv")

def predict(text, label=none):
    label_map = {0: "消极", 1: "中性", 2: "积极"}

    text_tokenized = tensor([tokenizer(text).input_ids])
    logits = model(text_tokenized)
    predict_label = logits[0].asnumpy().argmax()
    info = f"inputs: '{text}', predict: '{label_map[predict_label]}'"
    if label is not none:
        info += f" , label: '{label_map[label]}'"
    print(info)
    
from mindspore import tensor

for label, text in dataset_infer:
    predict(text, label)

自定义推理数据集

自己输入推理数据，展示模型的泛化能力。

predict("家人们咱就是说一整个无语住了 绝绝子叠buff")

点击关注，第一时间了解华为云新鲜技术~