import MeCab
from wordcloud import WordCloud
import collections
import csv as c
from tqdm import tqdm
import seaborn as sns
import matplotlib.pyplot as plt
import re


def _mecab_wakati(text):
    # 形態素解析を行う(分かち書き)
    wakati_tagger = MeCab.Tagger("-Owakati")  # 分かち書き
    parse = wakati_tagger.parse(text)
    return parse


def _mecab(text):
    # 形態素解析を行い品詞リストを返す
    tagger = MeCab.Tagger()
    tagger.parse("")
    node = tagger.parseToNode(text)

    node_list = []
    while node:
        # 例: ['吾輩', '名詞', '代名詞', '一般', '*', '*', '*', '吾輩', 'ワガハイ', 'ワガハイ']
        node_list.append([node.surface]+node.feature.split(","))
        node = node.next
    node_list = node_list[1:-1]  # BOS/EOSタグを除外

    return node_list


# キーワード解析
def keyword_analy(text):
    key_out = []
    key_list = ["ように", "修正", "追加", "削除", "作成", "設定", "保存",
                "変更", "編集", "更新", "整理", "調整", "実装", "表示", "化"]
    for key in key_list:
        if key in text:
            key_out.append(key)
    return key_out


class WordCloudGenerator:
    """
    WordCloud
    """
    out_file_name = ""

    def __init__(self, font_path, background_color, width, height, collocations,
                 stopwords, max_words, regexp):
        """
        出力パラメータ初期化
        """
        self.font_path = font_path
        self.background_color = background_color
        self.width = width
        self.height = height
        self.collocations = collocations
        self.stopwords = stopwords
        self.max_words = max_words
        self.regexp = regexp

    def wordcloud_draw(self, parse):
        """
        wordcloud画像を出力
        @param
            parse 形態素解析結果
        """
        self.wordcloud = WordCloud(font_path=self.font_path, background_color=self.background_color, width=self.width, height=self.height,
                                   collocations=self.collocations, stopwords=self.stopwords, max_words=self.max_words, regexp=self.regexp, repeat=False)
        self.wordcloud.generate(parse)
        self.wordcloud.to_file(self.out_file_name)

    def frequency_count(self, wakati_text):
        """
        単語の頻出頻度算出
        @param 
            wakati_text str 分かち書きテキスト
        """
        words = wakati_text.split(" ")
        words = [word for word in words if word not in self.stopwords]
        word_freq = collections.Counter(words)
        return word_freq

    def frequency_count_jp(self, wakati_text):
        """
        日本語の単語頻出頻度算出
        @param 
            wakati_text str 分かち書きテキスト
        """
        words = wakati_text.split(" ")
        compile_words = re.compile('[!"#$%&\'\\\\()*+,-./:;<=>?@[\\]^_`{|}~「」〔〕“”〈〉『』【】＆＊・（）＄＃＠。、？！｀＋￥％]')
        compile_abc_123 = re.compile(r'[a-zA-Z0-9０-９]')
        words_jp = []
        for word in words:
            if not bool(compile_words.search(word)):
                if not bool(compile_abc_123.search(word)):
                    words_jp.append(word)
        word_freq = collections.Counter(words_jp)
        return word_freq


def _get_all_commit_message(repo):
    """
    すべてのcommit messageを取得する
    """
    all_commit_message = ""
    with open("log/eliminate_message.txt", "w", encoding="utf-8") as f:
        for commit in repo.iter_commits():
            # Mergeから始まるcommit messageは除外
            if not commit.message.startswith('Merge'):
                all_commit_message += commit.message

            try:
                f.write(commit.author)
            except TypeError:
                pass
            f.write(","+commit.message+"\n")
    return all_commit_message


def _get_commit_message_by_author(repo, author):
    """
    指定したauthorのcommit messageを取得する
    """
    commit_message = ""
    for commit in repo.iter_commits():
        if commit.author == author:
            # Mergeから始まるcommit messageは除外
            if not commit.message.startswith('Merge'):
                commit_message += commit.message
    return commit_message


def _wordcloud_all_messages(repo, wordCloudGenerator):
    """
        すべてのcommit messageでwordcloudを作成する
    """

    # 入力テキストファイル
    OUT_FILE_NAME = "pic/wordcloud_message.png"

    # 形態素解析
    text = _get_all_commit_message(repo)
    mecab_all = _mecab(text)  # 形態素解析

    # 名詞及び名詞連結を取得#
    """
    名詞連結は，現状うまく動かないので，一旦コメントアウト
    """
    # mecab_linking_noun = []
    # for m in range(len(mecab_all)-1):
    #     if mecab_all[m][1] == "名詞" and mecab_all[m+1][1] == "名詞":
    #         mecab_linking_noun.append(
    #             mecab_all[m][0]+mecab_all[m+1][0])
    #     elif mecab_all[m][1] == "名詞":
    #         mecab_linking_noun.append(mecab_all[m][0])
    #     else:
    #         pass

    mecab_only_noun = [m[0] for m in mecab_all if m[1] == "名詞"]  # 名詞のみ取得
    wakati = " ".join(mecab_only_noun)  # 分かち書き

    wordCloudGenerator.out_file_name = OUT_FILE_NAME  # 出力ファイル名
    wordCloudGenerator.wordcloud_draw(wakati)  # 出力

    print(f"{wordCloudGenerator.out_file_name}に画像を出力しました")

    print()


def _wordcloud_by_author(repo, wordCloudGenerator):
    """
        authorごとにwordcloudを作成する
    """

    # 入力テキストファイル
    OUT_FILE_NAME = "pic/wordcloud_message_author/{}.png"

    # すべてのauthorを取得 #この方法はちょっと時間がかかるかも．最適化の余地あり．
    authors = set()
    for commit in repo.iter_commits():
        authors.add(commit.author)

    # 各authorのcommit messageを取得
    authors_text = dict()
    for author in authors:
        # authorの名前は一緒だが，メアドが違う場合があるとき，同じauthorとみなしてmessageを結合する
        if author.name in authors_text:
            authors_text[author.name] += _get_commit_message_by_author(
                repo, author)
        else:
            authors_text[author.name] = _get_commit_message_by_author(
                repo, author)

    for author, text in authors_text.items():
        # 形態素解析
        mecab_all = _mecab(text)  # 形態素解析

        # リストが空の場合はスキップ
        if len(mecab_all) == 0:
            continue

        # 名詞及び名詞連結を取得#
        """
        名詞連結は，現状うまく動かないので，一旦コメントアウト
        """
        # mecab_linking_noun = []
        # for m in range(len(mecab_all)-1):
        #     if mecab_all[m][1] == "名詞" and mecab_all[m+1][1] == "名詞":
        #         mecab_linking_noun.append(
        #             mecab_all[m][0]+mecab_all[m+1][0])
        #     elif mecab_all[m][1] == "名詞":
        #         mecab_linking_noun.append(mecab_all[m][0])
        #     else:
        #         pass

        mecab_only_noun = [m[0] for m in mecab_all if m[1] == "名詞"]  # 名詞のみ取得
        wakati = " ".join(mecab_only_noun)  # 分かち書き

        wordCloudGenerator.out_file_name = OUT_FILE_NAME.format(author)  # 出力ファイル名

        wordCloudGenerator.wordcloud_draw(wakati)  # 出力

        print(f"{wordCloudGenerator.out_file_name}に画像を出力しました")

    print("すべてのcontributorのwordcloudを出力しました")
    print()


def run(repo):
    # message.csv
    f = open("./log/message.csv", "w+", encoding="utf_8_sig", newline='')
    csv = c.writer(f)
    # csvヘッダー追加
    csv.writerow([
        'commit_no',
        'message',
        'len',
        'key_flag',
        'keyword',
        'marp_flag'
        'morpheme'])

    sum_commits = repo.git.rev_list('--count', 'HEAD')  # コミットの総数
    commit_count = 0
    sum_message_len = 0  # メッセージの文字数合計
    key_match_count = 0  # キーワードの一致回数合計
    # commit message を取得
    with tqdm(total=int(sum_commits), desc='message.csv') as pbar:  # プログレスバーの設定
        for commit in repo.iter_commits():
            commit_no = int(sum_commits) - commit_count
            message_len = int(len(commit.message)) - 1
            sum_message_len += message_len
            keyword = keyword_analy(commit.message)
            key_flag = len(keyword)
            if key_flag == 0:
                keyword = "none"
            else:
                key_match_count += 1

            # message.csvに書き込み
            csv.writerow([
                commit_no,
                commit.message,
                message_len,
                key_flag,
                keyword,
                0,
                "none"])

            commit_count += 1

            pbar.update(1)  # プログレスバーの進捗率を更新

    """
        wordcloud生成処理
    """
    #### パラメータ ####
    STOP_WORDS = [" ", "　"]  # ストップワード
    MAX_WORDS = 2000  # 出力個数の上限
    WIDTH = 500  # 出力画像の幅
    HEIGHT = 500  # 出力画像の高さ
    FONT_FILE = "font/ipaexg.ttf"  # フォントファイルのパス

    wordCloudGenerator = WordCloudGenerator(font_path=FONT_FILE, background_color="white", width=WIDTH, height=HEIGHT, collocations=False,
                                            stopwords=STOP_WORDS, max_words=MAX_WORDS, regexp=r"[\w']+")  # WordCloud初期化

    _wordcloud_by_author(repo, wordCloudGenerator)  # authorごとにwordcloudを作成
    # _wordcloud_all_messages(repo, wordCloudGenerator)  # 全メッセージをwordcloudにして出力

    # 単語の頻出頻度
    wordCloudGenerator.out_file_name = "./pic/word_frequency.png"

    """マージ前の処理と同じはず"""
    mecab_all = _mecab(_get_all_commit_message(repo))  # 形態素解析
    mecab_only_noun = [m[0] for m in mecab_all if m[1] == "名詞"]  # 名詞のみ取得
    wakati = " ".join(mecab_only_noun)  # 分かち書き

    frequency_words = wordCloudGenerator.frequency_count_jp(wakati).most_common(30)
    sns.set(context="talk", font='Yu Gothic')
    fig = plt.subplots(figsize=(18, 8))
    sns.countplot(y=mecab_only_noun, order=[i[0] for i in frequency_words])
    plt.subplots_adjust(left=0.175, right=0.95, bottom=0.12, top=0.95)
    plt.savefig("pic/frequency_words.png")
    print("pic/frequency_words.pngに画像を出力しました")

    print("---メッセージ解析結果---")
    print("総メッセージ数：" + sum_commits)
    print("文字数の平均：{:.1f}".format(sum_message_len/int(sum_commits)))
    print("キーワード一致回数：" + str(key_match_count))
    print()

    f.close()


if __name__ == "__main__":
    OUT_FILE_NAME = "pic/wordcloud_message.png"

    TEXT = "吾輩は吾輩である．名前はスーパー吾輩である．Yes, I am wagahai."

    mecab_all = _mecab(TEXT)  # 形態素解析

    # 名詞及び名詞連結を取得#
    """
    名詞連結は，現状うまく動かないので，一旦コメントアウト
    """
    # mecab_linking_noun = []
    # for m in range(len(mecab_all)-1):
    #     if mecab_all[m][1] == "名詞" and mecab_all[m+1][1] == "名詞":
    #         mecab_linking_noun.append(
    #             mecab_all[m][0]+mecab_all[m+1][0])
    #     elif mecab_all[m][1] == "名詞":
    #         mecab_linking_noun.append(mecab_all[m][0])
    #     else:
    #         pass

    mecab_only_noun = [m[0] for m in mecab_all if m[1] == "名詞"]  # 名詞のみ取得

    #### パラメータ ####
    STOP_WORDS = ["　"]  # ストップワード
    MAX_WORDS = 2000  # 出力個数の上限
    WIDTH = 500  # 出力画像の幅
    HEIGHT = 500  # 出力画像の高さ
    FONT_FILE = "data/ipaexg.ttf"  # フォントファイルのパス

    wakati = " ".join(mecab_only_noun)  # 分かち書き

    wordCloudGenerator = WordCloudGenerator(font_path=FONT_FILE, background_color="white", width=WIDTH, height=HEIGHT, collocations=False,
                                            stopwords=STOP_WORDS, max_words=MAX_WORDS, regexp=r"[\w']+")  # WordCloud初期化
    wordCloudGenerator.out_file_name = OUT_FILE_NAME  # 出力ファイル名
    wordCloudGenerator.wordcloud_draw(wakati)  # 出力