Markdown変換ツールの精度を調べてみた ～MarkItDown VS Docling～

from docling.document_converter import DocumentConverter

source = “変換するファイルのパス”

converter = DocumentConverter()

result = converter.convert(source)

print(result.document.export_to_markdown())  

from markitdown import MarkItDown  # MarkItDownモジュールからMarkItDownクラスをインポート

import os  # OS関連の操作を行うためのモジュールをインポート

input_folder = "100_PDF"  # 入力ファイルが格納されているフォルダの名前を指定

input_files = [os.path.join(input_folder, f) for f in os.listdir(input_folder) if f.endswith(".pdf")]

# 指定されたフォルダ内の.pdfファイルのパスをリストとして取得

for input_file in input_files:  # 各入力ファイルに対してループを実行

    markitdown = MarkItDown()

    result = markitdown.convert(input_file)  # 入力ファイルをMarkdown形式に変換

    base_name = os.path.splitext(input_file)[0]  # 入力ファイルの拡張子を除いたベース名を取得

    text_file = f"{base_name}.md"  # 出力するMarkdownファイルの名前を作成

    with open(text_file, "w", encoding="utf-8") as f:  # MarkdownファイルをUTF-8エンコーディングで書き込みモードで開く

        f.write(result.text_content)  # 変換結果のテキストコンテンツを書き込む

from docling.document_converter import DocumentConverter

import os

def convert_markdown(file_full_path):

    """ファイルをマークダウン文書に変換して中身を返す関数

    Args:

        file_full_path (str): 変換するファイルのフルパス

    Returns:

        str: マークダウン記法に変換されたファイルの内容

    """

    converter = DocumentConverter()

    # 内容を解析

    result = converter.convert(file_full_path)

    # Markdownに変換

    return result.document.export_to_markdown()

def convert_markdown_mdfile(file_full_path, filename = "document"):

    """ファイルをマークダウン文書に変換して中身をmdファイルにして返す関数

    Args:

        file_full_path (str): 変換するファイルのフルパス

        filename (str, optional): ファイルのファイル名。 Defaults to " document".

    """

    # マークダウン記法のファイルの内容を取得

    markdown_output = convert_markdown(file_full_path)

    # 呼び出し元のディレクトリを取得

    caller_directory = os.getcwd()

    # 出力するファイル名を作成

    markdown_file_name = "output_" + filename + ".md"

    # 出力ファイルのフルパスを作成

    file_path = os.path.join(caller_directory, markdown_file_name)

    # Markdownをファイルに保存

    with open(file_path, "w", encoding="utf-8") as md_file:

        md_file.write(markdown_output)

import docling_analysis

import os

import sys

import glob

# 第1引数のディレクトリ内のpptxファイルを全て取得

pptx_files = glob.glob(os.path.join(sys.argv[1], '*.pptx'))

# pptxファイルのリストに対して

for pptx_file in pptx_files:

    pptx_file_full_path = os.path.abspath(pptx_file)  # pptxファイルの絶対パスを取得

    pptx_file_name = os.path.basename(pptx_file)  # pptxファイルのファイル名を取得

    # pptxファイルをマークダウン形式に変換して保存

# pptx_file_name.replace('.pptx', ""): pptxファイルの拡張子を除いたファイル名

    docling_analysis.convert_markdown_mdfile(pptx_file_full_path, pptx_file_name.replace('.pptx', ""))

生成 AI 活用の取り組みと今後の方針について

株式会社クレスコ(本社：東京都港区、代表取締役 社長執行役員：冨永 宏、以下当社)は、2022 年の生

成 AI 登場後直ちに、その利活用によるサービス品質と生産性向上に向け取り組みを開始しました。開始

後 2 年の取り組み事例や進捗状況、今後の方針につき、お知らせいたします。

■取り組みの経緯（生成 AI ビジネス変革研究室設立）

クレスコは、ChatGPT が注目を浴びた 2022 年から生成 AI 活用に向けた取り組みを開始し、2023 年 5

月には社員向けに生成 AI チャットサービス「CrePT」を構築、社内で運用を開始しました。開発業務に

おけるコーディングやテスト支援などの他、管理業務でも各種照会への自動回答、提案書の作成や市場

調査等で使用開始、使用率は着実に上昇しております。

2024 年 7 月には、社長直轄の部門横断組織である『生成 AI ビジネス変革研究室』を設立し、取り組み

を強化しています。この研究室は、複数の部門や社内公募メンバーが関わり、中期経営計画 2026 で掲げ

るクレスコの成長戦略「技術・デジタルソリューションの拡張」と「デジタル変革実現」を推進する 2

つのチームで構成されています。また、当社と関わりの深い北海道大学の川村教授にアドバイザーとし

てご支援をいただいています。

同研究室では、2024 年度に「顧客への新たな価値創出」「生成 AI を利用した社内デジタル変革」「生成

AI 時代に向けた人財育成」の三つの観点で取り組みを進めて参りました。

## 生成 AI 活用の取り組みと今後の方針について

株式会社クレスコ ( 本社：東京都港区、代表取締役 社長執行役員：冨永 宏、以下当社 ) は、 2022 年の生 成 AI 登場後直ちに、その利活用によるサ-ビス品質と生産性向上に向け取り組みを開始しました。開始 後 2 年の取り組み事例や進捗状況、今後の方針につき、お知らせいたします。

## ■取り組みの経緯（生成 AI ビジネス変革研究室設立）

クレスコは、 ChatGPT が注目を浴びた 2022 年から生成 AI 活用に向けた取り組みを開始し、 2023 年 5 月には社員向けに生成 AI チャットサ-ビス「 CrePT 」を構築、社内で運用を開始しました。開発業務に おけるコ-ディングやテスト支援などの他、管理業務でも各種照会への自動回答、提案書の作成や市場 調査等で使用開始、使用率は着実に上昇しております。

2024 年 7 月には、社長直轄の部門横断組織である『生成 AI ビジネス変革研究室』を設立し、取り組み を強化しています。この研究室は、複数の部門や社内公募メンバ-が関わり、中期経営計画 2026 で掲げ るクレスコの成長戦略「技術·デジタルソリュ-ションの拡張」と「デジタル変革実現」を推進する 2 つのチ-ムで構成されています。また、当社と関わりの深い北海道大学の川村教授にアドバイザ-とし てご支援をいただいています。

同研究室では、 2024 年度に「顧客への新たな価値創出」 「生成 AI を利用した社内デジタル変革」 「生成 AI 時代に向けた人財育成」の三つの観点で取り組みを進めて参りました。

# ■概要

レポートの書き方

【MarkItDown VS docling】

✔文章は読みやすく書けているか？

　最後にもう一度文章をチェック✔する

必見

| 節 | ファイルの形式 | 備考 |

| --- | --- | --- |

| 4-1 | Pdf | 外部公開ファイルを使用 |

| 4-2 | PowerPoint | このスライドを変換 |

| 4-3 | Excel | MarkItDownは手動の整形についても説明 |

| 4-4 | Word | 表についても説明 |

レポート4章

# ■概要

レポートの書き方

【MarkItDown VS Docling】

✔文章は読みやすく書けているか？

最後にもう一度文章をチェック✔する

必見

| 節   | ファイルの形式   | 備考                                 |

|------|------------------|--------------------------------------|

| 4-1  | Pdf              | 外部公開ファイルを使用               |

| 4-2  | PowerPoint       | このスライドを変換                   |

| 4-3  | Excel            | MarkItDownは手動の整形についても説明 |

| 4-4  | Word             | 表についても説明                     |

レポート4章

## テスト用シート

| テスト用Excelファイル | Unnamed: 1 | Unnamed: 2 |

| --- | --- | --- |

| NaN | NaN | NaN |

| 1. テスト方法 | NaN | NaN |

| NaN | (1) 両者を比較する | NaN |

| NaN | NaN | MarkItDownとdoclingで同じファイルを変換 |

| NaN | NaN | ※入力するシートは、画像に保存する |

| NaN | NaN | ※入力結果を記事に貼り付ける |

| NaN | NaN | NaN |

| NaN | (2)Tech Blogを書く | NaN |

## テスト用シート

 テスト用Excelファイル  Unnamed: 1  Unnamed: 2

 ---  ---  ---

 1. テスト方法

 (1) 両者を比較する

 MarkItDownとdoclingで同じファイルを変換

 ※入力するシートは、画像に保存する

 ※入力結果を記事に貼り付ける

 (2)Tech Blogを書く

**目次**

1. はじめに

2. MarkItDown とDocling

3. プログラム例

4. 変換してみた結果

5.　さいごに

**1.はじめに**

近年、PDFやWordなどの文書ファイルが、大規模言語モデル（LLM）の学習データやRAG（検索拡張生成）の外部情報として利用されることが増えています。この読み込ませる文書の内容のデータを人間が理解しやすい形式に整えることが重要です。文書の形式を整えることで、生成AIの情報読み取り能力が向上し、回答の精度が高くなります。

しかし、データをそのまま箇条書きにしたり、表の中の情報を羅列したりすると、AIにとっては理解しにくい情報となり、期待する成果が得られないこともあります。そこで、文書をより読み取りやすくし、AIが理解しやすい形式に変換する方法として、MarkDown形式への変換が挙げられます。Markdown形式では、見出しや表、箇条書きなどが視覚的に整理され、情報の構造が明確になります。

今回は文書をMarkdown形式に変換する2つの技術、MarkItDownとDoclingの比較調査を行いました。これらの技術を使うことで、文書がどの程度きれいに整形され、生成AIにとって読み取りやすい状態になるのか、その精度を明らかにしたいと思います。

目次

- はじめに

- MarkItDown とDocling

- プログラム例

- 変換してみた結果

5.　さいごに

1.はじめに

近年、PDFやWordなどの文書ファイルが、大規模言語モデル（LLM）の学習データやRAG（検索拡張生成）の外部情報として利用されることが増えています。この読み込ませる文書の内容のデータを人間が理解しやすい形式に整えることが重要です。文書の形式を整えることで、生成AIの情報読み取り能力が向上し、回答の精度が高くなります。

しかし、データをそのまま箇条書きにしたり、表の中の情報を羅列したりすると、AIにとっては理解しにくい情報となり、期待する成果が得られないこともあります。そこで、文書をより読み取りやすくし、AIが理解しやすい形式に変換する方法として、MarkDown形式への変換が挙げられます。Markdown形式では、見出しや表、箇条書きなどが視覚的に整理され、情報の構造が明確になります。

今回は文書をMarkdown形式に変換する2つの技術、MarkItDownとDoclingの比較調査を行いました。これらの技術を使うことで、文書がどの程度きれいに整形され、生成AIにとって読み取りやすい状態になるのか、その精度を明らかにしたいと思います。