1週間の気になる生成AI技術・研究をいくつかピックアップして解説する連載「生成AIウィークリー」から、特に興味深いAI技術や研究にスポットライトを当てる生成AIクローズアップ。
今回は、WordやPDFといった多様な文書をMarkdown（GitHub-Flavored Markdown）に高速変換するRust製ライブラリ「anydoc」を取り上げます。
AIに読ませやすい形へ整えることを目的に作られており、どの形式を入れても出力の体裁が揃うのが特徴です。FirecrawlがMITライセンスのオープンソースとして公開しました。
対応形式はWord（.doc/.docx/.docm）、PowerPoint、Excel、OpenDocument、リッチテキスト、EPUB、CSV、PDFです。PDF以外の各形式では、どの形式もいったん共通のドキュメントモデルに変換してから同じ処理でMarkdownを出力するため、2003年製の.docでも最新の.pptxでも、見出しや表、脚注の書き出され方が揃います。
▲デモの画面
拾えるのは見出しや太字、取り消し線、コードブロック、入れ子の箇条書き、セル結合を含む表、引用、脚注、発表者ノートなど。埋め込み画像は代替テキストとして本文に残しつつ、画像データ自体も取り出せます。
速度も売りのひとつで、機械学習モデルや外部サービスを一切使わないRust実装により、変換時間の中央値は1ドキュメントあたり5ミリ秒を切ります。
公開されているベンチマークでは、比較対象6ツール（LibreOffice、markitdown、pandoc、doclingなど）のうち唯一14形式すべてをカバーし、判定されたすべての形式で最高スコア、変換時間の中央値は4.4ミリ秒と、次に速いツールより一桁速い結果が報告されています。
利用形態は幅広く、Rustのライブラリに加えてNode.js、Python、WebAssembly（WASM）を介してブラウザ上でも動作します。
ただし、文字認識（OCR）の機能はないため、画像として取り込まれたスキャンPDFは扱えません。
