WindowsのテキストをLinux形式に変換する

bash: ./script.sh: /bin/bash^M: bad interpreter: No such file or directory

warning: CRLF will be replaced by LF in file.txt.
The file will have its original line endings in your working directory

file content/post/my-post/index.md

# Windowsの改行形式:
index.md: UTF-8 Unicode text, with CRLF line terminators

# Linuxの改行形式:
index.md: UTF-8 Unicode text

# 混在した改行形式（問題あり）:
index.md: UTF-8 Unicode text, with CRLF, LF line terminators

cat -A filename.txt

grep -r $'\r' content/post/2025/11/

hexdump -C filename.txt | head -n 20

# Ubuntu/Debian
sudo apt install dos2unix

# Red Hat/CentOS/Fedora
sudo yum install dos2unix

# macOS (Homebrew)
brew install dos2unix

# Arch Linux
sudo pacman -S dos2unix

# 単一ファイルの変換（インプレース変更）
dos2unix filename.txt

# バックアップ付き変換（.bakファイルを作成）
dos2unix -b filename.txt

# 複数ファイルの変換
dos2unix file1.txt file2.txt file3.txt

# ワイルドカードを使用した変換
dos2unix *.txt
dos2unix content/post/2025/11/*/index.md

# ドライラン - 変更せずにプレビュー
dos2unix --dry-run filename.txt

# 修正日時を保持
dos2unix -k filename.txt

# 改行形式が異なる場合のみ変換
dos2unix -f filename.txt

# 再帰的な変換
find . -name "*.md" -exec dos2unix {} \;

# ディレクトリツリー内のすべてのMarkdownファイルを変換
find content/post -type f -name "*.md" -exec dos2unix {} \;

# 2025年の投稿のすべてのindex.mdファイルを変換
dos2unix content/post/2025/**/index.md

# 特定のディレクトリを除いたすべてのMarkdownファイルを変換
find content/post -name "*.md" ! -path "*/drafts/*" -exec dos2unix {} \;

# 単一ファイルの変換
sed -i 's/\r$//' filename.txt

# 複数ファイルの変換（ループ使用）
for file in content/post/2025/11/*/index.md; do 
    sed -i 's/\r$//' "$file"
done

# バックアップ付き変換
sed -i.bak 's/\r$//' filename.txt

# 再帰的な変換
find . -name "*.txt" -exec sed -i 's/\r$//' {} \;

# 基本的な変換（出力リダイレクトが必要）
tr -d '\r' < input.txt > output.txt

# パイプラインで処理
cat input.txt | tr -d '\r' | process_data.sh

# インプレース変更はできない - 一時ファイルを使用
tr -d '\r' < input.txt > temp.txt && mv temp.txt input.txt

awk '{sub(/\r$/,"")}1' input.txt > output.txt

# もう少し明確に:
awk 'BEGIN{RS="\r\n"} {print}' input.txt > output.txt

# Linux/macOS: コミット時にCRLFをLFに変換、LFは変更しない
git config --global core.autocrlf input

# Windows: チェックアウト時にLFをCRLFに変換、コミット時にCRLFをLFに変換
git config --global core.autocrlf true

# 自動変換を無効化（.gitattributesのみに依存）
git config --global core.autocrlf false

# すべてのファイルをGitインデックスから削除
git rm --cached -r .

# 正規化された改行形式でファイルを復元
git reset --hard

# 正規化されたファイルをコミット
git add .
git commit -m "Normalize line endings"

{
  "files.eol": "\n",
  "files.encoding": "utf8",
  "files.insertFinalNewline": true,
  "files.trimTrailingWhitespace": true
}

{
  "[markdown]": {
    "files.eol": "\n"
  }
}

set fileformat=unix
set fileformats=unix,dos

(setq-default buffer-file-coding-system 'utf-8-unix)

{
  "default_line_ending": "unix"
}

root = true

[*]
end_of_line = lf
charset = utf-8
insert_final_newline = true
trim_trailing_whitespace = true

[*.md]
trim_trailing_whitespace = false

[*.{sh,bash}]
end_of_line = lf

[*.bat]
end_of_line = crlf

#!/bin/bash
# CRLF改行形式を持つファイルを検出

FILES=$(git diff --cached --name-only --diff-filter=ACM)
CRLF_FILES=""

for FILE in $FILES; do
    if file "$FILE" | grep -q "CRLF"; then
        CRLF_FILES="$CRLF_FILES\n  $FILE"
    fi
done

if [ -n "$CRLF_FILES" ]; then
    echo "エラー: 次のファイルはWindowsの改行形式（CRLF）を持っています:"
    echo -e "$CRLF_FILES"
    echo ""
    echo "変換には: dos2unix <filename> を使用してください"
    echo "または、エディタをUnixの改行形式（LF）を使用するように設定してください"
    exit 1
fi

exit 0

chmod +x .git/hooks/pre-commit

name: Check Line Endings

on: [push, pull_request]

jobs:
  check-line-endings:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v3
      
      - name: Check for CRLF line endings
        run: |
          if git ls-files | xargs file | grep CRLF; then
            echo "Error: Files with CRLF line endings detected"
            exit 1
          fi          

#!/bin/bash
# プロジェクト内のすべてのテキストファイルをUnixの改行形式に変換

set -e

EXTENSIONS=("md" "txt" "sh" "py" "go" "js" "json" "yml" "yaml" "toml")

echo "Unix形式の改行形式に変換しています..."

for ext in "${EXTENSIONS[@]}"; do
    echo "*.$extファイルの処理中..."
    find . -name "*.$ext" ! -path "*/node_modules/*" ! -path "*/.git/*" \
        -exec dos2unix {} \; 2>/dev/null || true
done

echo "変換完了！"

# エンコーディングを確認
file -i script.sh

# BOMが存在する場合に削除
sed -i '1s/^\xEF\xBB\xBF//' script.sh

# shebang行を確認
head -n 1 script.sh | od -c

dos2unix -f filename.txt

# 最初にCRを削除し、その後正規化
sed -i 's/\r//g' filename.txt

git add -u
git status

# まだ表示される場合、Git設定を確認
git config core.autocrlf

# 一時的にautocrlfを無効化
git config core.autocrlf false
git add -u

# MarkdownファイルからBOMを削除
find content -name "*.md" -exec sed -i '1s/^\xEF\xBB\xBF//' {} \;

# YAMLフロントマターを確認
hugo --debug

dos2unix_portable() {
    sed -i.bak 's/\r$//' "$1" && rm "${1}.bak"
}

dos2unix_portable filename.txt

# すべてのMarkdownコンテンツファイルを変換
find content -name "*.md" -exec dos2unix {} \;

# 設定ファイルを変換
dos2unix config.toml config.yaml

# i18n翻訳ファイルを変換
find i18n -name "*.yaml" -exec dos2unix {} \;

# レイアウトテンプレートを変換
find layouts -name "*.html" -exec dos2unix {} \;

# フロントマターを含むファイルを確認
for file in content/post/**/index.md; do
    if head -n 1 "$file" | grep -q "^---$"; then
        file "$file"
    fi
done | grep CRLF

dos2unix deploy.sh build.sh
chmod +x deploy.sh build.sh

# dos2unix: ~2秒
time find . -name "*.md" -exec dos2unix {} \;

# sed: ~8秒
time find . -name "*.md" -exec sed -i 's/\r$//' {} \;

# 並列dos2unix: ~0.5秒
time find . -name "*.md" -print0 | xargs -0 -P 4 dos2unix

# xargsで並列実行
find . -name "*.md" -print0 | xargs -0 -P 8 dos2unix

# GNU Parallelで実行
find . -name "*.md" | parallel -j 8 dos2unix {}

# リポジトリをクローン
git clone <repository>
cd <repository>

# Gitを設定
git config core.autocrlf input  # Linux/macOS
git config core.autocrlf true   # Windows

# 設定を確認
git config --list | grep autocrlf
cat .gitattributes

## 改行形式の慣例

このプロジェクトでは、すべてのテキストファイルにUnixの改行形式（LF）を使用します。

**設定:**

- Linux/macOS: git config core.autocrlf input
- Windows: git config core.autocrlf true

**ファイルの変換:**
dos2unix filename.txt

`.gitattributes`でファイル固有の設定を確認してください。