PHPで日本語が文字化けした原因を調べる
COLUMNSの記事本文で日本語が崩れた原因を、処理の流れを一つずつ確認しながら追いかけます。
🎯 目的
MarkdownをHTMLへ変換する仕組みを作ったところ、 日本語を含む記事本文の表示が崩れる問題が起きました。
今回は、いきなりコードを書き換えるのではなく、 「どこまでは正常なのか」を順番に確認して原因を絞り込みます。
最終的に原因となった処理を特定し、
正規表現でUTF-8を扱うための
/uを追加して修正します。
今回やること
- 日本語がどこで壊れているのか確認する
- MariaDBから取得した時点を確認する
- htmlspecialchars()の処理を確認する
- preg_split()の処理を確認する
- 正規表現に/uを追加する
- 原因の切り分け方を整理する
↓
PDOで取得
↓
htmlspecialchars()
↓
preg_split()
↓
Markdown変換
↓
ブラウザ
STEP 1|「文字化けした」で終わらせない
ブラウザでCOLUMNSの記事を確認すると、 日本語の本文が正常に表示されませんでした。
こういうときは、 最初から「データベースがおかしい」と決めつけるのではなく、 データが通る順番に確認していきます。
MariaDB
↓
PDO
↓
htmlspecialchars()
↓
preg_split()
↓
Markdown変換
↓
ブラウザ
デバッグ(debug)は、 プログラムの不具合の原因を調べて修正する作業です。
今回のポイントは、 「文字化けしている」という結果だけを見るのではなく、 処理の途中を一つずつ確認することです。
→ 正常な場所と壊れている場所の境目を探します。
STEP 2|MariaDBとPDOを疑う
記事本文はMariaDBの
articlesテーブルに保存されています。
まず考えられるのは、 保存した時点ですでに日本語が壊れている可能性です。
次に、PHPがPDOを使ってデータを取得したときに 壊れている可能性も考えます。
$article['body']
MariaDBに保存されている本文は正常か。
↓
PDOで取得した本文は正常か。
ここまで正常なら、 原因はデータベースより後ろにある可能性が高くなります。
PDO = PHP Data Objects。
PHPからデータベースへ接続して、 SQLを実行したり結果を受け取ったりするための仕組みです。
→ 今回はMariaDBから記事本文を受け取る場所です。
STEP 3|htmlspecialchars()を確認する
Markdown変換では、
最初に本文を
htmlspecialchars()へ通しています。
$safe = htmlspecialchars(
$markdown,
ENT_QUOTES,
'UTF-8'
);
そこで、 「ここで日本語が壊れているのでは?」 という可能性も確認しました。
HTMLとして特別な意味を持つ文字を、 安全に表示できる形へ変換します。
しかも今回のコードでは、 文字コードとして
'UTF-8'を明示しています。確認した結果、 ここまでは日本語を正常に扱えていました。
→ つまり、さらに後ろの処理を調べます。
STEP 4|preg_split()まで追いかける
次に確認したのが、 Markdown本文を行ごとに分割する処理です。
当初は次のような形で処理していました。
$lines = preg_split('/\R/', $safe);
preg_split() =
正規表現を使って文字列を分割するPHPの関数です。\R =
改行を表す正規表現です。→ 本文を改行の位置で分けて、 1行ずつMarkdownとして処理するために使っています。
処理をここまで追いかけたところ、
preg_split()を通したあとで
日本語の扱いに問題が起きていることが分かりました。
MariaDB → 正常
PDO → 正常
htmlspecialchars() → 正常
preg_split() → 問題が起きる
→ 「文字化け」という大きな問題が、 1行の処理まで絞り込めました。
STEP 5|正規表現に/uを追加する
修正したコードがこちらです。
$lines = preg_split('/\R/u', $safe);
/\R/→ 改行を探す正規表現です。
u→ 正規表現の入力文字列をUTF-8として扱うための指定です。
→ 日本語を含む文字列を扱う今回の処理では、 UTF-8として正しく扱う指定が必要でした。
修正前:
preg_split('/\R/', $safe);
修正後:
preg_split('/\R/u', $safe);
コード上の変更は、 正規表現の最後に
uを追加しただけです。しかし重要なのは、 最初からこの1文字を知っていたことではありません。
→ 処理を順番に調べたことで、 「どこを直せばよいのか」を見つけられたことが重要です。
STEP 6|修正後の処理をもう一度読む
修正後のMarkdown処理では、 次の順番で本文を扱います。
$safe = htmlspecialchars(
$markdown,
ENT_QUOTES,
'UTF-8'
);
$lines = preg_split('/\R/u', $safe);
foreach ($lines as $line) {
// Markdownを1行ずつ判定
}
1. Markdown本文を受け取る
2. htmlspecialchars()で安全な文字列にする
3. preg_split()で改行ごとに分ける
4. /uによってUTF-8として扱う
5. foreachで1行ずつMarkdownを判定する
→ 1行だけを見るのではなく、 データがどの順番で処理されるのかを見ると コードが読みやすくなります。
📘 022と023のつながり
Markdownで書いた記事を PHPでHTMLへ変換する仕組みを作りました。
023
そのMarkdown変換を実際に動かしたところ、 日本語の表示に問題が発生しました。
DB、PDO、htmlspecialchars()、 preg_split()と順番に確認し、 問題が起きる場所を特定しました。
→ 「機能を作る」だけでなく、 「壊れたときに原因を探す」ところまでが開発です。
📘 処理の流れを読む
↓
保存: MariaDBへ記事本文を保存
↓
取得: PDOで記事本文を取得
↓
安全化: htmlspecialchars()でエスケープ
↓
分割: preg_split('/\R/u', $safe)で UTF-8として行ごとに分割
↓
処理: MarkdownをHTMLへ変換
↓
出力: 日本語の記事をブラウザへ表示
→ 入力から出力までの道を順番に追うことで、 不具合が起きた場所を探せます。
📝 今回の忘備録
「日本語が文字化けした」という結果だけでは、 原因がどこにあるのか分からない。
MariaDB → PDO → htmlspecialchars() → preg_split() のように、データが通る順番で確認すると 原因を絞り込みやすい。
今回はpreg_split()を使った正規表現で UTF-8として扱う指定を追加することで解決した。
preg_split('/\R/u', $safe);
/uは、
正規表現の入力文字列をUTF-8として扱うための指定。
直したコードは1文字でも、 そこへたどり着くまでの 「どこまでは正常か」を調べる作業が大切。
分からなかったことや実際に起きたエラーは、 そのまま次の教材になる。
この先やること
- COLUMNSの記事番号をカテゴリごとに整理する
- COLUMNSの記事一覧を5件ずつ表示する
- ページネーションを追加する
- 公開CMSをさらに使いやすくする