すべてのファイル形式は仕様によって管理されています。仕様とは、ファイル内のバイトがどのように配置されているかを規定した標準化された構造のことです。インターネットプロトコルに厳格な標準があるのと同様に、ファイルタイプも合意されたルールに従います。アプリケーションがPDFファイルを開いたりPNG画像を読み込んだりするとき、これらの事前定義されたガイドラインに従ってデータを解釈します。私たちはしばしば.zip、.txt、.jpgのようなファイル拡張子を使ってファイルの種類を識別しますが、これらの拡張子は主に人間の便宜やオペレーティングシステムの認識のためのラベルであり、決定的な識別子ではありません。だからこそ、photo.jpgをphoto.pngに単に名前を変えても画像フォーマットは変わらず、基礎となるデータは変わらないのです。\n\nファイルの形式を真に決定する方法は「マジックナンバー」と呼ばれるものにあります。マジックナンバーとは、ファイルの先頭または特定の位置にある特徴的なバイト列で、その形式の一意の識別子として機能します。各ファイル形式には国際的に認められたマジックナンバーがあり、アプリケーションはファイル拡張子に関係なくこれをチェックして扱うファイルの種類を確認します。例えば、PNGファイルはバイト列89 50 4E 47で始まり、ZIPファイルは50 4B 03 04で始まります。ビットマップ画像は最初の2バイト42 4Dで識別され、これはASCIIで「BM」に対応し、ビットマップの略です。\n\n例として、.bmp拡張子のファイルを開き、最初の2バイトを読み取って本当にビットマップ画像かどうかを確認する簡単なGoプログラムを考えてみましょう。プログラムはこれらのバイトを期待されるBMP署名と比較します。バイトが一致すればファイルは有効なBMPであると確認し、一致しなければファイル形式が無効であると示します。この方法は、拡張子に関係なくファイルを識別するUnixの"file"コマンドに似ています。\n\nマジックナンバーに加えて、多くのファイル形式は最初の署名の後にメタデータを含みます。このメタデータは形式によって異なりますが、画像の寸法、音声のサンプルレート、文書の作成者情報などの詳細を含むことがあります。これらの要素を理解することは、ファイル内容を効果的に処理または操作する必要があるアプリケーションにとって重要です。\n\nファイル形式は通常、3つの大まかな構造カテゴリに分類されます。第一のカテゴリはPNG、JPEG、MP3ファイルのような厳密な構造を持つバイナリ形式です。これらの形式では、すべてのバイト位置に仕様で定義された特定の意味があり、プログラムは正確なバイトオフセットを読み取って解析します。第二のカテゴリはJSON、XML、HTML、CSVのようなテキストベースの構造化形式です。これらは人間が読みやすく文法規則に従っているためデバッグが容易ですが、サイズは大きくなることが多いです。最後のカテゴリはZIP、MP4、PDFのようなコンテナ形式です。これらはより複雑で、ファイル内のファイルシステムのように機能し、複数の埋め込みファイルやデータストリームを含むことができます。例えば、MP4ファイルはビデオ、音声、字幕の別々のトラックを含み、DOCXファイルはXML文書を含むZIPアーカイブに相当します。\n\nファイル形式の仕様、マジックナンバー、データ構造を理解すれば、さまざまなファイルタイプを読み取り操作するカスタムパーサーを書くことが可能です。この基礎知識により、開発者はファイルのバイト内容を直接変更して画像をグレースケールに変換するなどの作業を行うことができ、これは今後の研究で探求される技術です。
