

Common lisp で 文字コードがわからない場合に推定してファイルを開きたいのです。  
みなさんは文字コードのわからないファイルをどのようにして開いているのでしょうか?

私は fileをunsigned-byte
8のvectorにしてから、guessというライブラリを使おうとしています。文字コードは推定してくれますが、改行文字は推定してくれません。

guessは libguess を common
lispにポーティングしたもので、<https://github.com/zqwell/guess>で公開されています。


CC BY-SA 3.0
2015-04-04T23:47:47.170
8771
2015-04-06T07:24:16.727
4727
question
common-lisp
Common lisp で 文字コードがわからない場合に推定してファイルを開きたい


文字コードがわからない場合の処理としては、自分も (vector (unsigned-byte 8)) にしてから変換することが多いです。

ここまでは、定石かなと思いますが、ここから先の処理でCommon Lispに定番というものは、現状、無いのではないでしょうか。

文字コードがわからないということで、判定する必要があるわけですが、自分の場合、以前は、質問文でも出てきている guess の元になった onjo さん作の
guess を利用したりしていました。

  * [逆引きCommon Lisp: 外部からの入力バイト列を文字列にしたい(文字コード変換含む)](http://tips.cddddr.org/common-lisp/index.cgi?%E5%A4%96%E9%83%A8%E3%81%8B%E3%82%89%E3%81%AE%E5%85%A5%E5%8A%9B%E3%83%90%E3%82%A4%E3%83%88%E5%88%97%E3%82%92%E6%96%87%E5%AD%97%E5%88%97%E3%81%AB%E3%81%97%E3%81%9F%E3%81%84%28%E6%96%87%E5%AD%97%E3%82%B3%E3%83%BC%E3%83%89%E5%A4%89%E6%8F%9B%E5%90%AB%E3%82%80%29)

しかし、ウェブなどは最近ほぼ UTF-8のページになったため、判定しないで無理矢理

[code]

    (or (ignore-errors (babel:octets-to-string os :encoding :utf-8))
        (ignore-errors (babel:octets-to-string os :encoding :eucjp))
        (ignore-errors (babel:octets-to-string os :encoding :cp932)))
    
[/code]

位で済ませてしまうことも多いです。  
libguessは日本語以外にも対応しているとのことですので、かなり使い勝手は良いのではないでしょうか。

ちなみに、ABCLはJavaのライブラリが使えますが、JavaのICUをABCLから利用してみたこともあります。  
(Clojureでは割とICUが使われたりすることがあるようです。)  
ICUにはJava版以外にもC版がありますが、こちらは試したことはありません。

## 改行コードについて

Common Lispの#\Newlineは、環境によってLFだったりCR+LFだったり様々です。  
エンコードを変換した後、処理することが多いのではないかと思います。

## 壊れた文字列について

関連して壊れた文字列も問題になりますが、RubyのString#scrub のようなものはCommon
Lispには存在しないので、自作することになると思います。  
自分は、SBCLの場合ですが、

[code]

    (defun scrub (octets)
      (handler-bind ((sb-impl::octet-decoding-error
                      (lambda (c) 
                        (use-value "〓" c))))
        (sb-ext:octets-to-string octets)))
    
    
    (defvar *broken*
      (coerce '(227 129 130 227 129 132 227 129 134 227 129 136 227 129) '(vector (unsigned-byte 8))))
    
    
    (scrub *broken*)
    ;=>  "あいうえ〓"
    
[/code]

のようなものを作成して使用しています。


CC BY-SA 3.0
2015-04-06T07:24:16.727
8815
2015-04-06T07:24:16.727
3510
8771
answer