http://misshie.jp/blog/ アメリカ・アイオワ研究留学後も研究生活を続ける三嶋博之の近況報告やアレやコレ ja Copyright 2010 Sun, 31 Jan 2010 19:30:00 +0900 http://www.sixapart.com/movabletype/?v=3.2-ja-2 http://blogs.law.harvard.edu/tech/rss まだまだ生きてます。 さて，前エントリーのFASTA + FASTA.QUAL = FASTQはBioPerl版でしたが， [[BioRuby>http://www.bioruby.org/]] version 1.4.0で書いてみると以下のようになります。 require 'bio' ff_fasta = Bio::FlatFile.open(ARGV[0]) ff_qual = Bio::FlatFile.open(ARGV[0]+".qual") while entry_fasta = ff_fasta.next_entry seq = entry_fasta.to_biosequence seq.quality_score_type = :phred seq.quality_scores = ff_qual.next_entry.data puts seq.output(:fastq, :title => entry_fasta.definition) end # Ruby 1.8のときだけ頭に # require 'rubygems' をつけてね 以上の内容は，[[BioRubyメーリングリスト>http://lists.open-bio.org/mailman/listinfo/bioruby]] でBioRubyのコア開発者のひとりの大阪大学の後藤先生から回答いただいたものです。 （メーリングリストを購読している方はわかるかと思いますが）最初，ワタシはBio::FastaFormatや Bio::FastaNumericFormatに大きなマルチエントリーのファイルを食わせるコードを書いて みました。ところが，どうもしっくりこない（あるべきメソッドがないし，遅いし）と思っておりました。 そうしたら，案の定きちんとしたフロントエンドがあったようです。 BioPerlのBio::SeqIOに相当するものがBioRubyのBio::FlatFileになると 理解していいのかなあ（未確認）。Bio::FlatFileをつかえば，各エントリに 外部イテレーターでアクセスできる(Bio::FlatFile#next_entry.data) んですね。美しい。 ああ，細かいBioRubyのFASTQ関係のコードばかり読んで， 全体の構造を全く理解してなかった。反省。 今回の用途には，BioPerlでもBioRubyでもほぼ同じ速度です。ただ，大きな違いがあります。 それはインストールにかかる時間。BioRubyは，BioPerlにくらべコンパクト （逆にBioPerlはありとあらゆることができる…らしい）なので gem install bio 一発（要管理者権限）でさくっとインストールできます。すばらしい。 というわけで，今後もBioRubyの勉強をすすめたいと思います。勉強成果もぼちぼち書いていこう。うん。 http://misshie.jp/blog/2010/01/bioruby_fasta_fastaqual_fastq_1.html http://misshie.jp/blog/2010/01/bioruby_fasta_fastaqual_fastq_1.html 長崎研究生活 Sun, 31 Jan 2010 19:30:00 +0900 以下，次世代シークエンサー関連の自分用のメモ FASTAファイルとFASTA.QUALファイルからFASTQを生成するPerl (BioPerl)スクリプト http://www.nabble.com/How-to-input-fasta-and-qual-into--Bio::Seq::Quality--td18634349.html を参照したけど，エラーが出るので，修正。BioPerl（というかPerl）についてはシロウトなので，手こずった。 "->"がRubyでいうところのメソッド呼び出しの"."なのね。 使い方は（スクリプトをfastaqual.plとすると） perl fastaqual.pl hoge.fasta > fuga.fastq でhoge.fastaとhoge.fasta.qualからfuga.fastqを作ります。 このスクリプトはhoge.fastaとhoge.fasta.qual内のフラグメントの順番が一致していることを前提としていることに注意。 #!/usr/bin/perl -w use warnings; use strict; use Bio::SeqIO; use Bio::Seq::Quality; my ($seq_infile,$qual_infile) =(scalar @ARGV == 1) ?($ARGV[0] ,"$ARGV[0].qual") :@ARGV; #Create input objects for both a seq (fasta) and qual file my $in_seq_obj = Bio::SeqIO->new( -file => $seq_infile, -format => 'fasta', ); my $in_qual_obj = Bio::SeqIO->new( -file => $qual_infile, -format => 'qual', ); my $out_fastq_obj = Bio::SeqIO->new( -format => 'fastq' ); while (1){ ## create objects for both a seq and its associated qual my $seq_obj = $in_seq_obj->next_seq || last; my $qual_obj = $in_qual_obj->next_seq; #use seq and qual object methods feed info for new BSQ object my $bsq_obj = Bio::Seq::Quality->new( -seq => $seq_obj->seq(), -qual => $qual_obj->qual(), -id => $seq_obj->id(), ); $out_fastq_obj->write_fastq($bsq_obj); } http://misshie.jp/blog/2009/08/fasta_fastaqual_fastq.html http://misshie.jp/blog/2009/08/fasta_fastaqual_fastq.html 長崎研究生活 Tue, 11 Aug 2009 11:30:29 +0900 こっそり更新。 研究室で使っているCentOSサーバーで，OpenGL/GLXをつかったアプリケーションを VNC経由で使いたいので，試行錯誤してみました。 + [[RPM.pbone.net>http://rpm.pbone.net/index.php3/stat/4/idpl/11489014/com/vnc-debuginfo-4.1.2-14.el5.x86_64.rpm.htm]]からvnc-4.1.2-14.el5.src.rpmをダウンロード。これはRedHat社が XVNCにGLX対応パッチをあてたもの。 + sudo yum --nogpgcheck localinstall vnc-4.1.2-14.el5.src.rpm + sudo yum install xorg-x11-xtrans-devel + sudo yum install libXdmcp-devel + sudo yum install libXau-devel + sudo yum install rpm-build + sudo rpmbuild --rebuild vnc-4.1.2-14.el5.src.rpm + sudo yum --nogpgcheck install /usr/src/redhat/RPMS/x86_64/xnc-server-4.1.2-14.x86_64.rpm + ログインしなおして，glxgearコマンドが動けば成功 アーキテクチャなどは，適当に読み替えてください。 以上，チラシの裏でした。 http://misshie.jp/blog/2009/02/centos_52xvncglx.html http://misshie.jp/blog/2009/02/centos_52xvncglx.html サーバー管理 Wed, 25 Feb 2009 18:53:35 +0900 あけましておめでとうございます。 郵便事業株式会社経由年賀状は，どうにも最新の住所が把握できないことが多く， 今年は断念してしまいました。失礼をお許しください。 長崎は，アイオワとは違った寒さで，結局今年も震えています。 でも，風邪も引かずになんとかやっております。 そうそう，[[以前のエントリー>http://misshie.jp/blog/2008/06/post_12.html]]で書いた， ワタシが管理人をやっているIowan mailing listとは別に， [[アイオワ大学日本人会>http://iowajssc.blogspot.com/]]が発足したようです。すでにblogも 用意されています。今後，アイオワ在住日本人向けのポータルサイトに成長していただきたい！ と思っております。 では今年も，益々よろしくお願いいたします！！ http://misshie.jp/blog/2009/01/post_13.html http://misshie.jp/blog/2009/01/post_13.html Sat, 03 Jan 2009 11:37:43 +0900 http://regional.rubykaigi.org/kyushu01]]にて 「ゲノム解析とグルー言語Ruby」の題で発表してきました 当日のそれぞれの方の発表内容は [[USTREAM>http://www.ustream.tv/channel/kyushu-ruby-kaigi]]でみることが できます。 私の発表は以下のとおり：~ #verb(Free TV : Ustream) 「あー」とか「うー」とか多すぎて，聞きづらくてお恥ずかしい。それに，Rubyを使った成果を具体的に 示せてないのが，なんともかっこわるい。 あらためて聞くと，２００人という人数，それも，異業種のみなさんの前で， 我ながら思いっきり緊張しております。 でも，個人的には，笑い（苦笑？）がとれた時点で８０点だったりして。 背景の話と，やったことと，失敗談とで，つめこみすぎたようです。これでもだいぶ削ったのですが。 もっと，話を絞り込んで，ゆっくり話すべきでした。 BioRuby最高！という部分の強調はできたかな？ 実は，僕はBioRubyのごくごく一部の機能しかつかってないですし，コツコツ勉強中の身なのですが。 前夜のお食事会（ささださんや，角谷さんなど，有名人とお話しできて，ミーハーな私は大興奮）や，懇親会や，その後のweb上でみつけた感想などを読ませていただいて，とにかく，「後先考えず発表してよかった！」と思ってます。 参加した上での詳しい感想などは，また日をあらためて…。 ]]> http://misshie.jp/blog/2008/12/ruby01.html http://misshie.jp/blog/2008/12/ruby01.html 長崎研究生活 Thu, 18 Dec 2008 00:49:33 +0900 先日，九州Ruby会議01で発表したので，そのエントリーを書こうとしたら~ *movable typeのパスワードがわかんなくなりまんた~ とほほ，長いことさぼってる間にパソコン買い換えてたのを 忘れてた。記録もみあたらないし…。 で，Google先生にお伺いをたてたら，mt-medic.cgiってのがいいときき インストールしてみましたが，Internal Server Errorで動かず。 泣きそうになってると，データベースをSQLite化してたとことに気づき， 直接データベースをみてみることに +まず，MTのディレクトリ下dbに移動 +sqlite3 sqlite.db +.databeses +.tables +.dump mt_author +なんかそれらしきのがあるー（狂喜） というわけで，ユーザー名とパスワードをgetして，もう今日はねます。 http://misshie.jp/blog/2008/12/sqlitemovable_type.html http://misshie.jp/blog/2008/12/sqlitemovable_type.html サーバー管理 Wed, 17 Dec 2008 01:20:49 +0900 時間がかかってしまいましたが，[[BMC Bioinformaticsの論文>http://www.biomedcentral.com/1471-2105/9/S6/S10]] が，ようやくPubMedにも収載されたそうです。 [[PubMedIDは18541045>http://www.ncbi.nlm.nih.gov/pubmed/18541045]]です が，所属表記に長崎大のメールアドレスがベッタリはってあるではないですか。 あぁ，これで１か月もすれば，こっちのアドレスもSPAMメールのゴミ捨て場の様相を呈するんでしょうか。 Thunderbirdのベイジアンフィルターが，そこそこ賢いので，なんとかなるんですが。 ちなみに，BMC Bioinformatiocsのサイトでは，ユーザー登録しないと，メールアドレスは見られないように なっています。でもこれじゃあ，意味ないですよね。とほほ。 http://misshie.jp/blog/2008/06/linux_hpcpubmed.html http://misshie.jp/blog/2008/06/linux_hpcpubmed.html Sun, 29 Jun 2008 22:34:06 +0900 案内をやるやると言って，４ヶ月以上ほったらかしにしていたのですが……。 アメリカ・アイオワ州アイオワシティ（Iowa City），コーラルビル（Coralville）周辺7,000マイルに 住んでいる・住んでいた・なんか興味ある、という日本語ユーザーのアナタのためのメーリングリスト、 ''Iowan-ML''というのを運営しております。 さっぱり投稿しない管理人（ワタシ）のせいで、そんなに流量は多くありませんが、イザというときに 役立つんではないかと思います。ワタシも知る限りの情報を提供いたしますので、 購読希望の方は、''ｍｉｓｓｙ＜アットマーク＞ｂｅ．ｔｏ''までご連絡ください（手動登録なので 少々お時間いただきます）。 以上、Iowan-MLのご案内でした。ぴんぽんぱんぽん♪ http://misshie.jp/blog/2008/06/post_12.html http://misshie.jp/blog/2008/06/post_12.html アイオワ生活 Sun, 08 Jun 2008 20:50:00 +0900 以前のエントリーに書きました，Linux HPCクラスターの構築ですが， その方法と効果をまとめた論文がBMC Bioinformaticsにpublishされました。 >Application of the Linux cluster~ >for exhaustive window haplotype analysis~ >using the FBAT and Unphased programs~ >~ >Hiroyuki Mishima, Andrew C. Lidral, and Jun Ni~ >~ >'''BMC Bioinformatics''' 2008, 9(Suppl 6):S10~ BMC Bioinformaticsはいま流行の [[open access journal>http://ja.wikipedia.org/wiki/%E3%82%AA%E3%83%BC%E3%83%97%E3%83%B3%E3%82%A2%E3%82%AF%E3%82%BB%E3%82%B9]] なので以下より 閲覧・ダウンロードできます。~ [[http://www.biomedcentral.com/1471-2105/9/S6/S10]] 要旨は，exhaustive haplotype analysis（任意の領域のSNP座位に対して， すべてのウインドウサイズや組み合わせで行う徹底的なハプロタイプ分析）では， むちゃくちゃ計算力がいる。かといって，大規模なコンピュータをつかうのは 試行錯誤できないし，使いたい，よく知られた十分に検証済みのソフトには， 並列化されたのがない。そこで，中古パソコンでつくったRocks Cluster/GridEngine ベースの，安価なHPCクラスタ上で，非並列ソフトのFBATとUniphasedに対して， 次々変化させたパラメーターを与えてやることで， 意外といい感じに高速化できましたよ，これなら結構お手軽にできるんじゃない？ というお話。 というわけで，まずは，アイオワでの最初の論文がでました。 よかったよかった。 アイオワでの仕事に関しては，投稿準備中の論文がまだあるので （そのうちひとつは，今回のHPCクラスターを実際に応用した結果について） がんばらなくては……。 http://misshie.jp/blog/2008/06/linux_hpc_4.html http://misshie.jp/blog/2008/06/linux_hpc_4.html Fri, 06 Jun 2008 19:00:00 +0900 ご無沙汰しております． 前回の「帰国シリーズ」エントリーから，ずいぶん間隔があいてしまいましたが， ３月１日より，長崎大学の人類遺伝学教室でCOE研究員というポジションで お世話になっております． ここで，お知らせがあります． ５年ほど前から，断続運営しております当blogですが，このたび残念ながら，またもや 再開することと相成りました．帰国も果たしましたので，タイトルは「みっし～の研究生活」と すっきりさせました． 実は，blogを続けるかどうかについては，いろいろ考えていたんですね． これまでは，何も考えず実名で書いてましたが，さて，今後もそれでいいのかと， 魑魅魍魎の跋扈する恐ろしいイソターネッツで，他の方に迷惑を掛ける のではないかと，躊躇していた次第です．ですが，ここであらためて ''「このblogは，徹頭徹尾完全に三嶋博之の個人の考えを個人の責任で書いておりますので，所属する組織にはまぁーったく関係ありません！」'' と高らかに宣言しておいて，再開することにしようと思います． あともう一つ，続けるきっかけがあります．先日，ぴかぴかの長崎市立図書館に 初めて行ってみたのですが，そこの新刊本コーナーに坪田一男先生の [[理系のための人生設計ガイド:http://amazon.co.jp/o/ASIN/4062575965/]] （講談社ブルーバックス）という本を見つけまして，これに非常にタメになることが いろいろ書いてあったんです．かいつまんで言うと，研究者として生きていくの なら，教授めざして，キャリアパスを考えなきゃだめよ，んで，お金のことも大事だよ， 社会やサイエンスコミュニティーへの自己アピールも大事だよ，という， とてもぶっちゃけた（すなわち真実の）話です． もちろん，きちんとした仕事をすることが，やるべき事の９９％なわけですが， 残りの部分も，生き残ろうと思ったら，きちんとやらなきゃだめなんだなあと，目からウロコが落ちた次第です． で，坪田先生の場合は，研究・臨床だけでなく，一般へのパブリシティのために，たくさん本を書いて，講演もたくさんされたわけですが，このままマネするのは，私には不可能． そこで，この本でオススメしているのは，blog執筆です．これならば，私にも……挫折 しているような気もするけど……できるかもしれません． ただ，匿名のblogなら意味はありませんので，本名で継続することを決心した ワケです．ミシマヒロユキをどーぞよろしくお願いします． あ，それと最大の理由が，自宅でのネット環境に目途がついたこと．ケチって ブロードバンド環境はないのですが，久々にモデムでダイアルアップ接続 してもなんとかなりそうなのがわかったので，しばらくはこれでいこうと思います． あとは日本の誇る地上の楽園，マンガ喫茶とかから更新します（仕事場では 仕事しかしませんしませんしません）． http://misshie.jp/blog/2008/05/post_11.html http://misshie.jp/blog/2008/05/post_11.html 長崎研究生活 Sat, 10 May 2008 18:00:00 +0900 http://www.kenkyuu.net]]で教えていただきました。多謝。） [[フォスターシティ生活情報（跡地）さま>http://www.miyazakisan.com/cgi-bin/ykwk/wiki.cgi?%BD%BB%BD%EA%CA%D1%B9%B9]] に詳しい情報がありますが。これで雑誌・新聞は60日，普通郵便は１年無料転送され， また広告類は廃棄，小包は有料転送だそうです。 -銀行口座　ダウンタウンのISB&Tに行って2/3付けで日本の実家に住所変更。これで各種書類は実家に届くはず。また，"Request for Account Closure"のフォームももらってきました。 これを郵送することで， 口座を閉じた上で日本の銀行口座に送金してくれます。手数料は$35。また，銀行に W-8BENという書類を提出することで，アメリカ国外住居者の利息が免除されるそうですが， 僕の場合どうやら，最近提出してたようなので（あいまいな記憶），出さなくていいそうです。 これは３年ごとに再提出する必要があります。あと，国外からの小切手での入金は裏書きとして サインと"DEPOSIT ONLY. ACCOUNT #<ルーティング番号>-<口座番号>"を書いた上で ISB&Tに郵送すれば可能なようです。支払いは，日本から普通に小切手を郵送するか， 僕の場合はほとんどオンラインで払ってしまう予定です。ISB&Tの利用者には、 外国人が多そうですので、この辺の話はスムーズにできました。 -クレジットカード　Premioのカードなのですが帰国直前まで使うことになりそうなので、帰国後に日本事務所に電話して解約の予定。支払いはオンラインで。あと、JALファミリークラブの 帰国届けも帰国してから（でしっかりボーナスマイルを獲得）。 -公共料金　基本的に最後の請求書は同僚M先生宅に。支払いはオンラインで。 --有線電話　Qwestに電話をしてservice stopを依頼。２月３日に止めてくれと行ったはずなのに……すぐに電話が通じなくなってしまった。面倒くさいので帰国まで携帯電話でいくことにする。 --有線と携帯の国際電話 KDDIアメリカに電話する。日本語で楽々，日付指定で解約をお願い。 --電気・ガス　MidAmerican Energyに行って日付指定でお願い。退去日が日曜なので、大家さんに文句言われないように、月曜解約に。 --ケーブルＴＶ・インターネット　リースになっていた器具一式もってMediacomのオフィスに行き解約。 --携帯電話　US Cellularに電話して解約。こっちは日付指定に成功した…はず。 -保険 --火災・障害保険　僕の場合は、日本の保険代利店・グローバルプロテクション社経由で JAL海外赴任者総合保障に加入していたので、こちらにオンラインで解約を依頼。 --自動車保険（保留中）　同社経由＆AIGIS経由でAIGの自動車保険に入っていたので、 AIGISに（日本語で）電話して、必要書類をemailで送ってもらった。自動車を持っている間は 保険加入の義務があるので、自動車を売却した翌日に解約する予定。 -持ち物の処分 --自動車（保留中）　自動車登録証（タイトル）を持って結局買ったディーラに持ち込みました。 車のチェックは２０分ほどで終了し、[[Kelley Blue Book>http://www.kbb.com/]]マイナス$1000 で商談成立。これは、バンパーに穴あけたし、雹（hail）のあとやら、傷やらあるので、 そんなところでしょう。支払いの速さや、 信頼性を考えれば仕方ありません。引渡し前に自分で修理をする必要もありませんし。 おそらく明日、電話連絡がきて、引き渡して、小切手をもらえると思います。 --家財道具（保留中）　食器類は日本の方にお譲りすることに。またベッド・ソファー・テレビなど の大物を含む、その他全部一式は、となりのラボのポスドクにあげることに。「いらないもの 売ってくれない？」ときかれたので「ぜんぶタダであげる！」といったら、「全部頂戴！」という ことになりました。条件は、僕が出発する直前（前日にしてもらいました）に自分で運び出すこと。 いや、これはうまくいった。 -日本への荷物（保留中）　USPS（郵便局）が船便を廃止するという暴挙にでたために、 民間の業者（当然日系企業）をいくつかあたってみました。 アイオワシティの場合は、 [[米国ヤマト運輸>http://www.ytc-usa.com/japanese/html/home_ja.html]] の「単身プラン」というのがいいようです。これは、梱包道具（ダンボール箱など）を宅配（UPS） で送ってもらい、自分で梱包し、書類を書いた上で日本に送ってもらうサービスです。 ただし、シカゴ市内なら荷物をとりにきてくれるのですが、アイオワからは宅配業者か 自分でシカゴの事務所まで持ち込む必要があります。僕の場合は、 [[Enterprise Rent-A-Car>http://www.enterprise.com/]]でヴァンを借りて自分で シカゴに運転して行くことにします。うまく計算どおり車に入るかなあ。 -在留届　[[シカゴ総領事館>http://www.chicago.us.emb-japan.go.jp/indexjp.html]] から変更届けをダウンロードして帰国に丸をつけてFAX。在留届をオンラインでした 人は変更もオンラインでできるそうですが、４年９ヶ月前にそんなものはありませんでした。 -アメリカとの通信手段　しばらくボスと論文のためのやりとりをしなければならないのですが、 画像ファイルなどはメールで送るには大きすぎます。私のボスは特にパソコンにくわしい わけでもないので、FTPで送ってくれとかいうわけにもいきません。そこでいろいろ調べた のですが、僕の場合[[Box.net>http://box.net]]というオンラインストレージサービス につかうことにしました。双方向の読み書き（コラボレーション）には年$200（15G byteまで） かかってしまいますが、いろいろ遊べそうですし、操作性（もちろん英語じゃなきゃ困る） や速度もそこそこなので、契約してしまいました。 そうそう、夏に帰国したK先生の話だと、アイオワ大の場合、退職すると、猶予期間なしで いきなりメールアドレスが消去されるらしいので、早めに日本で使えるアドレスを 各方面に連絡したほうがいいかもしれません。 -アパートの解約とサブリース　アパートの契約は７月いっぱいまでなので、 ２月３日に退去するには、サブリースの相手を探す必要があります。 すべて自分でやることもできるのですが、大家さん（Hawkeye Investment社）に相談したところ、 $100はらって、Sublease Assignmentを依頼することができるというのでお願いしたのが 12月上旬。これは、webページなどで（新聞広告とか出したんだろうか…未確認） での募集を代行してくれるものです。この募集には僕の携帯番号がのってまして、 （一度部屋のチェック希望者すっぽかされたりしつつ）、オクラホマのポスドク（外国人）さん から連絡がありました。条件は１ヶ月分の部屋代を僕が負担することです。 早速大家さんに行き、手続きして、またオクラホマに一か月分のチェックを送り、 一件落着。２月分の家賃はいったん払った上で、次の人がデポジットを払ったのを 確認して、日割りで返却してくれるそうです（これを考えると、$100払っても損はない）。 それと、業者の清掃代を引いてデポジットも帰ってきます。この辺のチェックは M先生の家に送ってもらい、日本に転送してもらう予定です。 -税金　ちょうど2007年度のForm W-2が送られてきました。なので早めに確定申告をしちゃいました。入国後２年は大学のほうで契約している外国人用サイトでうまいこと書類をつくってくれるのですが、僕の場合は税法的にはアっメリカ～ンなので（うれしくないわい）、これはつかえません。家に送られてきた1040Aの説明によると、e-filingという電子申請があって、これだと早くお金が 帰ってくるよ、さらに「条件を満たすと」無料で申請できる！とのことなので、 早速みることに。IRSのページからぽちぽち進むと、結局オンライン申請業者をとおして 申請する仕組みのようです。で、順調にすすむのですが、結局入力させておいて、 「あんたの場合は連邦税で$14、州税で$14かかるからはらってね」とのこと。 しかたないので、クレジットカードで払って、そのまま電子申請。ほんとにうまくいってるん だろうか…。住所は日本の実家の住所を入力しました。これで来年（2008年の1月分）の 確定申告の書類は日本に来る…はず。 -大学事務との手続き　特に大きなものはなさそうです。最終日に歯学部の秘書さんに 学生証を渡すだけでした。International Officeからは返事がないので、明日にでも、 再度問い合わせて見ることにします。 ---- えー、以上、長々と書いてきましたが、種々の手続きをしつつ、つくづく思ったことを 叫ばしていただいて、本稿を終わらせていただきたいと思います。 ''英語なんか大っ嫌いだぁぁ！（中島みゆきのオールナイトニッポン調で）'' ]]> http://misshie.jp/blog/2008/01/post_10.html http://misshie.jp/blog/2008/01/post_10.html 帰国準備 Mon, 28 Jan 2008 23:59:59 +0900 みなさーん，お元気ですか？お寒うございます。つーか，寒すぎますねアイオワ。 明日も最低気温が-20℃を下回りそうです。 そんなアイオワでの生活も４年と９ヶ月になろうとしています。 ご存じのとおり，J1ビザの期限は５年。泣いても笑っても日本に強制送還の日が 近づいています。 いろいろと，じたばたしていたのですが，なんとか３月からの就職先も見つかり （詳細は後ほど。日本でもポスドクとして人類遺伝学をやれそうです。） ２月３日。３５歳の誕生日をもって帰国するとと相なりました。 やることが山ほどあり，まったくblogをいじってませんでしたが， この際，最後のご奉公（誰に対して？）といたしまして， できるかぎり，帰国の準備について書く予定です。 予定は未定です。 いや，がんばってかきます。書かないと自分でもわすれちゃうし。 http://misshie.jp/blog/2008/01/post_6.html http://misshie.jp/blog/2008/01/post_6.html 帰国準備 Tue, 22 Jan 2008 22:51:12 +0900 * え，ワタシが作るんですか？ で，件の助教授の先生のところに行き，やりたいことを説明してきました．ワタシのやりたいことを一般化すると， ''非並列コードで書かれたコマンドに多数（数百から数百万，あるいはそれ以上）の異なるパラメーターを与えて実行したい．計算結果は互いに独立である．'' ということになります．ワタシの説明がおわると，それならば，ということで，コンピュータールームにつれていってくれまして，ＰＣの山を見せてくれました．ほほう，これ用のアカウントを発行してくれるのかと思っていると， 「ここに２３台のPCがあるから，好きなクラスターをくみ上げていいよ．スイッチングハブとケーブルはちゃんとあるから」 といって，やおらパソコンを運び出しはじめるではないですか．いや話が早いのはいいのですが，当初の目論見ははずれ，自分でクラスターを組むことになってしまいました． * openMosixでは力不足か？ 今回のプロジェクトにあたり，図書館でオライリーの [[High Performance Linux Clusters with OSCAR, Rocks, OpenMosix, and MPI:http://www.amazon.com/Performance-Clusters-OpenMosix-Nutshell-Handbooks/dp/0596005709/]] という本を借りてきまして，参考にいろいろ考えたのですが，使いたいプログラムは非並列コードなんで，SSI環境がやりやすいのかな？ということと，日本語ドキュメントの豊富さから，openMosixをまずためしてみることにしました．また，openMosixには，ライブCD-Linuxである [[ClusterKnoppix:http://clusterknoppix.sw.be/]]をつかうことにより簡単に試すことができるという大きな魅力もあります． ClusterKnoppixのインストール，運用ですが，これはGoogle先生に聞けば，多くの日本語ページを見つけることができるので，そちらにゆずるとして（というかCDを台数分焼いて，立ち上げるだけ），とにかく８台ほどを試しにスイッチングハブにつなげて立ち上げてみました． 手動で，２０やそこらのプロセスを立ち上げてみると，どうやらうまいことうごいてくれてそうです．しかし，これが１００以上となると，どうもうまくいきません．単純に１００プロセスがたちあがって，それを８つのマシンでのそのそ動かすことになってしまいます． メーリングリストなどを検索すると，とりあえずシステムデフォルトのbatchコマンドでバッチキューに入れてみろ，とのことなので，やってみました．結果は，どうも，順調に割り振られているようにはみえません．atdデーモンのオプションもいじってみたのですが，次々とジョブが投入されるようにはなってくれません．また，致命的なのは，数百，数千のジョブの投入はbatchコマンドには荷が重すぎるということです．途中でハングアップしてしまうようです． どうやら，ワタシのやりたい用途には，ちょっとopenMosixは最適とは言えないようです．また，openMosixの開発の終了が[[アナウンス:http://sourceforge.net/forum/forum.php?forum_id=715406]]されましたし，ClusterKnoppixの開発も事実上終了しているということで，どうやらopenMosiixは時代遅れになりつつあるのかもしれません． そこで，より適したシステムはないかと探していると，ワタシと同じような境遇のヒトの質問をweb上でみつけました．その回答の要点は（１）必要なのは優れたジョブスケジューラー．たとえばGridEngine（後述），（２）GridEngineならRocks Clusterにはじめから入ってるよ，ということでした． * Rocks Clustersの導入 [[Rocks Clusters:http://sourceforge.net/forum/forum.php?forum_id=715406]]は オープンソースのLinuxディトリビューションで（ここ重要，逆に言うと他のディストロと共存はできない），ベースは[[CentOS:http://centos.org/]]（RedHat Linux Enterprise Editionをフリーにしたもの，もちろんRedHatのサポートはない）になっています．現在も活発に開発が続いています，先日NSFのグラントが当たったとのニュースが流れましたので，さらに開発が加速するんではないかと思います． Rocks Clustersには[[GridEngine:http://gridengine.sunsource.net/]]が含まれています．GridEngine（旧称Sun Grid Engine [SGE]）と呼ばれる，Sun主導で開発されているフリーのジョブスケジューラーシステムです．Sunはこれと全く同機能のものに，いくつか独自の品質管理工程とサポートサービスを加え，あるいは各国語にローカライズして，N1 GridEngineとして商業化しています，N1 GridEndineとしては，すばらしいことに日本語ドキュメントも[[公開しています:http://docs.sun.com/app/docs/coll/1187.1]] Rocks Clustersについては，日本語のドキュメントが少ないような気がします．これは国産の [[SCore:http://www.pccluster.org/]]の存在も大きいんではないかと思います． おそらくSCoreはワタシの要求にすべて答えてくれるんではないかと思います．またSCoreには[[巫女ぐにょLinux:http://miko.gnyo.org/]]というライブCDもありますんで，なおさら選択肢としては有力なのですが，ここはアメリカですんで，素直にRocks Clustersを採用することにしました．しかし，実際に巫女ぐにょをつかったら，説明がむずかしいだろうなあ（「コミックマーケットっていうコンベンションでリリースされるディストロでして」とか，うーんクール）． * Rocks Clustersインストールの注意点 インストールそのものは簡単・・・なのかもしれませんが，ハマりどころ満載です．詳しいところはドキュメントを参考にしていただくとして，以下に箇条書きに落とし穴について書いておきます．というか，今回長々と書き始めたのは，以下のにがーい経験を広く知らしめるためなのでした． - Frontend nodeには''必ず''NICが２枚さされていなくてはならない．eth0がクラスター内部，eth1が外部ネットワークとの接続に使われる． - Frontend nodeには''必ず''FQDN・静的IPアドレスが割り振られてなくてはならない．インストール時にDHCPに問い合わせに行くので，うまくいくかと思ったが，これだと再起動後に破綻する．たぶんDNSを入力する手間を省くためじゃないかと思われる． - ''（追記）'' 少なくともFrontend nodeには1GB以上のメモリを搭載している必要がある。また，Compute nodesは最低512MBのメモリが必要。さもなければ，インストール中にカーネルパニックを起こす。 - Roll（追加パッケージ）は，何も言わずに全部入れる．一部インストール後の追加が不可能なものがある．Gangliaとか．なんでもいいけどRocksとRollって，Rock'n Rollって言いたいのか？ - デュアルブートとか余計なことを考えない．デフォルトのパーティション設定に任せる．ディスクレスノードはサポートされてない． - ネットワーク関係のインストール後の手動再設定は困難を極める．そういうときは迷わず再インストールする． - ドキュメントは，やっぱりあまり親切じゃない印象をうける．が，メーリングリストがものすごく活発なので，メーリングリストの検索でかなりの部分の疑問が解決する． 次回は，Rolls Clusters導入後のいろいろについて書きたいと思います． http://misshie.jp/blog/2007/09/linux_hpc.html http://misshie.jp/blog/2007/09/linux_hpc.html Linuxクラスター Sun, 09 Sep 2007 22:50:00 +0900 最近，このブログに対する，全世界のファンからのトラックバックが急増しています． なにやら文面が似たようなものばかりなのが気になりますが，ありがたく・・・ねぇよ！Movable Type のSPAM排除機構もいまいちのようで，Captcha（ねじれた文字を認識させることで，botによる自動送信を排除する） とか導入したほうがいいんでしょうけども．．．あとでしらべとこ． さてさて，ひさびさのblog更新ですが，しばらく，ほとんど自分のためのメモですが， 分からない人（ほとんど）を置いてゆく，マニアックなお話をしたいと存じ奉り候． * ぼくたちには計算力が足りない ワタクシ，こちらにきてから，仕事上，遺伝統計学パッケージを日常的につかっているのですが， モノに依っては計算力不足を如実に感じるようになってきました．最近一番よく使うのはAssociation Study用の プログラム[[UNPHASED:http://www.mrc-bsu.cam.ac.uk/personal/frank/software/unphased/]]です． UNPHASEDは，確定しないハプロタイプの情報も捨てずに使うため，ハプロタイプ相関分析に力を発揮します． allwindow（10マーカーなら，連続した［スライディング］マーカーを含むウインドゥサイズを１から10までに変化させる）や， allcombination（全体から，1～10マーカーを選ぶすべての組み合わせ）をためすことで， 効果的に原因遺伝子の候補領域をせばめることができる．．．とワタシは理解しています． ただですね．「組み合わせ」という言葉で想像されるように，マーカーの数が増えると， 指数関数的に計算量が増えるのが問題です．「ハプロタイプ」がそもそも組み合わせですし， ウインドウも組み合わせ．２０マーカーのallwindow/allcombinationのウインドゥの数なんて 2^20-1=１００万以上ですよ奥さん！こんなものをWindows上では動かせないし（３日で落ちた）． Pentium4 3.6GHzのLinux (Debian) boxだって，１か月じゃすみません． * コンピュータークラスター こういった計算をやらせるのは，コンピュータークラスターに限る！と目をつけて勉強をはじめましたが， ここでまず「クラスター」ということばに複数の概念が混ざっていることで，当初混乱してしまったのです． 「[[Linuxクラスター:http://ja.wikipedia.org/wiki/Linux%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E3%83%BC]]」 ってのはLinuxベースの複数のマシンを組み合わせて，何らかの目的に使うということですね． で，その種類は「HAクラスター（高可用性クラスター，別名ノンストップクラスター）」 「負荷分散クラスター（webサーバーなどの負荷分散，Googleのサーバーとか）」などがあり， これは僕が今回必要なものとはちょっと違う． 最後が「HPC (High Performance Computing)クラスター（いわゆるスーパーコンピューターの類）」です． これが本稿で扱うクラスター．この辺の分類の理解ができるまで，Google様に翻弄されていたワタシなのでした． * Linux HPCクラスター いまスタンダードなのはLinuxをベースにしたHPCクラスターシステムです． これには大きく２つの方法がある（と理解してます）． まずSSI （Single Server Image）クラスター．具体的には [[openMosix:http://openmosix.sourceforge.net/]]や [[OpenSSI:http://sourceforge.net/projects/ssic-linux]]， [[Kerrighed:http://www.kerrighed.org/]] なんかが代表的なソフトウェアパッケージです． SSIはユーザーからみると大きなな一つのSMPマシン（複数のプロセッサをもつマシン）に見えるのが 特徴です．openMosixしか知らないので，これがSSI一般なのかわからないのですが， とにかく，プログラムを走らせて，一定時間経過すると，OSが勝手に負荷の軽いシンにプロセスをmigrate（移住？）させて くれます．結果は何事もなかったように最初のマシンに戻ってきます．クラスターの各ノードは平等で， どのノードから実行しても，うまくやってくれる・・・ようです． 次がいわゆるBeowulf型クラスター．「普通の」クラスターはこっちを差します． 基本的にはFrontend（マスターノード）からジョブを投入して，専用のノード間通信ライブラリ（MPIなど）を 使って書かれたプログラム（並列プログラム）を使い，各ノードで分散計算をさせます． 並列プログラムは必須というわけではないようです（後述）．パッケージとしては [[OSCAR:http://oscar.openclustergroup.org/]], 国産の[[SCore:http://www.pccluster.org/]] （すごい名前で有名なライブCD-Linux [[巫女ぐにょLinux:http://miko.gnyo.org/]] も採用）. [[Rocks Clusters:http://www.rocksclusters.org/]] などがあります． *さてクラスターはいずこ と，ここまで勉強して，University of Iowa内で使えるクラスターはないかいな？と 検索していますと，ITS Reserach Serviceというところに「Linuxクラスターがあるよん」という 情報がありました．これ幸いと，問い合わせのメールを書くと，テクニカルディレクターの助教授の先生が 会ってお話しましょう，とのこと．早速，お話に行ってきました・・・・・が，そこには驚愕の事実が！待て次号！ http://misshie.jp/blog/2007/09/linux_hpc_1.html http://misshie.jp/blog/2007/09/linux_hpc_1.html Linuxクラスター Sat, 08 Sep 2007 07:55:35 +0900 ４年もアイオワシティに住んでおりますと，徐々に日本食環境が改善してくるのをひしひしと感じてきます。 さて，最近感動しているのは，Old Captol Mallの中にある ''J's Fish & Chips'' です。営業時間は月～土のお昼前から６時ころまで（厳密には不明）となっています。 まず，店名にあるFish & Chipsですが，きちんとおいしいものがでてきます。とくに，Malt Vinegerをつけてもらうと，かなりおいしいかと思います。 ですが，やっぱりここの目玉は，''Katsu Don'' ($4.99)と''Oyako Don''($3.99)です。どちらも，かなりそれっぽいものがでてきます。当然のように，短粒米のふつうのごはんです。個人的には，舌の閾値が低いため「劇ウマ」だと思います（同意できない方，あなたの舌は肥えてます，そんなんじゃアイオワにはなじめません）。後者は親子丼というよりは，チキンカツ丼をきざんだやつ，ですが。他に丼ものは''Unagi Don''($7.99)がありますが，まだ試したことがありません。 品切れのことがあるメニューとしては，''Miso Soup''($1.50，丼といっしょで$1.00)。これはまあ可もなく不可もなく。そして，（同じく品切れがありますが）おそらくアイオワ初登場の感動メニュー，''Curry Rice w/ chiken''($5.50)。うは。これは普通のチキンカツカレーです。野菜がごろごろしてますし，言うことなしです（ちょっと塩気がうすいけど，ＯＫ！）。 他に，Sushi Roll ($2.99)などあるようですが，これもためしたことがないです。 というわけで，Old Capitol Mallはラボから歩いて１０分程度ですから，昼にカレーライスが食べられるようになってしまいました。 また日本に帰る理由が減りました（ウソ）。 そうそう，さらにOld Captol Mallに「Sushi Kicchin（Kitchenではない）」という店が準備中です。いったいどういうことになるのやら。 http://misshie.jp/blog/2007/06/post_8.html http://misshie.jp/blog/2007/06/post_8.html アイオワ生活 Sun, 03 Jun 2007 22:00:00 +0900