# この後使うデータの準備（Webサイトのある階層を一括取得し、展開する。）
$ wget http://kurodalab.bs.s.u-tokyo.ac.jp/class/Summer/2019/Day6/transomics_data.zip
$ unzip transomics_data.zip
$ mv transomics_data

# 2. "glucose" を含む行を表示する
$ grep glucose metabolome.txt

# 3. "Glucose" を含む行を表示する
$ grep Glucose metabolome.txt

# 4.  "glucose" を「含まない」行を表示する
$ grep -v glucose metabolome.txt

# 5. "glucose" または "Glucose" を含む行を表示する
$ grep -i glucose metabolome.txt

# 6. "glucose" および "Glucose" を「共に含まない」行を表示する
$ grep -i -v glucose metabolome.txt

# 7. インデックス113の代謝物を表示する。
$ grep ^113 metabolome.txt

# 1. grepの結果をテキストファイルに出力
$ grep CoA metabolome.txt > metabolome_CoA.txt

# 2. 行数をカウント
$ wc metabolome_CoA.txt

# 3. diffで模範解答との違いを出力（出力がなければ正解）
$ diff metabolome_CoA.txt  Day6_AnswerFiles/metabolome_CoA.txt

# 4. 一度にgrep結果の行数をカウント
$ grep CoA metabolome.txt | wc

# 5. ファイルコピー
$ cp metabolome_CoA.txt metabolome_CoA_copy.txt

# 6. ファイル名の変更
$ mv metabolome_CoA_copy.txt metabolome_CoA_cp.txt

# 7. ファイル削除
$ rm metabolome_CoA_cp.txt

# 2. 1-2行目の見出し行を表示せず、3行目以降を表示する。
$ tail -n +3 hoge.txt

# 3. phosphoproteome.txt の3行目以降の各行には、リン酸化ペプチドのIDと各時刻のリン酸化強度値が含まれている。これらにリン酸化された酵素は全部でいくつあるか数えなさい。
$ tail -n +3 phosphoproteome.txt | cut -f 1 | sort | uniq | wc

# 4.  それぞれの酵素について何個のリン酸化ペプチドが得られたか数えなさい。
$ tail -n +3 phosphoproteome.txt | cut -f 1 | sort | uniq  -c

# 1. 代謝物の変動を表す指標 S1/S0 はmetabolome.txt の 80 列目に記載されている。80列目だけ表示しなさい。
$ cut -f80 metabolome.txt

# 2. metabolome.txtの1-2行目は、各列の内容を説明する「見出し行」であってデータそのものではない。3行目以降表示したいときはどうすれば良いか答えなさい。
$ tail -n +3 metabolome.txt

#=== データの前処理 ===
# 3. 欠損点などの理由によりS1 / S0を計算できなかった代謝物については、当該箇所(80列目)に ”N.D.”と記載されている。“N.D." の代謝物の行を除いたデータを measured_metabolite.txt に出力しなさい。
$ tail -n +3 metabolome.txt | awk -F"\t" '($80 != "N.D."){ print }' > measured_metabolite.txt

# 4. 3の結果が模範解答ファイルと一致しているか確かめなさい。
$ diff measured_metabolite.txt Day6_AnswerFiles/Step_i/measured_metabolite.txt

# 5. KEGGデータベース内にIDが存在しない代謝物については、KEGGのIDを記載する箇所(4列目)に "-" と記載されている。4列目が "-" となっている代謝物をmeasured_metabolite.txt から取り除いた結果残るデータを mappable_metabolite.txt に出力しなさい。
$ awk -F"\t" '($4 != "-"){ print }' measured_metabolite.txt > mappable_metabolite.txt

# 6. 5の結果が模範解答ファイルと一致しているか確かめなさい。
$ diff mappable_metabolite.txt Day6_AnswerFiles/Step_i/mappable_metabolite.txt

#=== カラーマッピングの作成 ===
# 7. S1 / S0 > 1の代謝物は「増加」である。mappable_metabolite.txtを元にして、[増加した代謝物 ID][タブ文字]["red"] という形式のファイル metabolite_mapping.txt をつくりなさい。代謝物のIDは4列目に格納されている。また、"red" は綴りそのままの文字列である。
$ awk -F"\t" '($80 > 1){ print }' mappable_metabolite.txt | awk -F"\t" '{ print $4"\t""red" }' > metabolite_mapping.txt

# 8. 7の結果が模範解答ファイルと一致しているか確かめなさい。
$ diff metabolite_mapping.txt Day6_AnswerFiles/Step_i/metabolite_mapping_first.txt

# 9. S1 / S0 < -1の代謝物は「減少」である。[減少した代謝物 ID][タブ文字]["blue"] という形式で、metabolite_mapping.txtに「追加書き込み」しなさい。
$ awk -F"\t" '($80 < -1){ print }' mappable_metabolite.txt | awk -F"\t" '{ print $4"\t""blue" }' >> metabolite_mapping.txt

# 10. -1 < S1/S0 < 1の代謝物は「変動なし」である。[変動なしの代謝物 ID][tab]["green"] という形式で、metabolite_mapping.txtに追加書き込みしなさい。
$ awk -F"\t" '(-1 < $80 && $80 < 1){ print }' mappable_metabolite.txt | awk -F"\t" '{ print $4"\t""green" }' >> metabolite_mapping.txt

# 11. 7-10 で作成したファイルが模範解答ファイルと一致しているか確かめなさい。
$ diff metabolite_mapping.txt Day6_AnswerFiles/Step_i/metabolite_mapping_final.txt

# 1. 整数を1から10まで順に表示する。
$ seq 10

# 2. 1から10までの整数をforループごとにiに代入し、出力する。
$ for i in $(seq 10) ; do echo $i ; done

# 3. 1から10までの整数を順に足し合わせる。
$ sum=0
$ for i in $(seq 10) ; do sum=$(expr $sum + $i) ; echo $sum ; done

# 4. metabolite_mapping.txtとfor文を用いて、増加した代謝物IDのみを黒色で表示するKEGG Mapper用テキストを表示せよ。
$ for aCPD in $(awk -F"\t" '($2 == "red"){ print }' metabolite_mapping.txt | cut -f1) ; do echo -e "$aCPD\tblack"; done

# 2. curl [URL] は、 URL にあるウェブページの内容を標準出力に書き出すコマンドである。以下のコマンドにより、KEGGデータベースにアクセスし、「クエン酸 (KEGG COMPOUND ID: C00158) 」のデータを取得し、データの内容を確認せよ。
$ curl http://rest.kegg.jp/get/cpd:C00158  > C00158.txt
$ less C00158.txt

# 3. KEGGデータベースは、上記のAPI（get）以外にも様々なAPIを提供している。API "link" はある項目に対して関連のある項目を網羅的に出力する。以下のコマンドにより、KEGGデータベースにアクセスし、「クエン酸 (KEGG COMPOUND ID: C00158) 」に関わる全代謝酵素（ec.X.X.X.X）のデータを出力せよ。C00158.txtと比較すると、ENZYMEの項と同じことがわかる。
$ curl http://rest.kegg.jp/link/ec/cpd:C00158

#=== 変動代謝物に関わる代謝酵素の抜き出し ===
# 4. では、変動代謝物に関わる代謝酵素の抜き出しを行う。まず、変動代謝物のデータをまとめたファイル metab_rme.txt を作成し、lessで確認せよ。なお、このファイルは metabolite_mapping.txt から変動代謝物を抜き出し、それらをcurlを含むfor文にわたすことで作成可能である。最後にソートすること
$ for aCPD in $(awk -F"\t" '($2 != "green"){ print }' metabolite_mapping.txt | cut -f1) ; do curl http://rest.kegg.jp/link/ec/cpd:$aCPD; done | sort> metab_rme.txt

# 5. 結果が模範解答と一致しているかを確認する。
$ diff metab_rme.txt Day6_AnswerFiles/Step_ii/metab_rme.txt

# 6. metabolite_rme.txtから代謝酵素のみを取り出し、重複をなくし、空白行を削除したファイルrme.txtを作成せよ。（ヒント：空白行の削除にはgrep –vを用いる。空白行は"^$"、つまり「行先頭^の次の文字が行末尾$」で表現）
$ cut -f2 metab_rme.txt | sort | uniq | grep -v "^$" > rme.txt

# 7. 結果が模範解答と一致しているかを確認する。（注：KEGGの更新により、ここからは微妙に一致しないこともある）
$ diff rme.txt Day6_AnswerFiles/Step_ii/rme.txt

# 8. 黒色の責任代謝酵素を KEGG Mapper で視覚化するための元ファイル、rme_mapping.txtを作成する。
$ for aEC in $(cat rme.txt) ; do echo -e "$aEC\tblack"; done > rme_mapping.txt

# 9. 結果が模範解答と一致しているかを確認する。
$ diff rme_mapping.txt Day6_AnswerFiles/Step_ii/rme_mapping.txt

# 10. metabolite_mapping.txt と rme_mapping.txt を一つのファイルにまとめる。（fig2_mapping.txt）
$ cat metabolite_mapping.txt rme_mapping.txt > fig2_mapping.txt

# 11. 結果が模範解答と一致しているかを確認する。
$ diff fig2_mapping.txt Day6_AnswerFiles/Step_ii/fig2_mapping.txt