新卒1年目の技術に関する備忘録

自主学習で困ったこと、学んだことをまとめています

pandasのデータフレームの内容を条件分岐で置換する方法

df.columns = df.columns.where(~(df.columns < 1), 0) ※1以下のデータを0に置換する 場合

Jupyterで機械学習をしていたらthe kernel appears to have died. it will restart automaticallyが表示された

the kernel appears to have died. it will restart automatically メモリの関係でこうなるらしい。 特にmatplolibの画像描画でメモリを食うため、これが出たら、matplotlibのところをコメントアウトすると解決する場合が多い。

sklearnのcross_validationの変更点

sklearn.cross_validation→sklearn.model_selection

map()の使い方②

>>> x = pd.Series([1,2,3], index=['one', 'two', 'three']) >>> x one 1 two 2 three 3 dtype: int64 >>> z = {1: 'A', 2: 'B', 3: 'C'} >>> x.map(z) one A two B three C 公式ドキュメントから map()で引数に辞書型をとると、そのキーの紐づく値に変わる…

map()の使い方①

①map(function, functionに入れたいもの) 例 array = np.arange(10) array array array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) list(map(lambda x: x*x, array [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]​

jupyter notebookの入力補完

入力補完はnbextentionsをインストールすれば良い。 anacondaの場合 conda install -y -c conda-forge jupyter_contrib_nbextensions というコードをターミナルで打ち込む。 その後、jupyter notebookのHOMEにあるNbextensionsからHinterlandを有効にする。

drop_duplicatesの引数でエラーが出た

pandasのdrop_duplicatesの第二引数でtake_lastを使ったらエラーが出た。 http://kharuka2016.hatenablog.com/entry/2017/09/27/094525 この記事によるとtake_lastからkeep='last'に変更されていた。 Udemyの動画見て学習しているが結構使えなくなっているメ…

pandasのread_csvでエラーが出る

pandasでpd.read_csvとやるとInitializing from file failedとエラーが出てしまった。 ↓これで解決出来た。 Python3.6のpandasで「Initializing from file failed」が起きた場合の対策 | 自調自考の旅 具体的な解決策としては、pd.read_csv("CSV名.csv", eng…

株価のデータ解析で出たエラー

jupyter notebookでimport pandas.io.data as pwebとコマンドをたたくと、 ModuleNotFoundError: No module named 'pandas.io.data' とエラー表示された。 www.optcareer.net この記事の通りに実装しても ImportError: cannot import name 'is_list_like' と…

Pythonを使ってCSVファイルにするときにはまったこと

ライブラリはrequests,BeautifulSoup,pandasを使った。 CSVファイルにするのに、to_csvを使うが、その引数としてencoding="shift_jis"を入れる必要があるみたい。 ファイルの形式も.csvではなく、sjis.csvに変更が必要。

初心者のためのPythonの環境構築

当初、AnacondaやMinicondaを使って、Pythonの環境構築をしようとしたが、pandasなどのライブラリがimport出来ない問題が発生し、完全にはまってしまった。 初心者向けにはWinPythonというのが良いらしい。https://qiita.com/xza/items/14738b2b05d1e3f3cde6